JP2014115863A - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP2014115863A
JP2014115863A JP2012270159A JP2012270159A JP2014115863A JP 2014115863 A JP2014115863 A JP 2014115863A JP 2012270159 A JP2012270159 A JP 2012270159A JP 2012270159 A JP2012270159 A JP 2012270159A JP 2014115863 A JP2014115863 A JP 2014115863A
Authority
JP
Japan
Prior art keywords
image
display
images
displayed
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012270159A
Other languages
English (en)
Inventor
Minoru Ishida
実 石田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2012270159A priority Critical patent/JP2014115863A/ja
Priority to CN201310648607.6A priority patent/CN103873764A/zh
Priority to US14/096,139 priority patent/US20140160233A1/en
Publication of JP2014115863A publication Critical patent/JP2014115863A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】ユーザに見易い画像を提供する。
【解決手段】情報処理装置は、操作受付部および表示制御部を具備する。操作受付部は、横長の画像上の複数の領域に対応する複数の画像が表示部に表示されている場合に、複数の画像のうちの少なくとも１つについて所定操作を受け付ける。表示制御部は、所定操作が受け付けられた場合には、複数の画像のそれぞれについて所定操作に応じた画像処理を施し、この画像処理が施された各画像を表示部に表示させる制御を行う。
【選択図】図２８

Description

本技術は、情報処理装置に関する。詳しくは、画像を表示させる情報処理装置および情報処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
近年、人物等の被写体を撮像する撮像系を備え、この撮像系により生成された画像を画像ファイルとして記録するデジタルスチルカメラ、デジタルビデオカメラ（例えば、カメラ一体型レコーダ）等の撮像装置が普及している。
また、複数の画像を合成することにより、特定方向における撮像範囲を比較的広くした画像（例えば、パノラマ画像）を生成することが可能な撮像装置が提案されている。また、例えば、このように生成されたパノラマ画像を表示する撮像装置が提案されている（例えば、特許文献１参照。）。
特開２０１１−４４８３７号公報
上述の従来技術によれば、パノラマ画像を容易に表示させることができる。
ここで、パノラマ画像は、特定方向（例えば、左右方向（水平方向（地面と平行な方向、重力方向と垂直な方向）））に長い画像である。このため、パノラマ画像の全体を表示部に表示させる場合には、通常の画像よりも縮小して表示させることが多い。しかしながら、このように縮小表示されると、ユーザが所望する部分が見難くなることが想定される。このため、パノラマ画像を表示させる場合には、ユーザに見易い画像を提供することが重要である。
本技術はこのような状況に鑑みて生み出されたものであり、ユーザに見易い画像を提供することを目的とする。
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、横長の画像上の複数の領域に対応する複数の画像が表示部に表示されている場合に上記複数の画像のうちの少なくとも１つについて所定操作を受け付ける操作受付部と、上記所定操作が受け付けられた場合には、上記複数の画像のそれぞれについて上記所定操作に応じた画像処理を施して当該画像処理が施された各画像を上記表示部に表示させる制御を行う表示制御部とを具備する情報処理装置およびその画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、横長の画像上の複数の領域に対応する複数の画像が表示部に表示されている場合に、複数の画像のうちの少なくとも１つについて所定操作が受け付けられた場合には、複数の画像のそれぞれについて所定操作に応じた画像処理を施し、この画像処理が施された各画像を表示部に表示させるという作用をもたらす。
また、この第１の側面において、上記操作受付部は、上記表示部における上記複数の画像の表示領域以外の領域に上記横長の画像の全体を縮小した縮小画像が表示されている場合に上記複数の画像と上記縮小画像とのうちの少なくとも１つについて所定操作を受け付けるようにしてもよい。これにより、縮小画像が表示されている場合に複数の画像と縮小画像とのうちの少なくとも１つについて所定操作を受け付けるという作用をもたらす。
また、この第１の側面において、上記操作受付部は、上記複数の画像のうちの少なくとも１つの表示倍率を変更するための変更操作を上記所定操作として受け付け、上記表示制御部は、上記変更操作が受け付けられた場合には、上記複数の画像のそれぞれについて上記変更操作に応じた表示倍率となるように画像処理を施して当該画像処理が施された各画像を上記表示部に表示させるようにしてもよい。これにより、複数の画像のそれぞれについて変更操作に応じた表示倍率となるように画像処理を施し、この画像処理が施された各画像を表示部に表示させるという作用をもたらす。
また、この第１の側面において、上記操作受付部は、上記複数の画像および上記縮小画像のうちの少なくとも１つを用いて表示倍率の変更を指示するための変更操作を上記所定操作として受け付け、上記表示制御部は、上記変更操作が受け付けられた場合には、上記縮小画像については上記変更操作に応じた画像処理を施さず、上記複数の画像のそれぞれについては上記変更操作に応じた表示倍率となるように画像処理を施して当該画像処理が施された各画像を上記表示部に表示させるようにしてもよい。これにより、縮小画像については変更操作に応じた画像処理を施さず、複数の画像のそれぞれについては変更操作に応じた表示倍率となるように画像処理を施し、この画像処理が施された各画像を表示部に表示させるという作用をもたらす。
また、この第１の側面において、上記複数の画像は、上記横長の画像の長手方向における一端部の領域を含む第１画像と、上記横長の画像の長手方向における他の端部の領域を含む第２画像と、上記一端部および上記他の端部の間に存在する領域を含む画像である第３画像とを含み、上記表示制御部は、上記変更操作が受け付けられた場合には、上記第３画像については上記第３画像内における位置を基準として上記第３画像を上記表示倍率にするための画像処理を施し、上記第１画像については上記一端部を基準として上記第１画像を上記表示倍率にするための画像処理を施し、上記第２画像については上記他の端部を基準として上記第２画像を上記表示倍率にするための画像処理を施すようにしてもよい。これにより、第３画像については第３画像内における位置を基準として第３画像を変更操作に応じた表示倍率にするための画像処理を施し、第１画像については一端部を基準として第１画像を変更操作に応じた表示倍率にするための画像処理を施し、第２画像については他の端部を基準として第２画像を変更操作に応じた表示倍率にするための画像処理を施すという作用をもたらす。
また、この第１の側面において、上記操作受付部は、上記複数の画像のうちの少なくとも１つに対応する領域の上記横長の画像上の位置を移動するための移動操作を上記所定操作として受け付け、上記表示制御部は、上記変更操作が受け付けられた場合には、上記複数の画像に対応する各領域が上記移動操作に応じた位置となるように画像処理を施して当該画像処理が施された各画像を上記表示部に表示させるようにしてもよい。これにより、複数の画像に対応する各領域が移動操作に応じた位置となるように画像処理を施し、この画像処理が施された各画像を表示部に表示させるという作用をもたらす。
また、この第１の側面において、上記操作受付部は、上記表示部における上記複数の画像の表示領域以外の領域に上記横長の画像の全体を縮小した縮小画像が表示されている場合に上記縮小画像を用いた上記移動操作を受け付けるようにしてもよい。これにより、縮小画像が表示されている場合にその縮小画像を用いた移動操作を受け付けるという作用をもたらす。
また、この第１の側面において、上記複数の画像は、上記横長の画像の長手方向における両端部の領域を含む２つの画像である第１画像および第２画像と、上記両端部の間に存在する領域を含む画像である第３画像とを含み、上記操作受付部は、上記横長の画像上の上記第３画像の位置を上記横長の画像の長手方向に移動するための第１移動操作、または、上記横長の画像上の上記第３画像の位置を上記長手方向と直交する方向に移動するための第２移動操作を上記移動操作として受け付け、上記表示制御部は、上記第１移動操作が受け付けられた場合には、上記第１画像および上記第２画像については上記第１移動操作に応じた画像処理を施さず、上記第３画像については上記第３画像に対応する領域が上記第１移動操作に応じた位置となるように画像処理を施して当該画像処理が施された第３画像と当該画像処理が施されていない上記第１画像および上記第２画像とを上記表示部に表示させ、上記第２移動操作が受け付けられた場合には、上記第１乃至第３画像のそれぞれに対応する各領域が上記第２移動操作に応じた位置となるように画像処理を施して当該画像処理が施された各画像を上記表示部に表示させるようにしてもよい。これにより、第１移動操作が受け付けられた場合には、第１画像および第２画像については第１移動操作に応じた画像処理を施さず、第３画像については第３画像に対応する領域が第１移動操作に応じた位置となるように画像処理を施し、この画像処理が施された第３画像とその画像処理が施されていない第１画像および第２画像とを表示部に表示させ、第２移動操作が受け付けられた場合には、第１乃至第３画像のそれぞれに対応する各領域が第２移動操作に応じた位置となるように画像処理を施し、この画像処理が施された各画像を表示部に表示させるという作用をもたらす。
また、この第１の側面において、上記複数の画像は、上記横長の画像の長手方向における両端部の領域を含む２つの画像である第１画像および第２画像と、上記両端部の間に存在する領域を含む画像である第３画像とを含み、上記操作受付部は、上記縮小画像を用いた上記移動操作であって上記長手方向への移動を指示する第１移動操作、または、上記縮小画像を用いた上記移動操作であって上記長手方向と直交する方向への移動を指示する第２移動操作を受け付け、上記表示制御部は、上記第１移動操作が受け付けられた場合には、上記第１画像と上記第２画像と上記縮小画像とについては上記第１移動操作に応じた画像処理を施さず、上記第３画像については上記第３画像に対応する領域が上記第１移動操作に応じた位置となるように画像処理を施して当該画像処理が施された第３画像と当該画像処理が施されていない上記第１画像と上記第２画像と上記縮小画像とを上記表示部に表示させ、上記第２移動操作が受け付けられた場合には、上記縮小画像については上記第２移動操作に応じた画像処理を施さず、上記第１乃至第３画像については上記第１乃至第３画像のそれぞれに対応する各領域が上記第２移動操作に応じた位置となるように画像処理を施して当該画像処理が施された各画像を上記表示部に表示させるようにしてもよい。これにより、第１移動操作が受け付けられた場合には、第１画像と第２画像と縮小画像とについては第１移動操作に応じた画像処理を施さず、第３画像については第３画像に対応する領域が第１移動操作に応じた位置となるように画像処理を施し、この画像処理が施された第３画像とその画像処理が施されていない第１画像と第２画像と縮小画像とを表示部に表示させ、第２移動操作が受け付けられた場合には、縮小画像については第２移動操作に応じた画像処理を施さず、第１乃至第３画像については第１乃至第３画像のそれぞれに対応する各領域が第２移動操作に応じた位置となるように画像処理を施し、この画像処理が施された各画像を表示部に表示させるという作用をもたらす。
また、この第１の側面において、上記複数の画像は、上記横長の画像の長手方向における両端部の領域を含む２つの画像である第１画像および第２画像と、上記両端部の間に存在する領域を含む画像である第３画像とを含み、上記操作受付部は、上記横長の画像上の上記第１画像または上記第２画像の位置を上記横長の画像の長手方向に移動するための第１移動操作、または、上記横長の画像上の上記第１画像または上記第２画像の位置を上記長手方向と直交する方向に移動するための第２移動操作を上記移動操作として受け付け、上記表示制御部は、上記第１移動操作が受け付けられた場合には、上記第１移動操作が行われた上記第１画像または上記第２画像については当該画像に対応する領域が上記第１移動操作に応じた位置となるように画像処理を施して当該画像以外の他の画像については上記第１移動操作に応じた画像処理を施さず当該画像処理が施された画像と当該画像処理が施されていない画像とを上記表示部に表示させ、上記第２移動操作が受け付けられた場合には、上記第１乃至第３画像のそれぞれに対応する各領域が上記第２移動操作に応じた位置となるように画像処理を施して当該画像処理が施された各画像を上記表示部に表示させるようにしてもよい。これにより、第１移動操作が受け付けられた場合には、第１移動操作が行われた第１画像または第２画像についてはその画像に対応する領域が第１移動操作に応じた位置となるように画像処理を施してその画像以外の他の画像については第１移動操作に応じた画像処理を施さず、その画像処理が施された画像とその画像処理が施されていない画像とを表示部に表示させ、第２移動操作が受け付けられた場合には、第１乃至第３画像のそれぞれに対応する各領域が第２移動操作に応じた位置となるように画像処理を施し、この画像処理が施された各画像を表示部に表示させるという作用をもたらす。
また、この第１の側面において、上記表示制御部は、上記複数の画像の表示領域以外の領域に、上記横長の画像の全体を縮小した全体画像を表示させ、上記複数の画像の表示領域を示す表示情報を上記全体画像上に重ねて表示させるようにしてもよい。これにより、複数の画像の表示領域以外の領域に、横長の画像の全体を縮小した全体画像を表示させ、複数の画像の表示領域を示す表示情報を全体画像上に重ねて表示させるという作用をもたらす。
また、この第１の側面において、上記表示制御部は、上記表示部の長辺が重力方向と略平行となる状態では、上記横長の画像上の複数の領域を、段状かつ上記表示部の長手方向において段数が複数となるように上記表示部に表示させるようにしてもよい。これにより、表示部の長辺が重力方向と略平行となる状態では、横長の画像上の複数の領域を、段状かつ表示部の長手方向において段数が複数となるように表示部に表示させるという作用をもたらす。
本技術によれば、ユーザに見易い画像を提供することができるという優れた効果を奏し得る。
本技術の第１の実施の形態における情報処理装置１００の外観構成例を示す図である。 本技術の第１の実施の形態における情報処理装置１００の内部構成例を示す図である。 本技術の第１の実施の形態における撮像部１３０の内部構成例を示す図である。 本技術の第１の実施の形態における撮像部１３０を構成する撮像素子１３４乃至１３６の配置構成例を示す図である。 本技術の第１の実施の形態における撮像素子１３４乃至１３６に結像される像と、画像データの読出方法との関係を示す図である。 本技術の第１の実施の形態における撮像素子１３４乃至１３６に結像される像と、画像データの読出方法との関係を示す図である。 本技術の第１の実施の形態におけるＤＳＰ２００の内部構成例を示すブロック図である。 本技術の第１の実施の形態における画像信号処理部２２０の内部構成例を示すブロック図である。 本技術の第１の実施の形態におけるクロック生成回路２７０の内部構成例を示すブロック図である。 本技術の第１の実施の形態におけるクロック生成回路２７０の変形例を示すブロック図である。 本技術の第１の実施の形態におけるクロック生成回路２７０の変形例を示すブロック図である。 本技術の第１の実施の形態における撮像素子の内部構成例を示す図である。 本技術の第１の実施の形態における撮像素子１３４が備えるレジスタ３７０および３８０の保持内容を模式的に示す図である。 本技術の第１の実施の形態における撮像素子１３４における各画素への制御信号と、これらの各画素から出力されるデータとの様子を模式的に表すタイミングチャートである。 本技術の第１の実施の形態における撮像素子１３４における各画素への制御信号と、これらの各画素から出力されるデータとの様子を模式的に表すタイミングチャートである。 本技術の第１の実施の形態における撮像素子１３４における各画素への制御信号と、これらの各画素から出力されるデータとの様子を模式的に表すタイミングチャートである。 本技術の第１の実施の形態における撮像素子１３４の間引きを行うための走査回路の一例を模式的に示す図である。 本技術の第１の実施の形態における撮像部１３０および被写体との関係を示す図である。 本技術の第１の実施の形態における撮像部１３０における撮像系と、これらの撮像対象となる被写体との関係を模式的に示す図である。 本技術の第１の実施の形態における撮像部１３０における撮像系と、これらの撮像対象となる被写体との関係を模式的に示す図である。 本技術の第１の実施の形態における撮像部１３０における撮像系と、これらにより生成される撮像画像との関係を模式的に示す図である。 本技術の第１の実施の形態における撮像部１３０における撮像系と、これらの撮像対象となる被写体との関係を模式的に示す図である。 本技術の第１の実施の形態における撮像部１３０における撮像系と、これらにより生成された撮像画像および補正後の補正画像との関係を模式的に示す図である。 本技術の第１の実施の形態における画像合成処理部２２４が合成画像を生成する場合における合成の流れを模式的に示す図である。 本技術の第１の実施の形態における画像合成処理部２２４が合成画像を生成する場合における合成の流れを模式的に示す図である。 本技術の第１の実施の形態における画像合成処理部２２４が合成画像を生成する場合における合成の流れを模式的に示す図である。 本技術の第１の実施の形態における記録媒体１８０に記憶される画像ファイルのファイル構造の一例を示す図である。 本技術の第１の実施の形態における情報処理装置１００の機能構成例を示すブロック図である。 本技術の第１の実施の形態における情報処理装置１００による撮像処理の撮像対象となる被写体と撮像範囲との関係を示す図である。 本技術の第１の実施の形態における画像生成部５１０により生成されたパノラマ画像６００と、表示制御部５５０により表示部１４０に表示される画像との関係を示す図である。 本技術の第１の実施の形態における画像生成部５１０により生成されたパノラマ画像６００と、表示制御部５５０により表示部１４０に表示される画像との関係を示す図である。 本技術の第１の実施の形態における画像生成部５１０により生成されたパノラマ画像６００と、表示制御部５５０により表示部１４０に表示される画像との関係を示す図である。 本技術の第１の実施の形態における画像生成部５１０により生成されたパノラマ画像６００と、表示制御部５５０により表示部１４０に表示される画像との関係を示す図である。 本技術の第１の実施の形態における画像生成部５１０により生成されたパノラマ画像６００と、表示制御部５５０により表示部１４０に表示される画像との関係を示す図である。 本技術の第１の実施の形態における画像生成部５１０により生成されたパノラマ画像６００および表示対象となる各画像と、表示部１４０の表示例との関係を示す図である。 本技術の第１の実施の形態における表示部１４０に表示されるパノラマ画像および表示対象となる各画像の表示例を示す図である。 本技術の第１の実施の形態における画像生成部５１０により生成されたパノラマ画像６５０、６５５、６６０と中画像６５１、６５６、６６１との関係を示す図である。 本技術の第１の実施の形態における画像生成部５１０により生成されたパノラマ画像６６５、６７０、６７５と中画像６６６、６７１、６７６との関係を示す図である。 本技術の第１の実施の形態における画像生成部５１０により生成されたパノラマ画像および各画像（中画像、左画像および右画像）の表示例を示す図である。 本技術の第１の実施の形態における画像生成部５１０により生成されたパノラマ画像および各画像（中画像、左画像および右画像）の表示例を示す図である。 本技術の第１の実施の形態における画像生成部５１０により生成されたパノラマ画像における中画像の領域の遷移例を示す図である。 本技術の第１の実施の形態における画像生成部５１０により生成されたパノラマ画像および各画像（中画像、左画像および右画像）の表示例を示す図である。 本技術の第１の実施の形態における画像生成部５１０により生成されたパノラマ画像および各画像（中画像、左画像および右画像）の表示例を示す図である。 本技術の第１の実施の形態における画像生成部５１０により生成されたパノラマ画像および各画像（中画像、左画像および右画像）の表示例を示す図である。 本技術の第１の実施の形態における画像生成部５１０により生成されたパノラマ画像６００および表示対象となる各画像と、表示部１４０の表示例との関係を示す図である。 本技術の第１の実施の形態における画像生成部５１０により生成されたパノラマ画像を表示部１４０に表示させる場合における表示例を示す図である。 本技術の第１の実施の形態における情報処理装置１００の変形例を示す図である。 本技術の第１の実施の形態における情報処理装置１００の変形例を示す図である。 本技術の第１の実施の形態における情報処理装置１００の変形例を示す図である。 本技術の第１の実施の形態における情報処理装置１００の変形例を示す図である。 本技術の第１の実施の形態における情報処理装置１００の変形例を示す図である。 本技術の第１の実施の形態における情報処理装置により生成される各画像の表示例を示す図である。 本技術の第１の実施の形態における情報処理装置により生成される各画像の表示例を示す図である。 本技術の第１の実施の形態における情報処理装置により生成される各画像の表示例を示す図である。 本技術の第１の実施の形態における情報処理装置により生成される各画像の表示例を示す図である。 本技術の第１の実施の形態における情報処理装置により生成される各画像の表示例を示す図である。 本技術の第１の実施の形態における情報処理装置により生成される各画像の表示例を示す図である。 本技術の第１の実施の形態における情報処理装置１００による表示制御処理の処理手順の一例を示すフローチャートである。 本技術の第１の実施の形態における情報処理装置１００による表示制御処理手順のうちの撮影処理手順の一例を示すフローチャートである。 本技術の第１の実施の形態における情報処理装置１００による表示制御処理手順のうちのパノラマ撮影処理手順の一例を示すフローチャートである。 本技術の第１の実施の形態における情報処理装置１００による表示制御処理手順のうちの再生処理手順の一例を示すフローチャートである。 本技術の第１の実施の形態における情報処理装置１００による表示制御処理の処理手順の一例を示すフローチャートである。 本技術の第１の実施の形態における情報処理装置１００による表示制御処理手順のうちのパノラマ撮影処理手順の一例を示すフローチャートである。 本技術の第１の実施の形態における情報処理装置１００による表示制御処理手順のうちの再生処理手順の一例を示すフローチャートである。 本技術の第１の実施の形態における情報処理装置１００による表示制御処理手順のうちの縦長状態パノラマ再生処理手順の一例を示すフローチャートである。 本技術の第１の実施の形態における情報処理装置１００による表示制御処理手順のうちの横長状態パノラマ再生処理手順の一例を示すフローチャートである。 本技術の第２の実施の形態における表示制御部５５０により表示されるパノラマ画像および各画像（中画像、左画像および右画像）の表示遷移例を示す図である。 本技術の第２の実施の形態における表示制御部５５０により表示されるパノラマ画像および各画像（中画像、左画像および右画像）の表示遷移例を示す図である。 本技術の第２の実施の形態における表示制御部５５０により表示されるパノラマ画像および各画像（中画像、左画像および右画像）の表示遷移例を示す図である。 本技術の第２の実施の形態における表示制御部５５０により表示されるパノラマ画像および各画像（中画像、左画像および右画像）の表示遷移例を示す図である。 本技術の第２の実施の形態における表示制御部５５０により表示されるパノラマ画像および各画像（中画像、左画像および右画像）の表示遷移例を示す図である。 本技術の第２の実施の形態における表示制御部５５０により表示されるパノラマ画像および各画像（中画像、左画像および右画像）の表示遷移例を示す図である。 本技術の第２の実施の形態における表示制御部５５０により表示されるパノラマ画像および各画像（中画像、左画像および右画像）の表示遷移例を示す図である。 本技術の第２の実施の形態における表示制御部５５０により表示されるパノラマ画像および各画像（中画像、左画像および右画像）の表示遷移例を示す図である。 本技術の第２の実施の形態における表示制御部５５０により表示されるパノラマ画像および各画像（中画像、左画像および右画像）の表示遷移例を示す図である。 本技術の第２の実施の形態における表示制御部５５０により表示されるパノラマ画像および各画像（中画像、左画像および右画像）の表示例を示す図である。 本技術の第２の実施の形態における情報処理装置１００による表示制御処理の処理手順の一例を示すフローチャートである。 本技術の第２の実施の形態における情報処理装置１００による表示制御処理手順のうちのパノラマ画像用の画像処理手順の一例を示すフローチャートである。 本技術の第３の実施の形態における情報処理装置１０００の外観構成例を示す図である。 本技術の第３の実施の形態における情報処理装置１０００の外観構成例を示す図である。 本技術の第３の実施の形態における情報処理装置１０５０の外観構成例を示す図である。 本技術の第３の実施の形態における情報処理装置１０５０の外観構成例を示す図である。
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（表示制御：パノラマ画像における複数の領域を、表示部の長手方向において複数段となるように表示させる例）
２．第２の実施の形態（表示制御：パノラマ画像上の複数の領域に対応する各画像について操作が行われた場合に、ユーザが見易くなるように各画像を表示させる例）
３．第３の実施の形態（撮像部を可動式にして配置する情報処理装置の例）
＜１．第１の実施の形態＞
［情報処理装置の外観構成例］
図１は、本技術の第１の実施の形態における情報処理装置１００の外観構成例を示す図である。図１のａには、情報処理装置１００の上面図を示し、図１のｂには、情報処理装置１００の正面図を示す。また、図１のｃには、情報処理装置１００の側面図を示し、図１のｄには、情報処理装置１００の背面図を示す。また、図１のｅには、情報処理装置１００の電子基板の配置例を示す。
情報処理装置１００は、例えば、複数の撮像部を備える情報処理装置（例えば、複眼カメラ付きスマートフォンや複眼カメラ付き携帯電話）により実現される。なお、図１では、説明の容易のため、情報処理装置１００を簡略化して示し、情報処理装置１００の外側面に備えられている電源スイッチ等の図示を省略する。また、情報処理装置１００の筐体内に備えられている回路等の詳細についても図示を省略する。
ここで、本技術の実施の形態では、画像の縦方向サイズに対する横方向サイズの比を、「横縦比」と定義して説明する。また、デジタルハイビジョン画像の横縦比（１６：９）よりも横縦比が大きい画像を「パノラマ画像」と定義して説明する。
情報処理装置１００は、電子基板１０１と、電池格納部１０２と、切替スイッチ１１１と、決定キー１１２と、撮像部１３０と、表示部１４０とを備える。
電子基板１０１は、画像の撮像機能以外の機能を主に司る電子基板である。ここで、本技術の実施の形態では、情報処理装置１００の筐体の短辺と平行になるように配置される複数の撮像系（撮像部１３０）を、可能な限り筐体短辺の外縁に近付けて配置するようにする。すなわち、複数の撮像系（撮像部１３０）と筐体短辺の外縁との間に、画像撮影と表示以外の機能の担う電子基板を配置しないようにする。また、複数の撮像系（撮像部１３０）と筐体短辺の外縁との間に配置する電子基板の面積を、情報処理装置１００内に配置する電子基板であり、かつ、画像撮影と表示以外の機能を担う電子基板の面積の１／２以下とすることが好ましい。
電池格納部１０２は、電池が格納される領域である。
切替スイッチ１１１は、２つの機能を切替える際に用いられる操作部材（いわゆる、トグルスイッチ）である。例えば、切替スイッチ１１１は、静止画を記録するための静止画撮像モードと、動画を記録するための動画撮像モードとの何れかの撮像モードに切替える際に用いられる。また、例えば、切替スイッチ１１１は、スクロール方法（図４１乃至図４３に示すスクロールの有無）を変更する際に用いられる。
決定キー１１２は、ユーザによる各種機能を設定する際等に押下される操作部材である。例えば、静止画撮像モードが設定されている場合に押下されると、シャッターボタンとして機能する。
なお、テンキーや十字キーについては、ユーザ操作や自動で表示部１４０に適宜表示される。そして、その表示されたテンキーや十字キーをユーザが操作することができる。
撮像部１３０は、被写体を撮像して画像データを生成するものである。なお、本技術の実施の形態では、撮像部１３０による画像データの生成には、撮像部１３０による撮影の意味を含むものとする。なお、図１のｂに示す撮像部１３０における丸は、撮像部１３０が備える複数の撮像系の各レンズを模式的に表すものである。すなわち、本技術の実施の形態では、３個のレンズ群が特定方向に並べて配置されている撮像部１３０を例にして説明する。また、図１のａに示すように、３個のレンズ群のうちの真中のレンズ群（光学系１３１）における光軸（光学系１３１を通過して撮像素子１３４に入射する光軸）が、表示部１４０の表示面に直交（または、略直交）するものとする。また、図１のａに示すように、３個のレンズ群（光学系１３１乃至１３３）における光軸が、１点で交わるものとする。ここで、特定方向は、例えば、表示部１４０の長手方向（情報処理装置１００の長手方向）と直交する方向とすることができる。なお、図１に示す撮像部１３０を構成する各部については、説明の容易のため、簡略化して示す。
表示部１４０は、各種画像を表示する表示装置であり、例えば、タッチパネルにより構成される。表示部１４０には、例えば、撮像動作により生成された画像が表示される。表示部１４０として、例えば、ＬＣＤ（Liquid Crystal Display）パネル、有機ＥＬ（Electro Luminescence）パネル等を用いることができる。ここで、カメラ付き情報処理装置（例えば、複眼カメラ付きスマートフォン）や一般的な撮像装置が備える表示部１４０の横対縦の比は、４：３または１６：９であることが多い。そこで、本技術の第１の形態では、表示部１４０の横対縦の比を４：３とする例について説明する。
ここで、図１のｂ乃至ｄに示すように、情報処理装置１００の長手方向を垂直方向（重力方向と平行な方向）と同一とする状態を、情報処理装置１００の縦長状態と称する。また、情報処理装置１００の長手方向を水平方向（重力方向と垂直な方向）と同一とする状態（すなわち、表示部１４０の表示面に直交する軸を回転軸として、縦長状態の情報処理装置１００を９０度回転させた状態）を、情報処理装置１００の横長状態と称する。
このように、複眼の情報処理装置１００を用いることにより、例えば、静止画のパノラマ画像を撮影する場合に、シャッターボタンを押下した直後に複数の撮像系で同時に撮影した画像を連結してパノラマ画像を形成することができる。なお、撮像位置（撮影者の位置）を回転中心として水平方向に撮像装置を回転移動させる操作（いわゆる、パンニング操作）によりパノラマ画像を生成することが可能な単眼の撮像装置が存在する。この単眼の撮像装置によりパノラマ画像を生成する場合には、上述したようにパンニング操作が必要となるため、シャッターボタンを押下した直後にパノラマ画像を生成することはできない。これに対して、情報処理装置１００は、その単眼の撮像装置よりもパノラマ画像を短時間で撮影することができる。
［情報処理装置の内部構成例］
図２は、本技術の第１の実施の形態における情報処理装置１００の内部構成例を示す図である。
情報処理装置１００は、アプリケーションプロセッサ１１と、デジタルベースバンド処理部１２と、アナログベースバンド処理部１３と、ＲＦ（Radio Frequency）処理部１４とを備える。また、情報処理装置１００は、電池１５と、マイクロフォン１６と、スピーカ１７と、アンテナ１８と、切替スイッチ１１１と、決定キー１１２と、撮像部１３０と、表示部１４０とを備える。また、情報処理装置１００は、姿勢検出部１５０と、プログラムメモリ１６０と、画像メモリ１７０と、記録媒体１８０と、ＤＳＰ（Digital Signal Processor）２００とを備える。なお、ＲＦ処理部１４には、アンテナ１８が備えられ、アナログベースバンド処理部１３には、マイクロフォン１６およびスピーカ１７が備えられている。
アプリケーションプロセッサ１１は、内蔵するメモリに記憶される各種プログラムに基づいて情報処理装置１００の各部を制御するものである。アプリケーションプロセッサ１１は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）を備えて構成される。
例えば、受話動作が行われる場合には、アンテナ１８により受信された電波が、ＲＦ処理部１４およびアナログベースバンド処理部１３を経由して、デジタルベースバンド処理部１２により復調される。そして、デジタルベースバンド処理部１２による復調結果が、アナログベースバンド処理部１３を経由してスピーカ１７から出力される。
また、送話動作が行われる場合には、マイクロフォン１６から入力された音声が、アナログベースバンド処理部１３を経由して、デジタルベースバンド処理部１２により変調される。そして、復調された音声データが、アナログベースバンド処理部１３およびＲＦ処理部１４を経由してアンテナ１８から送信される。
また、ユーザにより撮像動作の開始指示操作が行われると、情報処理装置１００において撮像動作が行われる。例えば、ユーザにより撮像動作の開始指示操作が行われると、アプリケーションプロセッサ１１が撮像動作に関する各部（撮像部１３０、ＤＳＰ２００等）に撮像動作の開始を指示し、これらの各部を起動させる。そして、起動された各部により撮像動作が行われ、生成された画像が表示部１４０に表示される。ここで、ユーザにより画像の記録指示操作が行われると、生成された画像が記録媒体１８０に記録される。また、ユーザにより画像を無線伝送する指示操作が行われると、生成された画像が無線伝送される。例えば、生成された画像データがデジタルベースバンド処理部１２により変調され、アナログベースバンド処理部１３およびＲＦ処理部１４を経由してアンテナ１８から送信される。なお、電池１５は、情報処理装置１００に電源を供給する電池である。
なお、切替スイッチ１１１、決定キー１１２、撮像部１３０、表示部１４０、姿勢検出部１５０、プログラムメモリ１６０、画像メモリ１７０、記録媒体１８０およびＤＳＰ２００については、図３、図７等を参照して詳細に説明する。
［撮像部の内部構成例］
図３は、本技術の第１の実施の形態における撮像部１３０の内部構成例を示す図である。また、図３では、撮像部１３０と接続されるＤＳＰ２００の一部を示す。なお、ＤＳＰ２００の全体構成については、図７および図８を参照して詳細に説明する。
撮像部１３０は、３個の撮像系（第１の撮像系１９１乃至第３の撮像系１９３）と、電源制御部２０７と、電源供給部２０８および２０９とを備える。また、３つの撮像系は、特定方向に並べて配置される。すなわち、第１の撮像系１９１が中央に配置され、第１の撮像系１９１の両側に第２の撮像系１９２および第３の撮像系１９３が配置される。
第１の撮像系１９１は、光学系１３１、撮像素子１３４およびＤＳＰとのＩ／Ｆ（インターフェース）１３７を備える。また、第２の撮像系１９２は、光学系１３２、撮像素子１３５およびＤＳＰとのＩ／Ｆ１３８を備える。また、第３の撮像系１９３は、光学系１３３、撮像素子１３６およびＤＳＰとのＩ／Ｆ１３９を備える。なお、第１の撮像系１９１乃至第３の撮像系１９３の構成は略同一であるため、ここでは、主に第１の撮像系１９１の構成について説明し、第２の撮像系１９２および第３の撮像系１９３の説明を省略する。
光学系１３１は、被写体からの光を集光する複数のレンズ（ズームレンズおよびフォーカスレンズを含む）により構成される。また、これらの各レンズを通過した光の量（すなわち、露出）が絞り（図示せず）により調整される。そして、集光された被写体からの光が撮像素子１３４に入射される。
撮像素子１３４は、光学系１３１を介して入射された被写体像を結像して画像信号を生成する撮像素子である。すなわち、撮像素子１３４は、光学系１３１を介して入射された被写体からの光を受光して光電変換を行うことにより、光の受光量に応じたアナログの画像信号を生成する。このように撮像素子１３４により生成されたアナログの画像信号がＤＳＰとのＩ／Ｆ１３７を介してＤＳＰ２００に供給される。なお、撮像素子として、例えば、ＣＣＤ（Charge Coupled Device）型やＣＭＯＳ（Complementary Metal Oxide Semiconductor）型の固体撮像素子を用いることができる。
ＤＳＰとのＩ／Ｆ１３７は、撮像素子１３４と、ＤＳＰ２００とを接続するためのインターフェースである。
電源制御部２０７は、ＤＳＰ２００の撮像制御部２０１（図７に示す）からの電源制御の指示に基づいて、電源供給部２０８および２０９を制御するものである。すなわち、電源制御部２０７は、撮像制御部２０１からの電源制御の指示を受け付けると、電源供給部２０８および２０９が制御信号の入力仕様として要求する信号の振幅と信号の立ち上がり速度および立ち下がり速度に準拠した信号を作成する。そして、この作成された信号を電源供給部２０８および２０９に出力し、電源供給部２０８および２０９を制御する。なお、撮像制御部２０１の出力信号が、電源供給部２０８および２０９の制御信号の入力仕様に準拠している場合には、撮像制御部２０１の出力信号を電源供給部２０８および２０９に直接入力するようにしてもよい。
電源供給部２０８は、電源制御部２０７の制御に基づいて、第１の撮像系１９１へ電源を供給するものである。また、電源供給部２０９は、電源制御部２０７の制御に基づいて、第２の撮像系１９２および第３の撮像系１９３へ電源を供給するものである。なお、電源供給部２０８および２０９は、例えば、市販の電源ＩＣ（Integrated Circuit）により実現される。
また、第１の撮像系１９１乃至第３の撮像系１９３のそれぞれは、１つのデータ線と７種類の信号線とを介してＤＳＰ２００と接続されている。ここで、第１の撮像系１９１およびＤＳＰ２００を接続する１つのデータ線をＬ１とし、７種類の信号線を信号線Ｌ２乃至Ｌ８として説明する。なお、第２の撮像系１９２および第３の撮像系１９３のデータ線および信号線は、第１の撮像系１９１のデータ線および信号線と略同一である。このため、ここでは、主に第１の撮像系１９１のデータ線および信号線について説明し、第２の撮像系１９２および第３の撮像系１９３の説明を省略する。
データ線Ｌ１は、撮像素子１３４からＤＳＰ２００へ画像データを伝送するデータ線である。このデータ線Ｌ１は、例えば、画像データの伝送レートを大きくするために複数本のデータ線により構成することが好ましい。また、画像データの伝送レートを大きくするため、および、伝送路上でのノイズ耐性を大きくするために、データ線Ｌ１として、高速かつ差動伝送方式のデータ線を用いることが好ましい。例えば、データ線Ｌ１として、ＬＶＤＳ（low voltage differential signaling）等を用いることが好ましい。
信号線Ｌ２は、撮像素子１３４とＤＳＰ２００との間の双方向の通信線であり、例えば、４線構造シリアル通信線を用いることができる。信号線Ｌ２は、例えば、撮像素子１３４を使用するために必要となる各種の設定値をＤＳＰ２００側から設定する際に使用される。一例として、撮像素子１３４からＤＳＰ２００へ出力される画像データを間引いて出力するための設定値が、信号線Ｌ２を介してＤＳＰ２００からレジスタ３７０および３８０（図１２に示す）に書き込まれる。
信号線Ｌ３は、ＤＳＰ２００から撮像素子１３４へクロックを供給するクロック信号線である。撮像素子１３４は、信号線Ｌ３を介して供給されるクロックを使用して、１クロック周期当り１画素の撮像動作を行う。また、撮像素子１３４内に逓倍器を搭載し、ＤＳＰ２００から供給されたクロックを撮像素子１３４内で逓倍して、逓倍後のクロック１周期当り１画素の撮像動作を行うようにしてもよい。
信号線Ｌ４は、ＤＳＰ２００から撮像素子１３４へリセット信号を供給するリセット信号線である。
信号線Ｌ５は、ＤＳＰ２００から撮像素子１３４の撮像動作のオン／オフを制御する信号線である。すなわち、信号線Ｌ５は、ＤＳＰ２００から各撮像素子へ動作の停止と起動とを通知する信号線である。例えば、３つの撮像系のうち、１つの撮像素子のみを使用する撮像モードがユーザにより指示された場合には、使用しない２個の撮像素子の撮像動作を停止させることにより、消費電力を低減させることができる。
信号線Ｌ６は、垂直同期信号線である。すなわち、信号線Ｌ６は、ＤＳＰ２００から撮像素子１３４へ１フレーム毎の撮像タイミングを示唆する同期信号を通知するための信号線である。
信号線Ｌ７は、水平同期信号線である。すなわち、信号線Ｌ７は、ＤＳＰ２００から撮像素子１３４へ１フレーム中の１ライン毎の撮像タイミングを示唆する同期信号を通知するための信号線である。
信号線Ｌ８は、シャッター信号線である。例えば、情報処理装置１００において、ユーザにより撮像画像記録を行うための操作部材（例えば、決定キー１１２）が押下された場合には、この押下に応じたシャッター信号が信号線Ｌ８を介してＤＳＰ２００から撮像素子１３４に通知される。
また、撮像モードが設定されている場合において、ユーザ操作に基づいて、単眼撮像動作および複眼撮像動作の何れか一方を選択することができるものとする。単眼撮像動作が選択された場合には、第１の撮像系１９１により生成された画像データを用いた撮像動作が行われる。一方、複眼撮像動作が選択された場合には、第１の撮像系１９１乃至第３の撮像系１９３のそれぞれにより生成された画像データを用いた撮像動作が行われる。また、単眼撮像動作が選択された場合には、通常の画像が生成され、複眼撮像動作が選択された場合には、パノラマ画像（例えば、図２９のｂに示す）が生成される。
［撮像素子の配置構成例］
図４は、本技術の第１の実施の形態における撮像部１３０を構成する撮像素子１３４乃至１３６の配置構成例を示す図である。
図４のａには、撮像素子１３４乃至１３６の配置構成を示す。ここで、一般に、撮像素子における受光面において、画素が配列されている領域の形状は略長方形である。そこで、以下では、撮像素子１３４乃至１３６を長方形により模式的に表す。
図４のａには、情報処理装置１００の長手方向を垂直方向と一致させた場合における配置構成例を示す。具体的には、撮像素子１３４が中央に配置され、撮像素子１３４の両側に撮像素子１３５および１３６が配置される。また、撮像素子１３４乃至１３６は、その長手方向が配列方向と略一致するように配置される。また、撮像素子１３４乃至１３６における中心位置が同一平面上となるように配置される。すなわち、配列方向において、撮像素子１３４乃至１３６が横長に配置される。
また、図４のａでは、各画素を読み出すことが可能な画素データ読出可能領域４００乃至４０２を撮像素子１３４乃至１３６内に長方形で模式的に示す。例えば、撮像素子１３４により、被写体の特定方向を長手方向とする第１の撮像画像が生成される。また、撮像素子１３５により、その特定方向を長手方向とし、第１の撮像画像に含まれる被写体の一方に隣接する被写体を含む第２の撮像画像が生成される。また、撮像素子１３６により、その特定方向を長手方向とし、第１の撮像画像に含まれる被写体の他方に隣接する被写体を含む第３の撮像画像が生成される。
なお、撮像部を構成する３つの撮像素子のうち、中央の撮像素子の長手方向が配列方向と直交する方向と略一致するように中央の撮像素子を配置するようにしてもよい（例えば、特開２０１１−４４８３７号参照。）
図４のｂには、情報処理装置１００が縦長状態である場合において、画像データを生成する場合における画素データ読出領域の一例を示す。画素データ読出領域４０３乃至４０５は、画素データ読出可能領域４００乃至４０２において、表示または記録に用いられる画像データを生成する際に各画素を読み出す領域の一例であり、図４のｂではその輪郭を太線で示す。画素データ読出領域４０３乃至４０５は、例えば、画素データ読出可能領域４００乃至４０２と同一とすることができる。また、画素データ読出領域４０３乃至４０５は、例えば、垂直方向の長さをＶ１０とし、水平方向の長さをＨ１０とすることができる。
図５および図６は、本技術の第１の実施の形態における撮像素子１３４乃至１３６に結像される像と、画像データの読出方法との関係を示す図である。一般に、撮像素子には、いわゆる、倒立像が結像される。
図５には、撮像素子に結像される像として倒立像が生成される場合における被写体４０９と光学系１３１と撮像素子１３４に結像される撮像画像４１０との関係を模式的に示す。図５に示すように、光学系１３１を介して入射された被写体４０９からの光が撮像素子１３４に結像され、撮像画像４１０が生成される。この場合に、被写体４０９の上下方向と、撮像画像４１０の上下方向とが反転された状態となる。
図６のａには、撮像素子１３４乃至１３６から画素データを読み出す場合における読出開始位置４１１乃至４１３および読出し方向を模式的に示す。この例では、図４のｂに示す画素データ読出領域４０３乃至４０５において画素データを読み出す例を示す。また、以下では、画素データ読出領域における読出開始位置を矩形で模式的に示す。例えば、画素データ読出領域４０３乃至４０５の右下隅の読出開始位置４１１乃至４１３から順次読出しが開始され、矢印方向に画素データが読み出される。例えば、画素データ読出領域４０３において、読出開始位置４１１から画素データの読出しが開始され、矢印方向に１画素ずつシフトされながら画素データの読出しが順次行われる。そして、水平方向の１ラインにおける端部（図６のａに示す画素データ読出領域４０３内の左端）に位置する画素の読出しが行われた場合には、読出し対象となるラインを１画素上側にシフトして他の端部に位置する画素の読出しが行われる。以下、同様に画素の読み出しが順次行われる。そして、画素データ読出領域４０３における上端のラインにおける端部に位置する画素の読出しが行われた場合には、撮像素子１３４の読出し処理を終了する。また、撮像素子１３５および１３６についても同時に読み出し処理が行われる。
図６のｂには、撮像素子１３４乃至１３６から読み出された画素データが合成された場合における画像メモリ１７０上における合成画像４１４を模式的に示す。この例では、図６のａに示す読出方法により読み出された画素データを合成する例を示す。なお、合成画像４１４内における矢印方向は、画像メモリ１７０上における画像データの並び方向であるものとする。
図６のｃには、撮像素子１３４乃至１３６から読み出された画素データを表示部１４０に表示する場合における合成画像の表示例を示す。この例では、図６のｂに示す合成画像４１４を表示する例を示す。例えば、撮像画像表示領域４１５に合成画像４１４が表示され、その上下の余白画像表示領域４１６および４１７には一色画像（例えば、黒色や白色）が表示される。なお、表示部１４０内における矢印方向は、表示部１４０における走査方向であるものとする。
［ＤＳＰの構成例］
図７は、本技術の第１の実施の形態におけるＤＳＰ２００の内部構成例を示すブロック図である。
ＤＳＰ２００は、撮像制御部２０１と、ＣＰＵ２０２と、ＤＭＡ（Direct Memory Access）コントローラ２０３と、データバス２０４と、プログラムメモリとのＩ／Ｆ２０５と、画像メモリとのＩ／Ｆ２０６とを備える。また、ＤＳＰ２００は、撮像素子とのＩ／Ｆ２１０と、画像バッファ２１１乃至２１９と、画像信号処理部２２０と、解像度変換部２３１、２４１、２５１と、画像回転処理部２３２、２４２とを備える。また、ＤＳＰ２００は、表示部とのＩ／Ｆ２３３と、外部表示装置とのＩ／Ｆ２４３と、符号化復号化部２５２と、記録媒体とのＩ／Ｆ２５３と、発振回路２６４乃至２６６と、クロック生成回路２７０とを備える。また、ＤＳＰ２００は、ＡＦ（Auto Focus：自動焦点）制御部２８１と、顔検出部２８２とを備える。また、ＤＳＰ２００は、ＡＥ（Automatic Exposure：自動露出）制御部２８３と、ＡＷＢ（Auto White Balance：自動ホワイトバランス調整）制御部２８４とを備える。データバス２０４には、ＣＰＵ２０２、ＤＭＡコントローラ２０３、画像メモリとのＩ／Ｆ２０６、画像バッファ２１１乃至２１９、画像信号処理部２２０等が接続されている。また、撮像制御部２０１には、切替スイッチ１１１、決定キー１１２および姿勢検出部１５０からの各信号が入力される。
姿勢検出部１５０は、情報処理装置１００の加速度、動き、傾き等を検出することにより情報処理装置１００の姿勢の変化を検出するものであり、検出結果（検出された姿勢の変化に関する姿勢情報）を撮像制御部２０１に出力する。例えば、姿勢検出部１５０は、情報処理装置１００の姿勢の変化として、３軸（例えば、Ｘ軸、Ｙ軸、Ｚ軸）の回転角を検出し、この検出結果を撮像制御部２０１に出力する。姿勢検出部１５０として、情報処理装置１００における３軸の回転角を検出することができるセンサを用いることができる。ただし、少なくとも、１軸以上の回転角を検出することができるセンサを用いるようにしてもよい。例えば、姿勢検出部１５０として、転倒センサ、重力センサ、ジャイロセンサ、加速度の方向を検出することができる加速度センサ、回転運動を検出することができる角速度センサを用いることができる。
撮像制御部２０１は、撮像処理に関する各部を制御するものである。例えば、撮像制御部２０１は、姿勢検出部１５０からの検出結果に基づいて、情報処理装置１００の姿勢を判断し、この判断結果に基づいて各部の撮像制御を行う。また、撮像制御部２０１は、切替スイッチ１１１および決定キー１１２からの入力信号に基づいて各部の撮像制御を行う。
ここで、本技術の実施の形態では、撮像部１３０により生成された画像を記録する際の撮像モード（画像サイズ等）をユーザが予め設定することができる。例えば、撮像モードを設定するためのメニュー画面を表示部１４０に表示させ、メニュー画面において決定キー１１２を用いて、ユーザが所望する設定内容を入力する。なお、撮像モードには、例えば、撮像時に使用する撮像素子の個数と、記録時における画像の垂直方向画像サイズおよび水平方向画像サイズとを含む。また、撮像モードには、例えば、画像の有効領域と垂直同期信号との間隔を表す垂直バックポーチおよび垂直フロントポーチと、画像の有効領域と水平同期信号との間隔を表す水平バックポーチと水平フロントポーチとを含む。また、撮像制御部２０１と、ＤＳＰ２００内の各部と、撮像素子１３４乃至１３６とは、撮像モードを保持するレジスタを備える。
ここで、撮像制御部２０１は、ユーザにより撮像モードが設定された場合には、この設定された撮像モードをＤＳＰ２００内の各部および撮像素子１３４乃至１３６に通知し、各部が備えるレジスタに保持させる。このように、各部が備えるレジスタに、ユーザにより設定された撮像モードの設定内容を保持させることにより、複数の撮影条件をユーザが容易に切り替えて使用することができる。
撮像制御部２０１は、例えば、内蔵するレジスタに保持されている撮像モードの設定内容に基づいて、垂直同期信号、水平同期信号およびクロック信号を、ＤＳＰ２００内の各部および撮像素子１３４乃至１３６に通知する。また、撮像制御部２０１は、例えば、内蔵するレジスタに保持されている撮像モードの設定内容に基づいて、垂直同期信号、水平同期信号およびクロック信号を、ＤＳＰ２００内の表示に関する各部および表示部１４０に通知する。また、撮像制御部２０１は、例えば、電源制御部２０７に対して、電源のオン／オフを制御する信号を出力する。
ＣＰＵ２０２は、プログラムメモリ１６０に記憶されている各種プログラムに基づいて、ＤＳＰ２００全体を制御するものである。例えば、ＣＰＵ２０２は、姿勢検出部１５０からの検出結果（姿勢情報）に基づいて、情報処理装置１００（表示部１４０）が横長状態であるか縦長状態であるかを検出し、検出された状態に基づいて表示制御を行う。この制御内容については、図２８を参照して詳細に説明する。
ＤＭＡコントローラ２０３は、ＣＰＵ２０２の制御に基づいて、各メモリ間におけるデータの転送を制御するものである。
プログラムメモリとのＩ／Ｆ２０５は、プログラムメモリ１６０と、ＤＳＰ２００とを接続するためのインターフェースである。
画像メモリとのＩ／Ｆ２０６は、画像メモリ１７０と、ＤＳＰ２００とを接続するためのインターフェースである。
撮像素子とのＩ／Ｆ２１０は、撮像素子１３４乃至１３６と、ＤＳＰ２００とを接続するためのインターフェースである。すなわち、撮像素子１３４乃至１３６により生成された画像データが撮像素子とのＩ／Ｆ２１０に入力される。例えば、撮像素子１３４乃至１３６から画像データを伝送するデータ線Ｌ１が、微小振幅のＬＶＤＳ方式である場合には、ＤＳＰとのＩ／Ｆ１３７乃至１３９において、撮像素子１３４乃至１３６からの画像データがＧＮＤ電位または電源電位に変換される。また、撮像素子とのＩ／Ｆ２１０の後段には、撮像素子１３４乃至１３６に対応する３系統の画像バッファ２１１乃至２１９を備える。
画像バッファ２１１乃至２１９は、撮像素子１３４乃至１３６から出力された画像データを保持する画像バッファであり、保持されている画像データがデータバス２０４を介して画像メモリ１７０に書き込まれる。例えば、各撮像素子について３個の画像バッファを備え、これらの各画像バッファは、データバス２０４に接続されている。例えば、撮像素子１３４については、３個の画像バッファ２１１乃至２１３が備えられる。また、撮像素子１３５については、３個の画像バッファ２１４乃至２１６が備えられる。また、撮像素子１３６については、３個の画像バッファ２１７乃至２１９が備えられる。ここで、本技術の実施の形態では、画像データを画像メモリ１７０に書込むため、画像バッファ２１１乃至２１９から画像データを読み出している間でも、撮像素子１３４乃至１３６からの新たに入力された画像データを順次保持させる。このため、画像バッファ２１１乃至２１９として、撮像素子１３４乃至１３６のそれぞれについて２個以上の画像バッファを備えていることが好ましい。
画像バッファ２１１乃至２１９の１個の容量は、データバス２０４のビット（ｂｉｔ）幅よりも大きいことが好ましい。例えば、データバス２０４が１２８ビット幅である場合には、各画像バッファは１２８ビット以上の容量であることが好ましい。また、画像バッファ２１１乃至２１９の１個の容量は、データバス２０４のビット幅の２倍以上であることがより好ましい。例えば、データバス２０４が１２８ビット幅である場合には、各画像バッファは２５６ビット以上の容量であることがより好ましい。
一方、画像バッファ２１１乃至２１９の１個の容量は、１つの撮像素子により生成される１枚の画像の画像データ量以下とすることができる。例えば、画像バッファ２１１乃至２１９の１個の容量は、撮像素子１３４の１ライン分の画素により生成される画像データのデータ量以下であることが好ましい。
本技術の実施の形態では、撮像素子１３４乃至１３６と、ＤＳＰ２００とを接続するデータ線のビット幅は、例えば、１２ビットとする。また、例えば、ＤＳＰ２００のデータバス２０４のビット幅は、１２８ビット幅とし、画像バッファ２１１乃至２１９の１個の容量は、それぞれ１２８ビットとする。
画像信号処理部２２０は、撮像制御部２０１の制御に基づいて、画像バッファ２１１乃至２１９、データバス２０４を介して入力された画像データについて、各種の画像信号処理を行うものである。なお、画像信号処理部２２０の内部構成については、図８を参照して詳細に説明する。
解像度変換部２３１は、撮像制御部２０１またはＣＰＵ２０２の制御に基づいて、各画像を表示部１４０に表示させるための解像度変換を行うものであり、解像度変換が施された画像データを画像回転処理部２３２に出力する。
解像度変換部２４１は、撮像制御部２０１またはＣＰＵ２０２の制御に基づいて、各画像を外部表示装置２４５に表示させるための解像度変換を行うものであり、解像度変換が施された画像データを画像回転処理部２４２に出力する。
画像回転処理部２３２は、撮像制御部２０１またはＣＰＵ２０２の制御に基づいて、解像度変換が施された画像データについて回転処理を行うものであり、回転処理が施された画像データを表示部とのＩ／Ｆ２３３に出力する。
画像回転処理部２４２は、撮像制御部２０１またはＣＰＵ２０２の制御に基づいて、解像度変換が施された画像データについて回転処理を行うものであり、回転処理が施された画像データを外部表示装置とのＩ／Ｆ２４３に出力する。
表示部とのＩ／Ｆ２３３は、表示部１４０と、ＤＳＰ２００とを接続するためのインターフェースである。
外部表示装置とのＩ／Ｆ２４３は、外部表示装置２４５と、ＤＳＰ２００とを接続するためのインターフェースである。外部表示装置２４５は、例えば、テレビジョンである。
解像度変換部２５１は、撮像制御部２０１またはＣＰＵ２０２の制御に基づいて、各画像について記録用に解像度を変換するものであり、解像度変換が施された画像データを符号化復号化部２５２に出力する。例えば、解像度変換部２５１は、ユーザが希望する記録画像サイズに解像度を変換する解像度変換処理や、サムネイル画像を生成するための解像度変換処理を行う。
符号化復号化部２５２は、撮像制御部２０１またはＣＰＵ２０２の制御に基づいて、解像度変換部２５１から出力された画像データを圧縮するための符号化を行うものであり、符号化された画像データを記録媒体とのＩ／Ｆ２５３に出力する。また、符号化復号化部２５２は、記録媒体１８０に記録された画像データを表示部１４０に表示する場合には、記録媒体１８０に記録された画像データを記録媒体とのＩ／Ｆ２５３を経由して入力して復号化する。この復号化された画像データが、画像メモリ１７０に保持される。
記録媒体とのＩ／Ｆ２５３は、記録媒体１８０と、ＤＳＰ２００とを接続するためのインターフェースである。
記録媒体１８０は、記録媒体とのＩ／Ｆ２５３を介して供給された画像データを記録する記録媒体である。記録媒体１８０は、情報処理装置１００に内蔵するようにしてもよく、着脱可能に情報処理装置１００に装着されるようにしてもよい。記録媒体１８０として、例えば、テープ（例えば、磁気テープ）、光ディスク（例えば、記録可能なＤＶＤ（Digital Versatile Disc））を用いることができる。また、記録媒体１８０として、例えば、磁気ディスク（例えば、ハードディスク）、半導体メモリ（例えば、メモリカード）、光磁気ディスク（例えば、ＭＤ（MiniDisc））を用いるようにしてもよい。なお、記録媒体１８０に記録される画像データについては、図２７を参照して詳細に説明する。
なお、発振回路２６４乃至２６６およびクロック生成回路２７０については、図９乃至図１１を参照して詳細に説明する。
ＡＦ制御部２８１は、画像バッファ２１１乃至２１９、データバス２０４を介して入力された画像データについて、その画像（撮像画像）における所定領域に含まれる被写体に合焦するようにフォーカス制御を行うものである。なお、所定領域は、例えば、撮像画像の真中部分の領域、ユーザにより指定された領域、顔検出部２８２により検出された顔の位置を含む領域とすることができる。また、所定領域が複数存在する場合には、各所定領域についてフォーカス制御が行われる。そして、撮像画像においてフォーカスが合っている位置（合焦位置）に関する情報をＣＰＵ２０２および撮像制御部２０１に出力する。また、合焦位置に関する情報がＡＦ制御部２８１に保持される。
顔検出部２８２は、画像バッファ２１１乃至２１９、データバス２０４を介して入力された画像データについて、その画像（撮像画像）に含まれる人物の顔を検出するものであり、その検出結果をＣＰＵ２０２および撮像制御部２０１に出力する。また、顔検出部２８２は、記録媒体１８０から読み出された画像データについて、その画像に含まれる人物の顔を検出するようにしてもよい。なお、画像に含まれる顔の検出方法として、例えば、顔の輝度分布情報が記録されているテンプレートとコンテンツ画像とのマッチングによる顔検出方法（例えば、特開２００４−１３３６３７参照。）を用いることができる。また、画像に含まれる肌色の部分や人間の顔の特徴量に基づいた顔検出方法を用いることができる。これらの顔検出方法により、人物の顔の画像における位置および大きさを求めることができる。また、顔の検出結果が顔検出部２８２に保持される。
ＡＥ制御部２８３は、画像バッファ２１１乃至２１９、データバス２０４を介して入力された画像データについて、シャッター速度や絞り値を自動的に調整するための自動露出制御部であり、その検出結果をＣＰＵ２０２および撮像制御部２０１に出力する。
ＡＷＢ制御部２８４は、画像バッファ２１１乃至２１９、データバス２０４を介して入力された画像データについて、オートホワイトバランス調整等を行うものであり、その検出結果をＣＰＵ２０２および撮像制御部２０１に出力する。
［画像信号処理部２２０の内部構成例］
図８は、本技術の第１の実施の形態における画像信号処理部２２０の内部構成例を示すブロック図である。
画像信号処理部２２０は、画素加算処理部２２１と、デモザイク処理部２２２と、ＹＣ変換処理部２２３と、画像合成処理部２２４と、シャープネス処理部２２５と、色調整処理部２２６と、ＲＧＢ変換処理部２２７とを備える。
画素加算処理部２２１は、撮像素子１３４乃至１３６により生成された画像データについて、画素加算処理および画素間引き処理を行うものである。
デモザイク処理部２２２は、撮像素子１３４乃至１３６により生成された画像データ（モザイク画像）の各画素位置にＲ、Ｇ、Ｂの全てのチャネルの強度が揃うようにデモザイク処理（補間処理）を行うものである。そして、デモザイク処理部２２２は、デモザイク処理が施されたＲＧＢ画像をＹＣ変換処理部２２３に供給する。すなわち、デモザイク処理部２２２は、１画素につき１色分の画素データのみを有するベイヤーデータを補間して１画素についてＲＧＢの３個の画素データを算出する。
ＹＣ変換処理部２２３は、デモザイク処理部２２２により生成されたＲＧＢ画像にＹＣマトリックス処理およびクロマ成分に対する帯域制限を行うことにより、輝度信号（Ｙ）および色差信号（Ｃｒ，Ｃｂ）を生成するものである。そして、生成された輝度信号（Ｙ画像）および色差信号（Ｃ画像）が画像合成処理部２２４に供給される。
画像合成処理部２２４は、ＹＣ変換処理部２２３により生成された画像データについて、画像合成を行うものであり、合成された画像データをシャープネス処理部２２５に出力する。なお、この画像合成処理については、図１８乃至図２６を参照して詳細に説明する。
シャープネス処理部２２５は、画像合成処理部２２４により生成された画像データについて、信号変化の大きい部分を取り出して強調するシャープネス処理（被写体の輪郭を強調する処理）を行うものである。そして、シャープネス処理部２２５は、シャープネス処理が施された画像データを色調整処理部２２６に供給する。
色調整処理部２２６は、シャープネス処理部２２５によりシャープネス処理が施された画像データについて、色相および彩度の調整を行うものである。
ＲＧＢ変換処理部２２７は、色調整処理部２２６により色相および彩度の調整が施された画像データについて、ＹＣｂＣｒデータからＲＧＢデータへ変換するものである。
ここで、画像信号処理部２２０の信号の画像データの流れについて説明する。例えば、画像信号処理部２２０における各信号処理部が画像メモリ１７０からデータバス２０４を経由して画像データを直接読み込み、信号処理後の画像データをデータバス２０４経由で画像メモリ１７０に書き込む場合を想定する。この場合には、画像信号処理部２２０が、画像データ中の所望の位置の画像データを所望のタイミングで読み込むことができる点で有利である。しかし、データバス２０４を経由して伝送する必要があるデータ量が大きくなるため、データバス２０４の動作周波数を大きくする必要がある。このため、データバス２０４の設計が難しくなるとともに消費電力が大きくなるおそれがある。
また、例えば、画像信号処理部２２０における各信号処理部が画像データを前段の信号処理部からデータバス２０４を経由せずに受け取り、信号処理後の画像データを後段の信号処理部へデータバス２０４を経由せずに受け渡す場合を想定する。この場合には、データバス２０４を使用しないため、ＬＳＩの設計が容易であり、消費電力を小さくすることができる点で有利である。しかし、各信号処理部が画像データ中の所望の位置の画像データを所望のタイミングで読み込むことができないおそれがある。
そこで、本技術の実施の形態では、画像サイズが略一定であるデモザイク処理部２２２から色調整処理部２２６までの間は、データバス２０４の動作周波数と、消費電力の低減のため、画像データを各信号処理部間で直接受け渡す。また、解像度変換のように、大量の画像データを使用する信号処理部の前段では、画像メモリ１７０へ画像データを書き込み、解像度変換を行う際は、画像メモリ１７０から所望の画像データを読み出す例を示す。
［クロック生成回路の構成例］
図９は、本技術の第１の実施の形態におけるクロック生成回路２７０の内部構成例を示すブロック図である。
クロック生成回路２７０は、高周波クロック用逓倍器２０、２４と、高周波クロック用分周器２１、２５と、低周波クロック用逓倍器２２、２６と、低周波クロック用分周器２３、２７とを備える。また、クロック生成回路２７０は、クロック用逓倍器２８、３０と、クロック用分周器２９、３１とを備える。ここで、各逓倍器は、入力されたクロックの周波数を逓倍するものである。また、各分周器は、入力されたクロックの周波数を１／ｎ（ｎは任意の整数）にするものである。なお、この例では、クロック生成回路２７０が、図７に示すＤＳＰ２００における各部の接続先に応じて少なくとも６種類のクロックを発生させる場合を例にして示す。
発振子２６１乃至２６３は、ＤＳＰ２００内に供給されるクロック信号を発生させるための振動源であり、例えば、水晶発振子が用いられる。
発振回路２６４乃至２６６は、ＤＳＰ２００内に供給されるクロック信号を生成するものであり、生成されたクロック信号をクロック生成回路２７０に出力する。
クロック生成回路２７０が生成する６種類のクロックのうち２種類は、撮像素子１３４乃至１３６に供給されるクロックである。この撮像素子１３４乃至１３６に供給されるクロックのうち１種類は、画素数が比較的大きい画像を生成するための比較的大きい周波数のクロックである。このクロックは、発振回路２６４から出力されたクロックが高周波クロック用逓倍器２０に入力されて逓倍され、この逓倍されたクロックが高周波クロック用分周器２１に入力されて分周されることにより生成される。また、他の１種類は、画素数が比較的小さい画像を生成するための比較的小さい周波数のクロックである。このクロックは、発振回路２６４から出力されたクロックが低周波クロック用逓倍器２２に入力されて逓倍され、この逓倍されたクロックが低周波クロック用分周器２３に入力されて分周されることにより生成される。そして、高周波クロック用分周器２１および低周波クロック用分周器２３により分周されたクロックが、クロック生成回路２７０において生成されたクロックとして出力され、ＤＳＰ２００内部を経由して撮像素子１３４乃至１３６に供給される。ここで、撮像素子１３４乃至１３６に供給するクロックは、この例で示した２種類に限らず、撮像動作により生成される画像サイズに応じて、さらに多くの種類を生成して用いることが好ましい。
クロック生成回路２７０が生成する６種類のクロックのうち他の２種類は、ＤＳＰ２００内部で使用されるクロックである。このＤＳＰ２００内部で使用されるクロックのうち１種類は、画素数が比較的大きい画像を生成するための比較的大きい周波数のクロックである。このクロックは、発振回路２６４から出力されたクロックが高周波クロック用逓倍器２４に入力されて逓倍され、この逓倍されたクロックが高周波クロック用分周器２５に入力されて分周されることにより生成される。また、他の１種類は、画素数が比較的小さい画像を生成するための比較的小さい周波数のクロックである。このクロックは、発振回路２６４から出力されたクロックが低周波クロック用逓倍器２６に入力されて逓倍され、この逓倍されたクロックが低周波クロック用分周器２７に入力されて分周されることにより生成される。そして、高周波クロック用分周器２５および低周波クロック用分周器２７により分周されたクロックが、クロック生成回路２７０において生成されたクロックとして出力され、ＤＳＰ２００内部に供給される。ここで、ＤＳＰ２００内部で使用されるクロックは、この例で示した２種類に限らず、撮像動作により生成される画像サイズに応じて、さらに多くの種類を生成して用いることが好ましい。
クロック生成回路２７０が生成する６種類のクロックのうち残りの２種類は、表示部１４０に画像を表示するための画素クロックと、情報処理装置１００外部の表示装置（例えば、外部表示装置２４５）に画像を表示するための画素クロックである。表示部１４０に画像を表示するための画素クロックは、発振回路２６５から出力されたクロックがクロック用逓倍器２８に入力されて逓倍され、この逓倍されたクロックがクロック用分周器２９に入力されて分周されることにより生成される。また、情報処理装置１００外部の表示装置に画像を表示するための画素クロックは、発振回路２６６から出力されたクロックがクロック用逓倍器３０により逓倍され、この逓倍されたクロックがクロック用分周器３１に入力されて分周されることにより生成される。そして、クロック用分周器２９により分周されたクロックが、クロック生成回路２７０において生成されたクロックとして出力され、ＤＳＰ２００内部を経由して表示部１４０に供給される。また、クロック用分周器３１により分周されたクロックが、クロック生成回路２７０において生成されたクロックとして出力され、ＤＳＰ２００内部を経由して情報処理装置１００外部の表示装置に供給される。ここで、これらの画像表示のためのクロックは、この例で示した２種類に限らず、接続する表示装置の仕様に応じて、さらに多くの種類を生成して用いることが好ましい。
図１０および図１１は、本技術の第１の実施の形態におけるクロック生成回路２７０の変形例を示すブロック図である。
図１０には、撮像素子１３４乃至１３６に供給される２種類のクロックが１つの逓倍器（クロック用逓倍器３２）を共有して使用し、ＤＳＰ２００内部に供給される２種類のクロックが１つの逓倍器（クロック用逓倍器３３）を共有して使用する例を示す。
図１１には、撮像素子１３４乃至１３６に供給される複数種類のクロックと、ＤＳＰ２００内部に供給される複数種類のクロックとが、１つの逓倍器（クロック用逓倍器３４）を共有して使用する例を示す。
［撮像素子の構成例および画素読出例］
図１２は、本技術の第１の実施の形態における撮像素子の内部構成例を示す図である。ここで、撮像素子１３４乃至１３６の内部構成は略同一であるため、図１２では、撮像素子１３４のみを示し、他の撮像素子の図示および説明を省略する。また、図１２では、撮像素子１３４として、ＣＭＯＳ型撮像素子を例にして説明する。
撮像素子１３４は、画素４０乃至４７と、垂直走査回路３４０と、水平走査回路３４５とを備える。また、撮像素子１３４は、ＡＤＣ（Ａ／Ｄ（Analog/Digital）コンバータ）３５０乃至３５３と、加算器３５４乃至３５７、３６６と、カラムラッチ３５８乃至３６１とを備える。また、撮像素子１３４は、スイッチ３６２乃至３６５と、出力ラッチ３６７と、出力回路３６８と、レジスタ３７０、３８０と、逓倍器／分周器３９１、３９２とを備える。なお、一般的に、撮像素子の縦方向の並びをカラムと称し、横方向の並びをロウと称する。このため、以下では、カラムおよびロウの名称を適宜用いて説明する。また、この例では、撮像素子１３４において、一部の画素（画素４０乃至４７）と、これに関連する各部とを代表して示し、他の構成についての図示および説明を省略する。
撮像素子１３４において、ロウ方向に垂直制御線３４１乃至３４４が配線されており、同一ライン上にある画素が１つおきに同一の垂直制御線に接続される。また、カラム方向にデータ読出線３４６乃至３４９が配線されており、同一ライン上にある画素が１つの読み出し線を共有する。
垂直走査回路３４０は、ロウ方向に配線されている垂直制御線３４１乃至３４４により、画素４０乃至４７と、データ読出線３４６乃至３４９との間のスイッチをオン／オフするものである。すなわち、ロウ方向の各画素において、１本の垂直制御線により、ロウ方向の同一ライン上にある画素のうち、１つおきの画素が共通にオン／オフされる。また、画素４０乃至４７の画像データが、各画素とこれに対応するデータ読出線との間のスイッチを経由して、データ読出線３４６乃至３４９に出力される。
水平走査回路３４５は、カラムラッチ３５８乃至３６１と、出力データ線３６９との間のスイッチ３６２乃至３６５をオン／オフするものである。垂直走査回路３４０によるスイッチのオン／オフと、水平走査回路３４５によるスイッチ３６２乃至３６５のオン／オフとの選択により、各画素を順次選択しながら時分割で全画素の信号を読み出すことができる。ここで、出力データ線３６９は、各カラムの出力結果を撮像素子１３４から出力するための出力データ線である。
ここで、撮像素子１３４には、画素４０乃至４７が２次元正方格子状に配置されている。なお、画素４０乃至４７の構成は同一であるため、ここでは、画素４０を例にして説明する。画素４０は、受光部であるフォトダイオード５１と、アンプ５２と、スイッチ５３とにより構成されている。フォトダイオード５１は、画素に照射された光をその光量に応じた電荷に変換するものである。アンプ５２は、フォトダイオード５１により変換された電荷の信号を増幅する増幅器である。スイッチ５３は、垂直制御線３４２のオンオフに応じて、画素４０の電荷転送を制御するスイッチである。
また、各カラムには、ＡＤＣ３５０乃至３５３と、加算器３５４乃至３５７と、カラムラッチ３５８乃至３６１とが備えられている。以下では、データ読出線３４６に接続されているＡＤＣ３５０と、加算器３５４と、カラムラッチ３５８とを例にして説明する。
ＡＤＣ３５０は、アナログ値である各画素からの画像データをデジタルデータ（デジタル値）に変換するＡＤコンバータである。
加算器３５４は、ＡＤＣ３５０によりデジタルデータが変換される毎に、その変換後の新たなデジタルデータを、カラムラッチ３５８に保存されているデジタルデータに加算するものである。
カラムラッチ３５８は、ＡＤＣ３５０により変換されたデジタルデータを順次保存するカラムラッチである。ここで、カラムラッチとは、ＡＤ変換後のデジタルデータを保存するデータ保存回路を示す名称である。このデータ保存回路として、線形回路により構成されたラッチ以外に、同期回路により構成されたフリップフロップ等のデジタルデータを保存することができる各回路を用いることができる。
例えば、画素４０から出力された画像データは、ＡＤＣ３５０、加算器３５４、カラムラッチ３５８を経由した後に、データ読出線３４６に接続されているスイッチ３６２を経由して、出力データ線３９０に出力される。ここで、本技術の実施の形態では、各カラムのデータ読出線と同様に、出力データ線３９０にも加算器３６６と出力ラッチ３６７とを備え、画像データの加算と保存とを行う。また、出力ラッチ３６７に保存されている画像データが、出力回路３６８を経由して出力データ線３６９に出力される。なお、出力データ線３６９からの画像データは、上述したデータ線Ｌ１に出力される。
逓倍器／分周器３９１、３９２は、ＤＳＰ２００からの制御に基づいて、入力されたクロックの周波数の逓倍、または、入力されたクロックの周波数の分周を行うものである。そして、逓倍器／分周器３９１、３９２は、生成されたクロックを、垂直走査回路３４０、水平走査回路３４５および出力回路３６８に供給する。
信号線３９３は、ＤＳＰ２００から垂直同期信号を供給する垂直同期信号線である。信号線３９４は、ＤＳＰ２００から水平同期信号を供給する水平同期信号線である。
また、信号線３９５は、ＤＳＰ２００からクロック信号を供給するクロック信号線である。信号線３９６は、ＤＳＰ２００から撮像動作のオン／オフを制御するための信号線、および、画素間引きを制御するための信号線である。信号線３９７は、撮像素子１３４とＤＳＰ２００との間の双方向の通信線である。信号線３９８は電源供給線である。
なお、レジスタ３７０、３８０は、撮像動作に関する各設定値が保持されているレジスタであり、保持内容の一例を図１３に示す。
図１３は、本技術の第１の実施の形態における撮像素子１３４が備えるレジスタ３７０および３８０の保持内容を模式的に示す図である。
レジスタ３７０および３８０には、撮像動作に関する各設定値が保持され、垂直走査回路３４０および水平走査回路３４５に供給される。なお、これらの設定値は、ユーザ操作により変更可能としてもよい。
図１４乃至図１６は、本技術の第１の実施の形態における撮像素子１３４における各画素への制御信号と、これらの各画素から出力されるデータとの様子を模式的に表すタイミングチャートである。
ここで、図１４乃至図１６に示す横軸は時間軸である。また、図１４乃至図１６に示す垂直制御線３４１乃至３４４、カラムラッチ３５８乃至３６１には、対応する図１２と同一の符号を付して説明する。また、図１４乃至図１６に示すカラムラッチ読出し信号には、対応する図１２に示すスイッチ３６２乃至３６５と同一の符号を付して説明する。
図１４に示す例では、撮像素子１３４における各画素のうち全画素を読出す場合における撮像動作について説明する。
垂直制御線３４１乃至３４４を使用して、あるロウ（例えば、画素４０乃至４３のライン）に接続された全ての撮像素子１３４の画素データを、各カラムのデータ読出線３４６乃至３４９に出力させる。続いて、データ読出線３４６乃至３４９に出力された画素データが、各カラムのＡＤＣ３５０乃至３５３によりＡＤ変換される。続いて、ＡＤＣ３５０乃至３５３の出力が、各カラムのカラムラッチ３５８乃至３６１に保持される。例えば、図１４に示すカラムラッチ３５８乃至３６１に画素データｄ１乃至ｄ４が保持される。続いて、カラムラッチ３５８乃至３６１から出力データ線３９０への読出しスイッチ３６２乃至３６５を、水平走査回路３４５が１列ずつ順番にオンさせる。これにより１ライン中の各画素データを順番に読み出すことができる。例えば、図１４に示す出力データ線３９０に画素データｄ１が出力された後に画素データｄ２乃至ｄ３が順次出力される。
以降も同様に、水平方向の１ラインの読出しが終了する毎に、各画素から垂直信号線への読出しスイッチを、垂直走査回路３４０が１行ずつ順番にオンさせる。これにより各行の画素データがＡＤＣ３５０乃至３５３に入力される。この入力された画素データがＡＤＣ３５０乃至３５３によりＡＤ変換された後は、各画素データが、各カラムのカラムラッチ３５８乃至３６１に保持される。例えば、図１４に示すカラムラッチ３５８乃至３６１に画素データｄ５乃至ｄ８が保持される。続いて、カラムラッチ３５８乃至３６１から出力データ線３９０への読出しスイッチ３６２乃至３６５を、水平走査回路３４５が１列ずつ順番にオンさせ、１ライン中の各画素データを順番に読み出す。例えば、図１４に示す出力データ線３９０に画素データｄ５乃至ｄ８が順次出力される。
図１５に示す例では、撮像素子１３４における各画素のうち、画素間引き読出しの一例として水平間引きして読出す場合における撮像動作について説明する。
各画素から垂直信号線３４６乃至３４９への読出しスイッチを、垂直走査回路３４０が所望の列のみオンさせる。これにより特定の行の画素データのみがＡＤＣ３５０乃至３５３に入力され、ＡＤＣ３５０乃至３５３によりＡＤ変換される。そして、ＡＤＣ３５０乃至３５３の出力が、各カラムのカラムラッチ３５８乃至３６１に保持される。例えば、垂直制御線３４２および３４４に接続されている読出しスイッチをオンさせることにより、図１５に示すカラムラッチ３５８および３６０に画素データｄ１およびｄ３が保持される。この１行の読出しが終了した後に、例えば、垂直制御線３４２および３４４に接続されている読出しスイッチをオンさせることにより、図１５に示すカラムラッチ３５８および３６０に画素データｄ５およびｄ７が保持される。
また、カラムラッチ３５８乃至３６１から出力データ線３９０への読出しスイッチを、水平走査回路３４５が所望の列のみオンさせる。これにより１ライン中の特定の画素データのみを順番に読み出すことができる。
例えば、水平方向において、Ｎ個の画素データの中から１個の画素データを読み出す場合には、水平方向に１／Ｎ間引き読出しとなる。例えば、２個中に１個の画素データを読み出す場合には、水平方向に１／２間引き読出しとなり、４個中に１個の画素データを読み出す場合には、水平方向に１／４間引き読出しとなる。
水平方向（すなわち、ロウ方向）への間引き動作と同時に、垂直方向（すなわち、カラム方向）への間引き動作も行うことができる。例えば、垂直方向において、Ｍ本のラインの中からに１本のラインの画素データを読み出す場合には、垂直方向に１／Ｍ間引き読出しとなる。例えば、２本中に１本のロウの画素データを読み出す場合には、垂直方向に１／２間引き読出しとなり、４本中に１本のロウの画素データを読み出す場合には、垂直方向に１／４間引き読出しとなる。
図１６に示す例では、撮像素子１３４における各画素のうち、画素加算読出を行う場合における撮像動作について説明する。この例では、画素加算読出として、水平方向の１／２の画素加算読出し、および、垂直方向の１／２の画素加算読出しの場合における撮像動作について説明する。
全画素読出しを行う場合と同様に、垂直制御線を使用して、あるロウに接続された全ての撮像素子１３４のデータを、各カラムに備わるデータ読出線へ出力させ、ＡＤ変換してカラムラッチに保持させる。ここで、全画素読出しを行う場合とは異なり、別の垂直制御線を使用して、別のロウに接続された全ての撮像素子１３４のデータを、各カラムに備わるデータ読出線へ出力させ、ＡＤ変換する。そして、加算器を用いて、カラムラッチのデータに加算する。垂直方向に所望の本数分だけ、この方法により各画素データの値を加算し、各カラムラッチに加算後のデータを保持させる。例えば、画素データｄ１＋ｄ５、ｄ２＋ｄ６、ｄ３＋ｄ７、ｄ４＋ｄ８がカラムラッチ３５８乃至３６１に保持される。このように、垂直方向にＮ個の画素データを加算した後に、加算結果を１個の画素データとして出力することにより、垂直方向の１／Ｎの画素加算読出しとなる。
次に、カラムラッチから出力データ線３９０への読出しスイッチを、水平走査回路３４５が１列ずつ順番にオンさせる。この場合に、各カラムラッチから出力データ線３９０に読み出されたデータを、出力データ線３９０の加算器３６６により加算し、出力ラッチ３６７に保持させる。そして、水平方向に所望のカラム数分だけ加算処理を繰り返し、加算後のデータを撮像素子１３４に出力する。例えば、画素データｄ１＋ｄ５と、画素データｄ２＋ｄ６とが加算されたデータｄ１＋ｄ５＋ｄ２＋ｄ６が、出力データ線３６９を介して撮像素子１３４に出力される。このように、水平方向にＭ本のロウの画素データを加算することにより、水平方向に１／Ｍの画素加算読出しとなる。以上の処理を行うことにより、水平方向（ロウ方向）の加算処理と垂直方向（カラム方向）との加算処理が可能となる。
ここで、図１５に示す間引き読出し、および、図１６に示す画素加算の読出しを行う場合には、複数種類の間引き率、画素加算率に対応して撮像素子を動作させることが望ましい。そこで、以下では、複数種類の間引き率および画素加算率に対応して撮像素子を動作させる走査回路について説明する。
図１７は、本技術の第１の実施の形態における撮像素子１３４の間引きを行うための走査回路の一例を模式的に示す図である。図１７のａには、３種類の走査回路１０４乃至１０６を示し、図１７のｂには、１／Ｎ間引き走査回路の構成例を示す。また、図１７に示す例では、全画素読み出し、１／２間引き読み出し、１／４間引き読み出しの３種類の画素間引き率に対応するための撮像素子の走査回路について、撮像素子の横方向画素数が１０２４個の場合を例にして説明する。
図１７のａに示すように、走査回路１０４は、１０２４本の出力信号線（ｓｃａｎ＿ａ［ｎ（０≦ｎ≦１０２３：ｎは整数）］）を備え、各信号線を１本ずつｅｎａｂｌｅ状態にした後にｄｉｓａｂｌｅ状態にする１０２４ｔｏ１走査回路である。また、走査回路１０５は、５１２本の出力信号線（ｓｃａｎ＿ｂ［ｎ（０≦ｎ≦５１１：ｎは整数）］）を備え、各信号線を１本ずつｅｎａｂｌｅ状態にした後にｄｉｓａｂｌｅ状態にする５１２ｔｏ１走査回路である。また、走査回路１０６は、２５６本の出力信号線（ｓｃａｎ＿ｃ［ｎ（０≦ｎ≦２５５：ｎは整数）］）を備え、各信号線を１本ずつｅｎａｂｌｅ状態にした後にｄｉｓａｂｌｅ状態にする２５６ｔｏ１走査回路である。
図１７のｂに示すように、走査回路１０４の１０２４本の出力信号線のうち、４の倍数の番号の信号線には、走査回路１０５の出力信号線と、走査回路１０６の出力信号線と、３種類の画素間引き率の何れを選択しているのかを示す制御線とが接続される。この３種類の制御線は、全画素読み出し（ｓｅｌ＿１ｐｅｒ１）、１／２間引き読み出し（ｓｅｌ＿１ｐｅｒ２）、および、１／４間引き読み出し（ｓｅｌ＿１ｐｅｒ４）に対応する制御線である。
また、走査回路１０４の１０２４本の出力信号線のうち、４の倍数ではなく、かつ、２の倍数の番号の信号線には、走査回路１０５の出力信号線と、２種類の画素間引き率の何れを選択しているのかを示す制御線とが接続される。この２種類の制御線は、全画素読み出し、および、１／２間引き読み出しに対応する制御線である。
また、走査回路１０４の１０２４本の出力信号線のうち、上述した信号線以外の信号線には、全画素読み出しが選択されているのかを示す制御線が接続される。
図１７のｂに示す走査回路からの出力（ｓｃａｎ＿ｏｕｔ［ｎ（０≦ｎ≦１０２３：ｎは整数）］）により、撮像素子１３４において、全画素読み出し、１／２間引き読み出し、１／４間引き読み出しのそれぞれの間引き処理を行うことが可能となる。
［撮像系の配置構成例］
図１８は、本技術の第１の実施の形態における撮像部１３０および被写体との関係を示す図である。なお、図１８では、図３に示す撮像部１３０における第１の撮像系１９１乃至第３の撮像系１９３のうち、光学系１３１乃至１３３、撮像素子１３４乃至１３６のみを示し、他の構成については省略する。また、図１８では、撮像対象となる被写体を被写体面３００とし、第１の撮像系１９１の光軸１９４が被写体面３００と直交するように、情報処理装置１００が配置されている場合を模式的に示す。また、第１の撮像系１９１の光軸１９４は、表示部１４０の表示面に直交（または、略直交）している。また、３つの光軸１９４乃至１９６が交点Ｐ０で交わるものとする。
撮像部１３０において、第１の撮像系１９１の光軸１９４と、第２の撮像系１９２の光軸１９５とのなす角をθ０とする。同様に、第１の撮像系１９１の光軸１９４と、第３の撮像系１９３の光軸１９６とのなす角をθ０とする。なお、第３の撮像系１９３は、第１の撮像系１９１の光軸１９４を挟んで、第２の撮像系１９２と線対象の位置となるように配置される。
また、第１の撮像系１９１において、撮像素子１３４に入射される入射光路の最も外側の線と、光軸１９４とがなす角度をθ１とする。また、第２の撮像系１９２において、撮像素子１３５に入射される入射光路の最も外側の線と、光軸１９５とがなす角度をθ２とする。同様に、第３の撮像系１９３において、撮像素子１３６に入射される入射光路の最も外側の線と、光軸１９６とがなす角度をθ２とする。例えば、図１８に示すように、撮像素子１３４における受光面の水平方向の幅と、撮像素子１３５および１３６における受光面の水平方向の幅とは同一（または略同一）である。このため、撮像素子１３４に入射される画角２×θ１と、撮像素子１３５および１３６に入射される画角２×θ２とは同一（または略同一）である。
ここで、撮像素子１３４に入射される画角２×θ１により、被写体面３００の撮像範囲３０１が特定される。同様に、撮像素子１３５に入射される画角２×θ２により、被写体面３００の撮像範囲３０２が特定され、撮像素子１３６に入射される画角２×θ２により、被写体面３００の撮像範囲３０３が特定される。本技術の実施の形態では、撮像素子１３４乃至１３６により生成される画像を合成し、パノラマ画像を生成する。このため、被写体面３００の撮像範囲３０１と、被写体面３００の撮像範囲３０２との一部が重なるように、各光軸のなす角が設定される。具体的には、撮像範囲３０１および３０２の一部が重なるように、第１の撮像系１９１の光軸１９４と、第２の撮像系１９２の光軸１９５とのなす角θ０と、第１の撮像系１９１の光軸１９４と、第３の撮像系１９３の光軸１９６とのなす角θ０とが設定される。なお、光軸１９４乃至１９６は同一平面に含まれる。また、光軸１９４乃至１９６が１点（交点Ｐ０）で交わるように、第１の撮像系１９１乃至第３の撮像系１９３が配置される。
ここで、第１の撮像系１９１のレンズ中心をＲ１とし、第２の撮像系１９２のレンズ中心をＲ２とし、第３の撮像系１９３のレンズ中心をＲ３とする。また、レンズ中心Ｒ１と交点Ｐ０との間の距離をＬ１１とし、レンズ中心Ｒ２と交点Ｐ０との間の距離をＬ２１とし、レンズ中心Ｒ３と交点Ｐ０との間の距離をＬ３１とする。この場合に、第１の撮像系１９１乃至第３の撮像系１９３は、距離Ｌ１１、Ｌ２１およびＬ３１が等しくなるように配置することが好ましい。
［台形歪みの補正例］
図１９および図２０は、本技術の第１の実施の形態における撮像部１３０における撮像系と、これらの撮像対象となる被写体との関係を模式的に示す図である。
図１９のａには、撮像部１３０による撮像対象となる被写体３１０を模式的に示す。この被写体３１０は、図１８に示す被写体面３００に対応する被写体であるものとする。また、被写体３１０に対応する範囲を矩形で示し、この矩形内を格子状にして模式的に示す。
図２０のａには、撮像部１３０による撮像対象となる被写体３１１乃至３１３を模式的に示す。被写体３１１は、図１９のａに示す被写体３１０のうち第１の撮像系１９１に対応する被写体であるものとする。同様に、被写体３１２は、被写体３１０のうち第２の撮像系１９２に対応する被写体であり、被写体３１３は、被写体３１０のうち第３の撮像系１９３に対応する被写体であるものとする。また、被写体３１１乃至３１３のうち、被写体３１１の水平方向における両方の端部と、被写体３１２および３１３の水平方向における一の端部とが重複する。
図１９のｂおよび図２０のｂには、撮像部１３０における撮像系を示す。なお、図１９のｂおよび図２０のｂに示す例は、符号等を省略した点以外の点は、図１８に示す例と同一である。
図２１は、本技術の第１の実施の形態における撮像部１３０における撮像系と、これらにより生成される撮像画像との関係を模式的に示す図である。図２１のａには、撮像部１３０により生成される撮像画像３１４乃至３１６を模式的に示す。これらの撮像画像３１４乃至３１６は、図２０のａに示す被写体３１１乃至３１３に対応する撮像画像であり、被写体３１１乃至３１３内に示す格子状の矩形を模式的に示す。
図２１のａに示すように、第２の撮像系１９２および第３の撮像系１９３の光軸１９５および１９６が被写体面３００に対して直交していないため、撮像画像３１５および３１６には、台形歪みが発生する。この台形歪みについては、図２２を参照して詳細に説明する。
図２２は、本技術の第１の実施の形態における撮像部１３０における撮像系と、これらの撮像対象となる被写体との関係を模式的に示す図である。なお、図２２では、説明の容易のため、第３の撮像系１９３に関する構成を省略して、第１の撮像系１９１および第２の撮像系１９２のみを示す。また、図２２に示す例は、第３の撮像系１９３に関する構成を省略した点以外の点は、図１８に示す例と略同一である。また、交点Ｐ０、角θ０、θ１およびθ２、レンズ中心Ｒ１およびＲ２、距離Ｌ１１については、図１８に示す例と同一であるため、同一の符号を付して示す。
図２２において、第１の撮像系１９１の光軸１９４と、被写体面３００との交点をＳ１１とする。また、第１の撮像系１９１の画角の右側外形線と、被写体面３００との交点をＳ１２とし、第１の撮像系１９１の画角の左側外形線と、被写体面３００との交点をＳ１３とする。
また、交点Ｓ１１を含み、かつ、光軸１９４と直交する平面であって、第１の撮像系１９１に入射される平面状の被写体領域を被写体面Ｓ１０とする。
また、第２の撮像系１９２の光軸１９５と、被写体面３００との交点をＳ２１とし、第２の撮像系１９２の画角の右側外形線と、被写体面３００との交点をＳ３２とし、第２の撮像系１９２の画角の左側外形線と、被写体面３００との交点をＳ４３とする。
また、交点Ｓ２１を含み、かつ、光軸１９５と直交する平面であって、第２の撮像系１９２に入射される平面状の被写体領域を被写体面Ｓ２０とする。
また、交点Ｓ３２を含み、かつ、光軸１９５と直交する平面であって、第２の撮像系１９２に入射される平面状の被写体領域を被写体面Ｓ３０とする。
また、交点Ｓ４３を含み、かつ、光軸１９５と直交する平面であって、第２の撮像系１９２に入射される平面状の被写体領域を被写体面Ｓ４０とする。
また、被写体面Ｓ３０と光軸１９５との交点をＳ３１とし、被写体面Ｓ４０と光軸１９５との交点をＳ４１とする。
また、第２の撮像系１９２の画角の右側外形線と、被写体面Ｓ２０との交点をＳ２２とし、第２の撮像系１９２の画角の右側外形線と、被写体面Ｓ４０との交点をＳ４２とする。
また、第２の撮像系１９２の画角の左側外形線と、被写体面Ｓ２０との交点をＳ２３とし、第２の撮像系１９２の画角の右側外形線と、被写体面Ｓ３０との交点をＳ３３とする。
また、第２の撮像系１９２のレンズ中心Ｒ２を通りかつ被写体面３００に垂直な線分１９７と、被写体面３００との交点をＳ５１とする。
例えば、画角の左端の点Ｓ４３を含む被写体面Ｓ４０と、画角の右端の点Ｓ３２を含む被写体面Ｓ３０とを比較すると、被写体面Ｓ４０は被写体面Ｓ３０よりもレンズ中心Ｒ２から遠い位置に存在する。このため、被写体面Ｓ４０が撮像される場合には、被写体面Ｓ３０が撮像される場合よりも広い領域が撮像される。例えば、被写体面Ｓ４０上と、被写体面Ｓ３０上に同じ長さの線分を被写体として配置した場合を想定する。この場合には、被写体面Ｓ３０について生成された撮像画像と、被写体面Ｓ４０について生成された撮像画像とを比較すると、被写体面Ｓ４０について生成された撮像画像に含まれる線分の方が短くなる。
このため、例えば、図２０のａに示す被写体３１２が第２の撮像系１９２により撮像される場合には、図２１のａに示す撮像画像３１５のように、被写体３１２に対応する領域が台形の形状となる。すなわち、図２１のａに示す例では、撮像画像３１５において、被写体３１２に対応する矩形のうち、左側の辺が右側の辺よりも短くなる。
同様に、図２０のａに示す被写体３１３が第３の撮像系１９３により撮像される場合には、図２１のａに示す撮像画像３１６のように、被写体３１３に対応する領域が台形の形状となる。このように、３眼の撮像部により生成された撮像画像には、台形歪みが発生する。そこで、以下では、撮像画像の台形歪みを補正する台形歪み補正方法について説明する。
ここで、交点Ｓ１１とレンズ中心Ｒ１との距離をＬ１２とし、交点Ｓ１３とレンズ中心Ｒ１との距離、および、交点Ｓ１２とレンズ中心Ｒ１との距離をＬ１３とする。
また、交点Ｓ２１とレンズ中心Ｒ２との距離をＬ２２とし、交点Ｓ３１とレンズ中心Ｒ２との距離をＬ３０とし、交点Ｓ４１とレンズ中心Ｒ２との距離をＬ４０とする。
また、交点Ｓ３２とレンズ中心Ｒ２との距離をＬ２３とし、交点Ｓ４３とレンズ中心Ｒ２との距離をＬ２４とし、交点Ｓ５１とレンズ中心Ｒ２との距離をＬ５１とする。なお、距離Ｌ６１乃至Ｌ６６については、図２４を参照して説明する。
ここで、三角関数の公式により次式が成り立つ。
Ｌ２１＋Ｌ２２＝Ｌ１１＋Ｌ２２＝（Ｌ１１＋Ｌ１２）／ｃｏｓθ０
この式により、次の式１が求められる。なお、Ｌ１１＝Ｌ２１である。
Ｌ２２＝｛（Ｌ１１＋Ｌ１２）／ｃｏｓθ０｝−Ｌ１１ …式１
また、距離Ｌ５１については、三角関数の公式と式１により、次の式２が求められる。
Ｌ５１＝Ｌ２２×ｃｏｓθ０
＝［｛（Ｌ１１＋Ｌ１２）／ｃｏｓθ０｝−Ｌ１１）］×ｃｏｓθ０ …式２
また、距離Ｌ２３については、三角関数の公式と式２により、次の式３が求められる。
Ｌ２３＝Ｌ５１／ｃｏｓ（θ２−θ０）
＝（Ｌ２２×ｃｏｓθ０）／ｃｏｓ（θ２−θ０） …式３
また、距離Ｌ３０については、三角関数の公式と式３により、次の式４が求められる。
Ｌ３０＝Ｌ２３×ｃｏｓθ２
＝｛（Ｌ２２×ｃｏｓθ０）／ｃｏｓ（θ２−θ０）｝×ｃｏｓθ２
＝（［（｛（Ｌ１１＋Ｌ１２）／ｃｏｓθ０｝−Ｌ１１）×ｃｏｓθ０］／ｃｏｓ（θ２−θ０）]）×ｃｏｓθ２ …式４
ここで、第１の撮像系１９１の光軸１９４における距離Ｌ１１およびＬ１２が決定されると、式４を用いることにより、距離Ｌ３０を求めることができる。このように距離Ｌ３０を求めることにより、距離Ｌ１２に対する距離Ｌ３０の比の値ＸＲ（＝Ｌ１２／Ｌ３０）を求めることができる。なお、ＸＲ＜１である。
また、距離Ｌ２４については、三角関数の公式と式２により、次の式５が求められる。
Ｌ２４＝Ｌ５１／ｃｏｓ（θ２＋θ０）
＝（Ｌ２２×ｃｏｓθ０）／ｃｏｓ（θ２＋θ０） …式５
また、距離Ｌ４０については、三角関数の公式と式１および式５により、次の式６が求められる。
Ｌ４０＝Ｌ２４×ｃｏｓθ２
＝｛（Ｌ２２×ｃｏｓθ０）／ｃｏｓ（θ２＋θ０）｝×ｃｏｓθ２
＝［［｛（Ｌ１１＋Ｌ１２）／ｃｏｓθ０−Ｌ１１｝×ｃｏｓθ０］／ｃｏｓ（θ２＋θ０）］×ｃｏｓθ２ …式６
ここで、第１の撮像系１９１の光軸１９４における距離Ｌ１１およびＬ１２が決定されると、式６を用いることにより、距離Ｌ４０を求めることができる。このように距離Ｌ４０を求めることにより、距離Ｌ１２に対する距離Ｌ４０の比の値ＸＬ（＝Ｌ１２／Ｌ４０）を求めることができる。なお、ＸＬ＞１である。
次に、比の値ＸＲおよびＸＬを用いて、台形歪みを補正する補正方法について説明する。
図２１のａに示す撮像画像３１５について、右辺の長さがＸＲ倍となり、左辺の長さがＸＬ倍となるように各座標を変換する。すなわち、撮像画像３１５における右辺側については、右辺の長さがＸＲ倍となるように、矢印３２１方向に縮小される。一方、撮像画像３１５における左辺側については、左辺の長さがＸＬ倍となるように、矢印３２２方向に拡大される。このように、補正がされた補正画像３１７を図２３のａに示す。
図２３は、本技術の第１の実施の形態における撮像部１３０における撮像系と、これらにより生成された撮像画像および補正後の補正画像との関係を模式的に示す図である。図２３のａには、撮像部１３０により生成される撮像画像３１４と、図２１のａに示す撮像画像３１５および３１６が補正された補正画像３１７および３１８とを模式的に示す。なお、図２３のｂに示す例は、符号等を省略した点以外の点は、図１８に示す例と同一である。
上述したように、図２１のａに示す撮像画像３１５について、右辺の長さがＸＲ倍となり、左辺の長さがＸＬ倍となるように各座標を変換することにより、図２３のａに示す補正画像３１７が生成される。このように生成された補正画像３１７は、外形が台形の画像になる。そこで、補正画像３１７における中央部を長方形に切り出すことにより、台形歪みが補正された画像３２５（太線で示す）を取得することができる。
同様に、図２１のａに示す撮像画像３１６について、左辺の長さがＸＲ倍となり、右辺の長さがＸＬ倍となるように各座標を変換することにより、図２３のａに示す補正画像３１８が生成される。そして、補正画像３１８における中央部を長方形に切り出すことにより、台形歪みが補正された画像３２６（太線で示す）を取得することができる。なお、撮像画像の台形歪み補正処理は、画像合成処理部２２４により行われる。
また、このような台形歪み補正を行う場合には、例えば、台形に歪んだ撮像画像における各画素の座標を計測し、比の値ＸＲおよびＸＬを予め求めておく。そして、予め求められた比の値ＸＲおよびＸＬを用いて、台形歪み補正処理を情報処理装置１００に内蔵されているＣＰＵ等の演算装置を用いてソフトウエア的に求めることができる。
なお、この例では、３眼撮像動作により発生する撮像画像の台形歪みを補正する補正方法の一例について説明したが、他の台形歪み補正方法（例えば、特開平０８−３０７７７０号公報参照。）により補正を行うようにしてもよい。
［撮像画像の合成例］
図２４は、本技術の第１の実施の形態における画像合成処理部２２４が合成画像を生成する場合における合成の流れを模式的に示す図である。この例では、３つの撮像系の光軸がなす角度（輻輳角）に基づいて、３つの撮像系により生成された３つの撮像画像を合成する例を示す。すなわち、２つの撮像系により生成された２つの撮像画像のうち、重なり合う部分については輻輳角に基づいて何れか一方を切除し、この切除後に２つの撮像画像を合成する。
図２４のａには、撮像部１３０における第１の撮像系１９１乃至第３の撮像系１９３により生成された撮像画像３１４、補正画像３１７および３１８と示す。なお、撮像画像３１４、補正画像３１７および３１８は、図２３に示すものと同一である。図２４のａに示すように、台形歪みの補正処理により、台形歪みが補正された撮像画像３１４、補正画像３１７および３１８が取得される。
ここで、上述したように、補正画像３１７の右端部の領域と、撮像画像３１４の左端部の領域とには同一の被写体が含まれる。また、補正画像３１８の左端部の領域と、撮像画像３１４の右端部の領域とには同一の被写体が含まれる。そこで、以下では、これらの同一の被写体が含まれる領域の算出方法について説明する。
ここで、図２２において、交点Ｓ１１と交点Ｓ２１との距離をＬ６１とし、交点Ｓ１１と交点Ｓ１３との距離をＬ６２とし、交点Ｓ５１と交点Ｓ２１との距離をＬ６３とする。また、交点Ｓ１３と交点Ｓ５１との距離をＬ６４とし、交点Ｓ３２と交点Ｓ５１との距離をＬ６５とし、交点Ｓ３２と交点Ｓ１３との距離をＬ６６とする。なお、距離Ｌ６６は、第１の撮像系１９１により生成された撮像画像と、第２の撮像系１９２により生成された撮像画像とのうち、同一の被写体が含まれる領域を特定するための距離である。第１の撮像系１９１により生成された撮像画像の左端部の領域と、第２の撮像系１９２により生成された撮像画像の右端部の領域との共通領域である。
ここで、三角関数の公式により、次の式７および式８が成立する。
Ｌ６１＝（Ｌ１１＋Ｌ１２）×ｔａｎθ０ …式７
Ｌ６２＝Ｌ１２×ｔａｎθ１ …式８
また、三角関数の公式と式２により、次の式９が求められる。
Ｌ６３＝Ｌ５１×ｔａｎθ０
＝［｛（Ｌ１１＋Ｌ１２）／ｃｏｓθ０｝−Ｌ１１］×ｃｏｓθ０×ｔａｎθ０ …式９
また、式７乃至式８を用いて、次の式１０が求められる。
Ｌ６４＝Ｌ６２＋Ｌ６３−Ｌ６１
＝（Ｌ１２×ｔａｎθ１）＋（［｛（Ｌ１１＋Ｌ１２）／ｃｏｓθ０｝−Ｌ１１］×ｃｏｓθ０×ｔａｎθ０）−｛（Ｌ１１＋Ｌ１２）×ｔａｎθ０｝ …式１０
また、三角関数の公式と式２により、次の式１１が求められる。
Ｌ６５＝Ｌ５１×ｔａｎ（θ２−θ０）
＝［｛（Ｌ１１＋Ｌ１２）／ｃｏｓθ０｝−Ｌ１１］×ｃｏｓθ０×ｔａｎ（θ２−θ０） …式１１
以上で求められた式１０および式１１を用いて、次の式１２が求められる。
Ｌ６６＝Ｌ６５＋Ｌ６４
＝｛［｛（Ｌ１１＋Ｌ１２）／ｃｏｓθ０｝−Ｌ１１］×ｃｏｓθ０×ｔａｎ（θ２−θ０）｝＋（Ｌ１２×ｔａｎθ１）＋（［｛（Ｌ１１＋Ｌ１２）／ｃｏｓθ０｝−Ｌ１１］×ｃｏｓθ０×ｔａｎθ０）−［｛（Ｌ１１＋Ｌ１２）×ｔａｎθ０｝］ …式１２
ここで、第１の撮像系１９１の光軸１９４における距離Ｌ１１およびＬ１２が決定されると、式１２を用いることにより、距離Ｌ６６を求めることができる。また、第１の撮像系１９１により生成された撮像画像の右端部の領域と、第３の撮像系１９３により生成された撮像画像の左端部の領域との共通領域についても同様に求めることができる。
図２４のｂには、撮像画像３１４、補正画像３１７および３１８のうち、合成対象となる領域を示す。例えば、第１の撮像系１９１により生成された撮像画像３１４について、式１２を用いて算出された距離Ｌ６６に相当する領域を削除する。同様に、撮像画像３１４について、撮像画像３１４の右端部について算出された共通領域を削除する。図２４のｂでは、両端部の共通領域が削除された後の画像３２７の外形を太線で示す。
図２４のｃには、撮像画像３１４、補正画像３１７および３１８を用いて生成されたパノラマ画像３３０を示す。図２４のｂに示すように、撮像画像３１４において両端部の画像が削除された後に、この削除後の画像３２７と、補正画像３１７および３１８とを用いてパノラマ画像が生成される。例えば、画像３２７の左端に補正画像３１７が連結され、画像３２７の右端に補正画像３１８が連結されてパノラマ画像３３０が生成される。
図２５は、本技術の第１の実施の形態における画像合成処理部２２４が合成画像を生成する場合における合成の流れを模式的に示す図である。図２５に示す例は、図２４の変形であり、画像合成の際に削除される領域を含む画像が異なる。すなわち、図２５のｂに示すように、第２の撮像系１９２により生成された撮像画像に対応する補正画像３１７について、式１２を用いて算出された距離Ｌ６６に相当する領域（右端部の領域）を削除する。同様に、補正画像３１８について、その左端部について算出された共通領域を削除する。図２５のｂでは、共通領域が削除された後の画像３３２および３３３の外形を太線で示す。
図２５のｃには、画像３３１乃至３３３を用いて生成されたパノラマ画像３３０を示す。図２５のｂに示すように、例えば、画像３３１の左端に画像３３２が連結され、画像３３１の右端に画像３３３が連結され、パノラマ画像３３０が生成される。
図２６は、本技術の第１の実施の形態における画像合成処理部２２４が合成画像を生成する場合における合成の流れを模式的に示す図である。図２６に示す例は、図２４の変形であり、画像合成の際に削除される領域を含む画像が異なる。すなわち、図２６のｂに示すように、第１の撮像系１９１により生成された撮像画像３１４について、式１２を用いて算出された距離Ｌ６６の半分に相当する領域を削除する。また、第２の撮像系１９２により生成された撮像画像に対応する補正画像３１７について、式１２を用いて算出された距離Ｌ６６の半分に相当する領域（右端部の領域）を削除する。
同様に、撮像画像３１４について、撮像画像３１４の右端部について算出された共通領域の半分を削除し、第３の撮像系１９３により生成された撮像画像に対応する補正画像３１８について、共通領域の半分に相当する領域（左端部の領域）を削除する。図２６のｂでは、共通領域が削除された後の画像３３４乃至３３６の外形を太線で示す。
図２６のｃには、画像３３４乃至３３６を用いて生成されたパノラマ画像３３０を示す。図２６のｂに示すように、例えば、画像３３４の左端に画像３３５が連結され、画像３３４の右端に画像３３６が連結され、パノラマ画像３３０が生成される。このように、各画像の一部を削除することにより、適切に画像を合成することができる。
なお、これらの画像合成処理は、画像合成処理部２２４により行われる。また、図８では、画像信号処理部２２０において、画像合成処理部２２４がＹＣ変換処理部２２３の後段、かつ、シャープネス処理部２２５の前段に配置されている例を示す。ただし、画像信号処理部２２０の他の段階で画像合成処理を行うようにしてもよい。例えば、台形歪み補正処理および画像合成処理については、デモザイク処理部２２２の前段で行うようにしてもよい。また、例えば、台形歪み補正処理および画像合成処理については、デモザイク処理部２２２の後段、かつ、ＹＣ変換処理部２２３の前段で行うようにしてもよい。また、例えば、台形歪み補正処理および画像合成処理については、色調整処理部２２６の後段で行うようにしてもよい。
また、このような画像合成処理を行う場合には、例えば、台形歪み補正後の画像について、各画像の重複領域を予め計測しておく。そして、この計測された値を用いて、画像の重複領域の削除処理を情報処理装置１００に内蔵されているＣＰＵ等の演算装置を用いてソフトウエア的に求めることができる。
この例では、輻輳角に基づいて３つの撮像画像を合成する例について説明したが、例えば、他の画像合成方法を用いて、画像合成処理を行うようにしてもよい。例えば、２つの撮像系により生成された２つの画像のうち、重複する部分については、２つの画像をパターンマッチングさせ、このパターンマッチングにより２つの画像を合成する画像合成方法を用いることができる。また、２つの撮像系により生成された２つの画像における濃度レベルの変化を求め、この濃度レベルの変化に基づいて重複する部分を求めて２つの画像を合成する画像合成方法を用いることができる。
［画像ファイルの構成例］
次に、情報処理装置１００における静止画記録処理により記録媒体１８０に記録される画像データ（画像ファイル）について図面を参照して詳細に説明する。
図２７は、本技術の第１の実施の形態における記録媒体１８０に記憶される画像ファイルのファイル構造の一例を示す図である。図２７に示す例では、ＤＣＦ（Design rule for Camera File system）規格により記録される静止画ファイルのファイル構造を概略的に示す。
ＤＣＦは、デジタルスチルカメラやプリンタ等の機器間で、記録媒体を介して画像の相互利用を実現するためのファイルシステム規格である。また、ＤＣＦでは、Ｅｘｉｆ（Exchangeable image file format）をベースにして記録媒体に記録する場合におけるファイル名の付け方やフォルダの構成が規定されている。Ｅｘｉｆは、画像ファイルの中に画像データおよびカメラ情報を付加するための規格であり、画像ファイルを記録するための形式（ファイルフォーマット）を規定するものである。図２７のａには画像ファイル１８１の構成例を示し、図２７のｂには付属情報１８２の構成例を示し、図２７のｃにはメーカーノート１８５の構成例を示す。
画像ファイル１８１は、ＤＣＦ規格により記録される静止画ファイルであり、図２７のａに示すように、付属情報１８２および画像情報１８３から構成されている。画像情報１８３は、例えば、撮像部１３０により生成され、画像信号処理部２２０により各種画像信号処理が施された画像データについて、解像度変換部２５１により解像度変換され、符号化復号化部２５２により圧縮された画像データである。この画像データは、例えば、ＪＰＥＧ（Joint Photographic Experts Group）形式で圧縮される。
付属情報１８２は、図２７のｂに示すように、属性情報１８４およびメーカーノート（maker note）１８５から構成されている。属性情報１８４は、画像ファイル１８１に関する属性情報等であり、例えば、ＧＰＳ情報、方位情報、撮像部の特性情報（例えば、デバイス特性）、撮影更新日時、画サイズ、色空間情報、メーカー名等が含まれる。
メーカーノート１８５は、一般的にユーザ独自のデータが記録される領域であり、各メーカーが自由に情報を記録することができる拡張領域である（ＴＡＧＩＤ＝３７５００、MakerNote）。図２７のｃに示すように、メーカーノート１８５には、撮像画像に関する情報として、例えば、単眼撮影／複眼撮影１８６と、パノラマ画像の有無１８７と、合焦位置情報１８８と、顔情報１８９と、動体情報１９０とが記録される。
単眼撮影／複眼撮影１８６は、撮像素子１３４のみを用いて生成された画像データであるか（単眼撮影）、撮像素子１３４乃至１３６を用いて生成された画像データにより構成される画像データであるか（複眼撮影）を示す情報である。例えば、単眼撮影により生成された画像データである場合には「０」が格納され、複眼撮影により生成された画像データである場合には「１」が格納される。
パノラマ画像の有無１８７は、アスペクト比が一定の値を超えた画像（パノラマ画像）であるか、それ以外の画像（通常の画像）であるかを示す情報である。例えば、通常の画像である場合には「０」が格納され、パノラマ画像である場合には「１」が格納される。
合焦位置情報１８８は、撮像画像における合焦位置に関する情報であり、例えば、ＡＦ制御部２８１により検出された合焦位置に関する情報が格納される。
顔情報１８９は、撮像部１３０により生成された画像に含まれる顔の位置およびサイズを含む情報である。例えば、顔の位置として、撮像画像における顔を含む矩形領域の左上隅の位置（座標）が格納され、顔のサイズとして、撮像画像におけるその矩形領域の垂直方向および水平方向の長さ（縦幅および横幅）が格納される。これらの顔情報は、顔検出部２８２により検出される。
動体情報１９０は、撮像部１３０により生成された画像に含まれる動体（移動する物体（例えば、走る車））の位置およびサイズを含む情報である。例えば、動体の位置として、撮像画像における動体を含む矩形領域の左上隅の位置（座標）が格納され、動体のサイズとして、撮像画像におけるその矩形領域の垂直方向および水平方向の長さ（縦幅および横幅）が格納される。これらの動体情報は、ＣＰＵ２０２により検出される。
また、画像ファイル１８１に記録されている付属情報１８２（属性情報１８４およびメーカーノート１８５）を用いて、再生時に各種画像を表示することができる。
［静止画の表示タイミング例］
ここで、静止画を扱う情報処理装置において画像表示が必要となるタイミングについて説明する。静止画を扱う情報処理装置において画像表示が必要となるタイミングは、主に、ライブビュー表示、ポストビュー表示、再生表示、記録画像の一覧表示（いわゆる、サムネイル表示）の４つである。そこで、これらの各画像表示について説明する。
なお、上述したように、撮像位置（撮影者の位置）を回転中心として水平方向に撮像装置を回転移動させる操作（いわゆる、パンニング操作）によりパノラマ画像を生成することが可能な単眼の撮像装置が存在する。この単眼の撮像装置によりパノラマ画像を生成する場合には、パノラマ画像の撮影開始時に表示部に表示されていた画像がパノラマ画像の一端となり、パノラマ画像の撮影終了時に表示部に表示されていた画像がパノラマ画像の他の一端となる。このため、パノラマ画像の撮影をどこから始めて、どこで終えるかを、ユーザは、比較的容易に把握することができる。
また、この単眼の撮像装置によりパノラマ画像を生成する場合には、撮影対象となるパノラマ画像の範囲を、撮影しながら変更することができる。例えば、パノラマ画像の撮影を開始した位置に対応する画像がパノラマ画像の一端となり、パノラマ画像の撮影を止めた位置に対応する画像がパノラマ画像の他の一端となる。
これに対して、情報処理装置１００は、シャッターボタン（例えば、決定キー１１２）を押下した一瞬でパノラマ画像を撮影することが可能である。すなわち、ユーザが希望する所望の一瞬でパノラマ画像を撮影することができる。このように、情報処理装置１００では、パノラマ画像の撮影が一瞬で終わってしまうため、撮影する前に画角（例えば、ユーザが所望する水平方向の範囲）を決めておく必要がある。例えば、パノラマ画像の撮影前のライブビュー表示時に、表示部１４０において確認する必要がある。例えば、主たる被写体を画格に捉えているか、被写体の状態は良いか（人が目をつぶっていないか、蝶が花にとまる瞬間か）を確認する必要がある。また、画像の右端および左端としてどこまで撮影されるか（所望の被写体が写っているか）を確認する必要がある。
（１）ライブビュー表示
ライブビュー表示は、静止画記録モードが設定されている状態で静止画の記録指示操作が行われる前に、撮像部１３０により生成された撮像画像を表示部１４０に表示させる動作である。すなわち、ライブビュー表示は、撮像動作前（すなわち、シャッターボタンの押下前）に被写体をユーザが確認するため、その時点で撮像素子に入力されている画像を継続して表示する動画表示である。また、ライブビュー表示において表示される画像（撮像画像）をライブビュー画像と称する。
また、情報処理装置におけるライブビュー表示の目的は、主に、次の（ａ）乃至（ｃ）である。
（ａ）情報処理装置１００のユーザが、ライブビュー画像を見ながら、主たる被写体を画角（言い換えると、画像として記録する領域）内に捉えているかを確認すること。
（ｂ）画角として左右どこまでの領域が記録されるのか（言い換えると、画像としてどこまでの領域が記録されるのか、特に、パノラマ画像の場合には左右どこまでの領域が記録されるのか）を確認しながら、この領域を調整してこれを決定すること。
（ｃ）主たる被写体の状況を確認（例えば、人物が目をつぶっていないか、花に蝶がちょうど留まる瞬間であるかの確認）して撮影するタイミングを決定すること。
また、各領域の調整は、調整結果を逐次ライブビュー表示にフィードバックして表示させながら調整を進めることができる。
（２）ポストビュー表示
ポストビュー表示は、静止画記録モードが設定されている状態で静止画の記録指示操作が行われた場合に、この記録指示操作に基づく記録処理の終了後、一定期間、その記録された撮像画像を自動的に表示させる動作である。すなわち、ポストビュー表示は、撮像動作後（すなわち、シャッターボタンの押下によるパノラマ画像の記録処理が終了した後）に記録画像をユーザが確認するための表示である。このポストビュー表示において表示される画像（撮像画像）をポストビュー画像と称する。
なお、例えば、情報処理装置１００の消費電力を削減するため、ユーザからの指示やバッテリの残量に関する情報に基づいて、意図的にクロック周波数を下げることも想定される。この場合には、静止画の画像信号処理と画像記録処理が一定時間内に終わらない可能性がある。このような場合には、ユーザにより静止画の記録指示操作が行われた後、一定期間、モニタリング画像を表示部１４０に表示しない。具体的には、記録指示操作が行われてから、情報処理装置１００において撮像画像の記録処理が終了するまでの間、画像信号処理や画像記録処理を行っているため、新たな撮像画像の撮影を行うことができない旨が表示部１４０に表示される。例えば、表示部１４０には、単色無地の画像（例えば、黒色や紺色）が表示され、この単色無地の画像上に、「処理中」や「しばらくお待ち下さい」等の文字や、装置内部で処理が実行中であることを表す標識（例えば、砂時計）が表示される。このように、新たな撮像画像の撮影を行うことができない旨を表す画像を「黒画像」と称し、この表示動作を「黒画像表示動作」と称する。すなわち、ユーザにより静止画の記録指示操作が行われると、黒画像表示動作により黒画像が表示部１４０に表示され、一定期間経過すると、ポストビュー動作によりポストビュー画像が表示部１４０に表示される。
また、情報処理装置におけるポストビュー表示の目的は、主に、次の（ｄ）および（ｅ）である。
（ｄ）撮影により記録された画像の確認と、これによる画像の撮り直しが必要であるか否かの判断を行うこと。
例えば、画角（すなわち、撮影により記録された画像の領域）が満足できるものであるか否かや、被写体の状況が満足できるものであるか否か（例えば、花に蝶がちょうどとまる瞬間であるか）を確認することである。また、この確認とともに、画像の撮り直しが必要であるかを判断することである。
ここで、画角の確認としては、パノラマ画像としてどの領域が撮影して記録されているのか、画像の右端と左端とを確認することが重要である。また、被写体の状況の確認としては、主たる被写体がどのように撮影されて記録されているのかを詳細に確認することが重要である。
（ｅ）撮影により記録された画像を鑑賞すること。
画像の鑑賞は、次に示す画像の再生表示と目的が同じである。また、撮影された画像の確認と撮り直しの判断は、ポストビュー表示だけのものであり、かつ、機会を逸すると撮り直しはできなくなってしまうことが多い。このため、ポストビュー表示の主たる目的は、（ｅ）画像の鑑賞よりも（ｄ）画像の確認と撮り直しの判断にある。なお、ポストビュー表示は、静止画の記録処理により記録された画像の確認が目的であるため、ライブビューのようなリアルタイムの動画表示は行わず、記録された静止画の表示が行われる。
（３）再生表示
再生表示は、任意の時間において、ユーザ操作により記録媒体１８０に記憶されているコンテンツ（例えば、パノラマ画像）を再生させる動作である。
また、情報処理装置における画像の再生表示の目的は、主に、撮影により記録された画像の鑑賞である。パノラマ画像を鑑賞する際は、画像全体を鑑賞することと、主たる被写体の細部を詳細に鑑賞することの２つが可能であることが好ましい。
なお、ここで示す再生表示は、静止画の記録処理により記録された画像の鑑賞が目的であるため、ライブビューのようなリアルタイムの動画表示は行わず、記録された静止画の表示が行われる。
（４）記録画像の一覧表示（いわゆる、サムネイル表示）
複数枚の画像を撮影して記録が行われた場合には、どのような画像を記録したのか、複数枚の画像を一目で見ることができると便利である。ただし、表示部１４０上に複数枚の記録画像を表示するため、１枚の大きさは小さくならざるを得ない。
この状態で、それぞれの画像（特に、パノラマ画像）において、それぞれが何を撮影した画像であるのかを、ユーザが視認することができることが好ましい。
なお、サムネイル表示は、記録した画像の一覧表示が目的であるため、静止画表示のみが行われる。
［動画の表示タイミング例］
次に、動画を扱う情報処理装置において画像表示が必要となるタイミングについて説明する。動画を扱う情報処理装置において画像表示が必要となるタイミングは、主に、リアルタイム表示、再生表示、記録画像の一覧表示（いわゆる、サムネイル表示）の３つである。そこで、これらの各画像表示について説明する。
（１）リアルタイム表示
情報処理装置におけるリアルタイム表示の目的は、主に、動画記録モードが設定されている状態で、撮影前および撮影中において、記録対象となる画像の画角の確認と被写体の状況の確認である。
なお、リアルタイム表示は、記録前および記録中の動画像のリアルタイム確認が目的であるため、動画表示のみが行われる。
（２）再生表示
情報処理装置における画像の再生表示の目的は、主に、撮影により記録された画像の鑑賞である。パノラマ画像を鑑賞する際は、画像全体を鑑賞することと、主たる被写体の細部を詳細に鑑賞することの２つが可能であることが好ましい。
なお、ここで示す再生表示は、記録した動画の鑑賞を目的であるため、動画表示のみが行われる。
（３）記録画像の一覧表示（いわゆる、サムネイル表示）
複数本の画像を撮影して記録が行われた場合には、どのような画像を記録したのか、代表的な画像（例えば、動画を取り始めた時の画像）を静止画として一目で見ることができると便利である。ただし、表示部１４０上に複数本の記録画像を表示するため、１枚の大きさは小さくならざるを得ない。この状態で、それぞれの画像（特に、パノラマ画像）において、それぞれが何を撮影した画像であるのかを、ユーザが視認することができることが好ましい。
なお、サムネイル表示は、記録した動画の先頭画像を一覧表示することが目的であるため、静止画表示のみが行われる。
なお、本技術の実施の形態では、「画像」と記載した場合には、画像そのものと、その画像を表示するための画像データとの両方の意味を含むものとする。
［情報処理装置の機能構成例］
図２８は、本技術の第１の実施の形態における情報処理装置１００の機能構成例を示すブロック図である。
情報処理装置１００は、表示部１４０と、姿勢検出部１５０と、画像生成部５１０と、画像メモリ５２０と、記録制御部５３０と、記憶部５４０と、表示制御部５５０と、操作受付部５６０とを備える。
画像生成部５１０は、被写体を撮像して撮像画像を生成するものであり、生成された撮像画像を画像メモリ５２０に保持させる。この撮像画像は、例えば、１つの撮像素子１３４を用いて生成される撮像画像、または、３つの撮像素子１３４乃至１３６を用いて生成された３つの撮像画像の合成により生成される撮像画像（例えば、パノラマ画像）である。これらの撮像画像は、操作受付部５６０により受け付けられたユーザ操作に応じて生成される。また、画像生成部５１０は、撮像画像の生成時における各情報を表示制御部５５０および記録制御部５３０に出力する。この撮像画像の生成時における各情報は、例えば、撮像画像に含まれる顔に関する情報（顔情報）や合焦位置に関する情報（合焦位置情報）である（例えば、図２７のｃに示す各情報）。すなわち、画像生成部５１０は、パノラマ画像における特定対象物を検出する検出部として機能する。なお、画像生成部５１０は、例えば、図２に示す撮像部１３０およびＤＳＰ２００（図７に示す画像信号処理部２２０、ＡＦ制御部２８１、顔検出部２８２等）に対応する。
画像メモリ５２０は、画像生成部５１０により生成された撮像画像、または、表示制御部５５０により記憶部５４０から取得された撮像画像（画像ファイル）を保持するものである。そして、画像メモリ５２０は、保持されている撮像画像を記録制御部５３０または表示制御部５５０に供給する。なお、画像メモリ５２０は、例えば、図２に示す画像メモリ１７０に対応する。
記録制御部５３０は、操作受付部５６０により受け付けられたユーザ操作に応じて、画像生成部５１０により生成されて画像メモリ５２０に保持されている撮像画像を記憶部５４０に画像ファイルとして記録させるものである。また、記録制御部５３０は、撮像画像の記録の際に、画像生成部５１０から出力された情報（撮像画像の生成時における各情報）をその画像ファイルに記録させる。例えば、記録制御部５３０は、パノラマ画像（横長の画像）を記録する際に、特定対象物（例えば、人物の顔）が存在する領域に関する特定対象物情報（例えば、図２７のｃに示す顔情報１８９）をそのパノラマ画像に関連付けて記憶部５４０に記録させる。なお、記録制御部５３０は、例えば、図２に示すＤＳＰ２００（図７に示す撮像制御部２０１、解像度変換部２５１、符号化復号化部２５２等）に対応する。
記憶部５４０は、画像生成部５１０により生成された撮像画像を画像ファイルとして記憶するものであり、記憶されている画像ファイルを表示制御部５５０に供給する。なお、記憶部５４０は、例えば、図２に示す記録媒体１８０に対応する。
表示制御部５５０は、操作受付部５６０により受け付けられたユーザ操作に応じて、画像生成部５１０により生成されて画像メモリ５２０に保持されている撮像画像を表示部１４０に表示させるものである。また、表示制御部５５０は、操作受付部５６０により受け付けられたユーザ操作に応じて、記憶部５４０に記憶されている画像ファイルを取得して画像メモリ５２０に保持させてその画像ファイルの撮像画像を表示部１４０に表示させる。例えば、表示制御部５５０は、取得された画像ファイルに記録されている情報（撮像画像の生成時における各情報）に基づいて、画像メモリ５２０に保持されている撮像画像における複数の領域の画像を表示させることができる。また、例えば、表示制御部５５０は、記憶部５４０に記憶されているパノラマ画像を表示させる際に、そのパノラマ画像に関連付けて記録されている特定対象物情報を用いて特定対象物が存在する領域に関する画像を表示させることができる。例えば、顔情報（図２７のｃに示す顔情報１８９）を用いて人物の顔が存在する領域の画像を表示させることができる。
また、表示制御部５５０は、例えば、ライブビュー表示時、ポストビュー表示時、再生表示時に画像を表示部１４０に表示させる。この場合に、例えば、表示制御部５５０は、画像生成部５１０により生成されたパノラマ画像における複数の領域を、表示部１４０の長手方向において複数段となるように表示させる制御を行う。
例えば、表示制御部５５０は、図３２等に示すように、パノラマ画像の長手方向に直交する直交方向を境界としてパノラマ画像を分割し、この分割後の各画像を表示部１４０の長手方向において複数段となるように表示させる。この場合に、表示制御部５５０は、例えば、パノラマ画像の長手方向における両端部の領域を含む２つの画像（左画像および右画像）と、その両端部の間に存在する領域を含む画像（中画像）とを表示部１４０の長手方向において２段となるように表示させる。また、表示制御部５５０は、例えば、左画像および右画像を同一のラインに表示させ、中画像を他のラインに表示させる。また、表示制御部５５０は、例えば、左画像と右画像と中画像との垂直方向のサイズを同一にして表示させる。また、表示制御部５５０は、例えば、中画像の水平方向のサイズを、左画像および右画像の水平方向のサイズよりも大きくして表示させる。
また、表示制御部５５０は、例えば、図３７、図３８に示すように、パノラマ画像から検出された特定対象物（例えば、人物、蝶）が存在する領域を含む画像を中画像として表示させるようにしてもよい。
また、表示制御部５５０は、例えば、図４２、図４３に示すように、中画像として表示される領域を、パノラマ画像における両端部のうちの一方の端部から他の端部に移動させながら中画像を表示させるようにしてもよい。
また、表示制御部５５０は、例えば、図３５、図３６等に示すように、パノラマ画像における複数の領域の表示領域以外の領域に、パノラマ画像の縮小画像を表示させるようにしてもよい。
また、表示制御部５５０は、例えば、図３９、図４０等に示すように、パノラマ画像における複数の領域のそれぞれの位置を表す表示情報（例えば、枠）をパノラマ画像の縮小画像に関連付けて表示させるようにしてもよい。
なお、表示制御部５５０は、例えば、図４６に示すように、パノラマ画像の長手方向と表示部１４０の長手方向とが一致するか否かを判断し、一致する場合には、上述した各制御を行わずに、パノラマ画像を表示部１４０に表示させるようにしてもよい。一方、パノラマ画像の長手方向と表示部１４０の長手方向とが一致しない場合には、上述した各制御を行い、パノラマ画像における複数の領域を、表示部１４０の長手方向において複数段となるように表示させるようにしてもよい。
また、表示制御部５５０は、操作受付部５６０により受け付けられたユーザ操作に応じて、各設定画面を表示部１４０に表示させる。なお、表示制御部５５０は、例えば、図２に示すＤＳＰ２００（図７に示す撮像制御部２０１、ＣＰＵ２０２、符号化復号化部２５２、解像度変換部２３１、画像回転処理部２３２等）に対応する。
表示部１４０は、表示制御部５５０の制御に基づいて各画像を表示するものである。なお、表示部１４０は、例えば、図２に示す表示部１４０に対応する。
操作受付部５６０は、ユーザによる操作入力を受け付ける操作受付部であり、受け付けられた操作入力の内容を各部に出力する。例えば、操作受付部５６０は、ユーザにより静止画記録指示操作が行われた場合には、その旨を画像生成部５１０、記録制御部５３０および表示制御部５５０に出力する。また、操作受付部５６０は、記憶部５４０に記憶されている画像ファイルを表示する表示指示操作が行われた場合には、その旨を表示制御部５５０に出力する。また、操作受付部５６０は、記憶部５４０に記憶されている画像ファイルが表示されている場合に、その表示状態を変更する指示操作が行われた場合には、その旨を表示制御部５５０に出力する。なお、操作受付部５６０は、例えば、図１および図２に示す各操作部材（切替スイッチ１１１、決定キー１１２等）に対応する。
姿勢検出部１５０は、情報処理装置１００（表示部１４０）の姿勢を検出するものであり、その検出結果を表示制御部５５０に出力する。例えば、姿勢検出部１５０は、情報処理装置１００の姿勢が横長状態であるか、縦長状態であるかを検出する。なお、姿勢検出部１５０は、図２に示す姿勢検出部１５０に対応する。
［パノラマ画像の表示例］
次に、撮像素子１３４乃至１３６から画像データを読出し、その画像を表示部１４０に表示する例について説明する。
図２９は、本技術の第１の実施の形態における情報処理装置１００による撮像処理の撮像対象となる被写体と撮像範囲との関係を示す図である。
図２９のａには、被写体および情報処理装置１００の撮像動作時における関係を模式的に示す。図２９のｂには、図２９のａに示す被写体における撮像範囲（点線の矩形５９０で示す）に対応するパノラマ画像６００を示す。
ここで、従来の情報処理装置について説明する。例えば、１個の筐体からなる複眼撮像装置（例えば、複眼デジタルスチルカメラ）は、一般に、長方形の筐体の長手方向と、長方形の表示装置の長手方向とが一致するように筐体に表示装置が配置されている。ここで、記録対象または表示対象となる１つの画像は、横対縦の比が４：３または１６：９の長方形であるため、これらの画像を、少しでもユーザが視認し易くすることが重要となる。そこで、画像全体を長方形の表示装置にできる限り大きく表示させるため、光学系（レンズ等）と撮像素子とからなる複数の撮像系については、光学中心配置線（複数の撮像系の光学中心を結ぶ線）と、筐体の長手方向とが一致するように筐体に配置されている。
なお、光学中心を１つにする１個の光学系と１個の撮像素子とからなる１個の撮像系を備える単眼撮像装置においても同様に、長方形の筐体の長手方向と、長方形の表示装置の長手方向とが一致するように筐体に表示装置が配置されている。また、画像の横対縦の比が大きいパノラマ画像を扱う装置についても、このような配置が必要となる。
このように、複数の撮像系を情報処理装置の長手方向と平行する方向に並べて配置する情報処理装置を用いてパノラマ画像（水平方向に延びるパノラマ画像）の撮影を行う場合には、情報処理装置を横長状態で使用することが多いと想定される。しかしながら、スマートフォンや携帯電話等の情報処理装置の場合には、長方形の筐体と長方形の表示装置とを縦長状態にして使用することが多い。これらの情報処理装置について、表示装置の長辺と光学中心配置線とが平行になるように撮像系を配置すると、パノラマ画像の撮影を行う毎に横長状態とする必要があるため、パノラマ画像の撮影に不慣れなユーザにとって機器を使用し難くなるおそれがある。
このように、例えば、画像撮影以外の情報処理装置の機能を使用する場合には、ユーザは、情報処理装置を縦長状態で使用することが多い。一方、パノラマ画像の撮影時とパノラマ画像の表示時とについては、横長状態で使用することが考えられる。このように、使用する機能によって筐体の向きを変えることは、ユーザにとって煩雑となる。
また、このような情報処理装置は、光学中心配置線（複数の撮像系の光学中心を結ぶ線）が筐体の長手方向に平行であり、かつ、筐体の短辺（筐体の長手方向における端部側）の中央付近に光学中心配置線が配置されることが想定される。しかしながら、このように撮像系（光学系）を配置すると、写真撮影以外の機能を司る電子基板の設計を難しくしてしまうおそれがある。すなわち、レンズと撮像素子とからなる撮像系部品は、情報処理装置の部品の中でも高さが高いものが多い。このため、筐体の短辺（筐体の長手方向における端部側）の中央付近に、筐体の長手方向に平行に光学中心配置線がなるように撮像系部品を配置されると、電子基板の配置を邪魔してしまうおそれがある。例えば、図１のｅに示す電子基板１０１の上側の凹部が深くなってしまう。
そこで、本技術の実施の形態では、複数の撮像部を、表示部の長手方向に直交する直交方向に並べて配置する例を示す。また、複数の撮像部により生成される複数の画像により構成されるパノラマ画像における複数の領域を、表示部の長手方向において複数段となるように表示させる例を示す。
また、本技術の実施の形態では、情報処理装置１００の表示部１４０における長手方向と垂直方向とが略一致する状態で、複数の撮像系を用いて生成されるパノラマ画像を表示する場合には、パノラマ画像を分割して表示する例を示す。なお、以下で示す例では、表示部１４０における長手方向をＹ座標方向として称して説明することもある。
［パノラマ画像の表示例］
図３０乃至図３２は、本技術の第１の実施の形態における画像生成部５１０により生成されたパノラマ画像６００と、表示制御部５５０により表示部１４０に表示される画像との関係を示す図である。なお、パノラマ画像を表示部１４０に表示するタイミングは、上述したように、ライブビュー表示、ポストビュー表示、再生表示等が想定される。
図３０のａには、画像生成部５１０により生成されたパノラマ画像６００と、表示対象となる画像６０１乃至６０３とを示す。なお、パノラマ画像６００は、図２９のｂに示すパノラマ画像６００と同様である。
図３０のｂには、表示制御部５５０により表示部１４０に表示される画像６０４乃至６０６を示す。ここで、画像６０４は、図３０のａに示す画像６０１に対応し、画像６０５は、図３０のａに示す画像６０２に対応し、画像６０６は、図３０のａに示す画像６０３に対応する。
このように、表示部１４０の長手方向における上段に配置される画像（中画像）６０４をパノラマ画像における中央近傍の画像とする。また、表示部１４０の長手方向における下段の左側に配置される画像（左画像）６０５をパノラマ画像６００における左側の端部の画像とし、下段の右側に配置される画像（右画像）６０６をパノラマ画像６００における右側の端部の画像とする。
このように、表示部１４０の長手方向における少なくとも２箇所の位置に、少なくとも３つの画像を表示する。なお、本技術の実施の形態では、上述したように、表示部１４０の長手方向における上段に配置される画像を中画像と称して説明する。また、表示部１４０の長手方向における下段の左側に配置される画像を左画像と称し、下段の右側に配置される画像を右画像と称して説明する。
なお、図３０では、中画像および左画像と、中画像および右画像との水平方向におけるそれぞれの距離が離れている場合の表示例を示すが、中画像および左画像と、中画像および右画像とのそれぞれの範囲が一部重なるようにしてもよい。この表示例を図３１に示す。また、中画像および左画像と、中画像および右画像との水平方向における境界が互いに接するようにしてもよい。この表示例を図３２に示す。
図３１のａには、パノラマ画像６００と、表示対象となる画像６１１乃至６１３との関係を示す。図３１のｂには、表示制御部５５０により表示部１４０に表示される画像６１４乃至６１６を示す。
図３２のａには、パノラマ画像６００と、表示対象となる画像６２１乃至６２３との関係を示す。図３２のｂには、表示制御部５５０により表示部１４０に表示される画像６２４乃至６２６を示す。
このように、本技術の実施の形態では、中画像に表示されておらず、かつ、中画像よりも左側の領域を左画像の全体または一部として表示する。また、中画像に表示されておらず、かつ、中画像よりも右側の領域を右画像の全体または一部として表示する。また、左画像よりも右の領域の一部と、左画像よりも右側の領域の一部とを、中画像の全体または一部として表示する。
なお、左画像、中画像および右画像を表示する場合には、これらの各画像（左画像、中画像および右画像）の表示倍率を略一致させて表示することが好ましい。また、これらの各画像の縦幅（縦サイズ）も略一致させて表示することが好ましい。
このように、表示部１４０における長手方向に２段で３つの画像を表示することによりパノラマ画像の全体を表示部１４０に表示する場合よりも小さい横幅（横サイズ）で各画像を表示することができる。すなわち、ある幅の表示部１４０において、パノラマ画像の全体を表示する場合よりも、拡大した画像を表示することができる。これにより、例えば、パノラマ画像６００に含まれる車（左端部に存在）や犬（右端部に存在）が比較的大きいサイズの画像として表示されるため、これらをユーザが容易に確認することができる。
ここで、ライブビュー表示を行う場合の主な目的は、上述した目的（ａ）乃至（ｃ）である。例えば、（ａ）主たる被写体を画角内に捉えているか否かの確認と、（ｂ）画角として左右どこまでの領域が記録されるのかを確認しながら、この領域を調整してこれを決定することと、（ｃ）主たる被写体の状況を確認して撮影のタイミングを決めることである。
このように、（ａ）乃至（ｃ）を目的とする場合には、パノラマ画像の全体を表示部１４０に表示することは必ずしも不可欠ではなく、主たる被写体と、画角の左端および右端とを拡大して表示することが重要となる。そこで、図３０に示すように、中画像および左画像と、中画像および右画像とが、重ならないようにし、その代わりに、表示部１４０に表示可能な範囲で中画像、左画像および右画像をできるだけ大きく表示することが好ましい。
また、中画像、左画像および右画像を表示する際に、主たる被写体を表示する中画像と、画角の左端および右端を表示する左画像および右画像との表示倍率（拡大率）が異なると、ユーザが確認する際に戸惑うおそれがある。
また、主たる被写体を表示する中画像と、画角の左端および右端を表示する左画像および右画像との縦幅（縦サイズ）が異なると、ユーザは両者の拡大率が異なるのではないかと一瞬錯覚するおそれがある。このため、中画像と左右画像の表示倍率（拡大率）は同じであることが好ましく、また、中画像と左右画像の縦幅（縦サイズ）は同じであることが好ましい。
ここで、例えば、各種の情報処理装置（例えば、携帯電話、スマートフォン）の場合には、表示部における表示内容は、ユーザが上から下に読むように表示されていることが多い。このため、ユーザは、表示部を上から下に見ることに慣れていることが多い。
また、例えば、ライブビュー表示を行う場合には、ユーザは、最初に、主たる被写体を画角内に適切に捉えているかを確認することが多い。このため、左画像および右画像よりも先に中画像を見ることが考えられる。そこで、表示部１４０において、中画像と、左画像および右画像とをＹ座標上の異なる位置に配置する場合には、左画像および右画像よりも中画像を上方に配置することが好ましい。また、左画像と右画像とは、Ｙ座標上の同じ位置に配置することが好ましい。
このため、図３０乃至図３２では、表示部１４０における長手方向において、中画像を、左画像および右画像よりも上側に表示する例を示す。
［中画像の横幅（横サイズ）を他の画像よりも大きく表示する例］
図３０乃至図３２では、表示部１４０における長手方向の上側に中画像を配置し、その下側に左画像および右画像を配置して表示する例を示した。また、中画像、左画像および右画像のサイズを同一にして表示する例を示した。このように各画像を表示する場合には、表示部１４０における長手方向の上側には、１つの中画像のみが配置されるため、表示部１４０における長手方向の上側は、空き領域が存在する。そこで、以下では、表示部１４０における長手方向の上側の空き領域を有効に利用する例を示す。
図３３および図３４は、本技術の第１の実施の形態における画像生成部５１０により生成されたパノラマ画像６００と、表示制御部５５０により表示部１４０に表示される画像との関係を示す図である。
図３３では、中画像の横縦比および横幅（横サイズ）を、左画像および右画像よりも大きくして表示する例を示す。なお、図３３のａおよびｂの関係は、中画像の横縦比および横幅（横サイズ）を、他の画像（左画像および右画像）よりも大きくした点以外は、図３０のａおよびｂの関係と同様である。例えば、図３３では、他の点（各画像の表示倍率が略一致、各画像の縦幅（縦サイズ）が略一致）については、図３０と同一である。
これにより、例えば、ライブビュー表示の際に、ユーザが中画像において、主たる被写体の状況だけでなく、その周囲の状況まで確認することができるため、パノラマ画像の中央付近をユーザが確認し易くすることができる。このため、人物の周りの背景等についても、ユーザが容易に確認することができる。このように、ユーザにとっての利便性が向上する。
また、中画像と、左画像および右画像との関係については、図３３に示すサイズ以外のサイズとするようにしてもよい。この表示例を図３４に示す。
図３４のａには、水平方向のサイズをパノラマ画像６００よりも大きくしたパノラマ画像６４０と、表示制御部５５０により表示部１４０に表示される画像６４１乃至６４３との関係を示す。
図３４のｂには、水平方向のサイズをパノラマ画像６００よりも小さくしたパノラマ画像６４５と、表示制御部５５０により表示部１４０に表示される画像６４６乃至６４８との関係を示す。なお、水平方向のサイズについては、ユーザ操作により適宜変更することができる。
［パノラマ画像の全体を表示する例］
以上では、パノラマ画像を分割して表示する例を示した。ここで、パノラマ画像の細部については、各画像（中画像、左画像および右画像）により確認することができるが、パノラマ画像全体についても確認を希望するユーザも存在することが想定される。そこで、以下では、パノラマ画像の全体またはこれに類する画像（例えば、全体の一部が欠けているパノラマ画像）についても各画像（中画像、左画像および右画像）と同時に表示する例を示す。
図３５は、本技術の第１の実施の形態における画像生成部５１０により生成されたパノラマ画像６００および表示対象となる各画像と、表示部１４０の表示例との関係を示す図である。
図３５のａには、画像生成部５１０により生成されたパノラマ画像６００を示す。図３５では、各画像（中画像、左画像および右画像）とともに、パノラマ画像の全体（または、これに類する画像）の縮小画像を表示する例を示す。具体的には、図３５のａでは、パノラマ画像６００と、これが縮小された縮小画像６３７との関係を４つの矢印で模式的に示す。また、図３５のｂでは、表示部１４０に表示される縮小画像６３８（図３５のａに示す縮小画像６３７に対応）の表示例を示す。なお、図３５のａおよびｂの関係は、パノラマ画像６００の全体画像を表示する点以外は、図３３のａおよびｂの関係と同様である。
特に、情報処理装置１００の表示部１４０における長手方向と垂直方向とが略一致する状態で、画像を表示する場合には、図３５のｂに示すように表示することが好ましい。例えば、パノラマ画像の全体画像（または、これに類する画像）６３８については、中画像６３４、左画像６３５および右画像６３６の表示倍率よりも小さくすることが好ましい。すなわち、パノラマ画像の全体画像（または、これに類する画像）６３８よりも、中画像６３４、左画像６３５および右画像６３６の縦幅（縦サイズ）を大きくすることが好ましい。
このように、図３５では、パノラマ画像の全体画像を、中画像の段と左画像および右画像の段との間に表示させる例を示す。なお、図３０乃至図３４に示す表示例に、パノラマ画像の全体画像を表示するようにしてもよい。
このように、中画像、左画像および右画像とともに、パノラマ画像の全体画像（または、これに類する画像）を表示することにより、パノラマ画像の全容を容易に確認することができる。すなわち、中画像、左画像および右画像の表示により、例えば、ライブビュー表示時に必要となる主たる被写体の状況の確認と、左右の画角の確認とを行うことができる。さらに、パノラマ画像の全体画像（または、これに類する画像）の表示により、パノラマ画像の全容を容易に確認することができる。
図３６は、本技術の第１の実施の形態における表示部１４０に表示されるパノラマ画像および表示対象となる各画像の表示例を示す図である。図３６には、パノラマ画像の全体画像（または、これに類する画像）を中画像、左画像および右画像の表示領域の外側に表示する例を示す。
図３６のａには、パノラマ画像の全体画像（または、これに類する画像）６３８を左画像６３５および右画像６３６の表示領域の下側に表示する例を示す。
図３６のｂには、パノラマ画像の全体画像（または、これに類する画像）６３８を中画像６３４の表示領域の上側に表示する例を示す。
このように、パノラマ画像の全体画像（または、これに類する画像）６３８の表示位置については、適宜変更するようにしてもよい。また、ユーザの好みに応じて、その表示位置の変更を可能とするようにしてもよい。例えば、ユーザ操作（例えば、タッチ操作による移動）によりその表示位置の変更を可能とするようにしてもよい。
［被写体に基づいて中画像を決定する例］
以上では、パノラマ画像の真中部分（水平方向における真中部分）の画像を中画像とする例を示した。上述したように、例えば、ライブビュー表示を行う場合の主な目的は、上述した３点（目的（ａ）乃至（ｃ））である。
ここで、例えば、主たる被写体が人物であり、遠くの風景を背景としたパノラマ画像を撮影する場合を想定する。この場合には、主たる被写体である人物を画像の中心に置いた構図で撮影するのみではなく、画像の中心から左右どちらかにずれた位置に人物を置いた構図で画像を撮影することがある。このような場合には、中画像として表示される画像の領域が、パノラマ画像の中心（すなわち、画角の中心）で固定されていると、不都合が生じることが想定される。例えば、撮影前のライブビュー表示として表示される中画像に主たる被写体（例えば、人物）が含まれないことも想定される。この場合には、上述した目的（ａ）や目的（ｃ）を達成することができないおそれがある。
また、例えば、花に留まろうとしている蝶を主たる被写体として撮影する場合に、この蝶がパノラマ画像の真中付近ではなく、左右の何れかの端部側に存在する構図で撮影する場合を想定する。この場合には、蝶が花にとまる瞬間であるかを確認して撮影するタイミングを決定することができないおそれがある。そこで、以下では、被写体に基づいて中画像を決定する例を示す。
［パノラマ画像に含まれる顔の位置に基づいて中画像を決定する例］
図３７は、本技術の第１の実施の形態における画像生成部５１０により生成されたパノラマ画像６５０、６５５、６６０と中画像６５１、６５６、６６１との関係を示す図である。
図３７では、パノラマ画像に含まれる顔の位置を中心として中画像を決定する例を示す。ここで、図３７のａ乃至ｃに示す矩形６５４、６５９、６６４は、画像生成部５１０（顔検出部２８２）により検出された顔の位置を表す。このように、パノラマ画像から人物の顔が検出された場合には、表示制御部５５０は、その検出された顔の位置（パノラマ画像の長手方向における位置）を中心とする中画像を生成する。
例えば、図３７のａに示すように、表示制御部５５０は、パノラマ画像６５０から人物の顔（矩形６５４内に示す）が検出された場合には、その顔を中心とする中画像６５１を生成する。また、例えば、図３７のｂに示すように、表示制御部５５０は、パノラマ画像６５５から人物の顔（矩形６５９内に示す）が検出された場合には、その顔を中心とする中画像６５６を生成する。また、例えば、図３７のｃに示すように、表示制御部５５０は、パノラマ画像６６０から人物の顔（矩形６６４内に示す）が検出された場合には、その顔を中心とする中画像６６１を生成する。
図３７では、撮影時に顔検出部２８２により検出された人物の顔の領域とその周辺を含む領域を中画像とする例を示した。ただし、撮影時に合焦対象となった領域とその周辺を含む領域を中画像とするようにしてもよい。また、撮影時に動体検出部（例えば、図７に示すＣＰＵ２０２）により検出された動体の領域とその周辺を含む領域を中画像とするようにしてもよい。なお、パノラマ画像から検出された動体の領域とその周辺を含む領域を中画像とする例を図３８に示す。
また、撮影時にこれら（顔検出、動体検出、合焦）以外の画像解析の結果に基づいて、特異点を検出し、この検出された特異点の領域とその周辺を含む領域を中画像とするようにしてもよい。
図３８は、本技術の第１の実施の形態における画像生成部５１０により生成されたパノラマ画像６６５、６７０、６７５と中画像６６６、６７１、６７６との関係を示す図である。
図３８では、パノラマ画像に含まれる蝶の位置を中心として中画像を決定する例を示す。なお、蝶は、動体として検出するようにしてもよく、特定物体として物体検出により検出するようにしてもよい。
このように、主要な被写体の確認を適切に行うため、パノラマ画像の中心部（画角の中心部）に中画像を固定するのではなく、画像解析に基づいて検出された特異点を含む画像とこの周辺を中画像として表示することができる。
［特異点の座標を記録する例］
ここで、ポストビュー表示を行う主たる目的は、上述したように、例えば、撮影により記録された画像の確認と、画像の撮り直しが必要であるか否かの判断である。なお、撮影により記録された画像の確認は、例えば、主たる被写体を記録した状況が満足できるものであるか否かの確認（例えば、花に留まろうとしている蝶を撮影した場合には、蝶が花に留まる瞬間を撮影できているかの確認。）である。また、例えば、画角（すなわち、撮影により記録された画像の領域）が満足できるものであるか否かの確認である。
また、例えば、主たる被写体が人物であり、遠くの風景を背景とした画像を撮影する場合を想定する。この場合には、上述したように、主たる被写体（人物）を画像の中心に置いた構図で撮影するのではなく、画像の中心から左右どちらかにずれた位置に人物を置いた構図で画像を撮影することがある。
このような場合、表示部１４０に表示される中画像の領域が画角の中心で固定されていると、例えば、撮影後のポストビュー表示の際に、画像の確認を適切に行うことができないおそれがある。例えば、主たる被写体を記録した状況が満足できるものであったか否かを確認し、撮り直しが必要であるか否かを判断する際に、主たる被写体が中画像に含まれていないため、その判断をすることが困難であるという不都合が生じることが想定される。
このため、これらの確認を適確に行うため、上述したように、中画像に表示する領域は、画角の中心部に固定するのではなく、画像解析に基づいて検出された特異点を含む領域とその周辺を表示することが好ましい。
ここで、画像解析による被写体の位置の検出は、撮影前のライブビュー表示期間中に撮像素子に入力された画像と、撮影記録を行う時に撮像素子に入力された画像とについて行われることが多い。また、この検出結果は、撮影後に消去してしまうことが多い。このように、画像解析による被写体の位置の検出結果が消去されてしまうと、ポストビュー表示時や再生表示時に用いることができない。
そこで、本技術の実施の形態では、撮影の際に画像解析により検出された特異点の位置（パノラマ画像における特異点の座標）を、パノラマ画像に関連付けて記録する。例えば、生成された画像の画素データ以外の領域（または、その圧縮データ以外の領域）に記録することができる。例えば、記録されるパノラマ画像のＥｘｉｆ形式の画像データのヘッダや、画像データ中のｊｐｅｇ形式の画像ファイルのヘッダ等に記録することができる。例えば、図２７のｃに示すメーカーノート１８５に記録することができる。そして、ポストビュー表示時や任意の時刻における再生表示時に、表示対象となるパノラマ画像に関連付けて記録されている特異点の座標とその周辺の領域とを用いて、その特異点を含む中画像を表示することができる。
また、例えば、パノラマ画像とは別に、撮影の際に検出された特異点を含む領域とその周辺の画像（例えば、中画像）を表示用画像としての解像度で記録しておくようにしてもよい。例えば、その表示用画像のファイル識別情報（例えば、ファイル名）をパノラマ画像のｊｐｅｇ形式の画像ファイルのヘッダ等に記録しておくことができる。そして、ポストビュー表示時や任意の時刻における再生表示時に、表示対象となるパノラマ画像に関連付けて記録されているその表示用画像を読み出して中画像として表示することができる。
なお、本技術の実施の形態では、人物の顔や蝶を特定対象物として検出する例について説明したが、人物の顔や蝶以外の物体を特定対象物として検出して用いるようにしてもよい。例えば、哺乳類、爬虫類、魚類等の動物（例えば、犬、猫、牛、馬）、自動車、飛行機等の特定対象物を検出して用いるようにしてもよい。
［パノラマ画像における各画像の領域を表示する例］
以上では、中画像、左画像および右画像とともに、パノラマ画像の全体画像（または、これに類する画像）を表示する例を示した。ここで、例えば、表示されている各画像（中画像、左画像および右画像）のパノラマ画像における位置（長手方向における位置）を把握することができれば、ユーザが確認等をし易い。そこで、以下では、表示されている各画像（中画像、左画像および右画像）のパノラマ画像における領域を表示する例を示す。
図３９は、本技術の第１の実施の形態における画像生成部５１０により生成されたパノラマ画像および各画像（中画像、左画像および右画像）の表示例を示す図である。なお、図３９に示す各画像およびその配置については、図３５のｂに示す例と同様である。
図３９のａには、中画像６３４のパノラマ画像６３８における領域を、パノラマ画像６３８上に枠６８１で表す例を示す。図３９のｂには、左画像６３５のパノラマ画像６３８における領域を、パノラマ画像６３８上に枠６８２で表し、右画像６３６のパノラマ画像６３８における領域を、パノラマ画像６３８上に枠６８３で表す例を示す。なお、これらの枠６８１乃至６９３については、表示対象となる各画像（中画像、左画像、右画像）の位置に基づいて、表示制御部５５０が表示させる。
なお、図３９では、各画像のパノラマ画像６３８における領域を、パノラマ画像６３８上に枠で表す例を示したが、他の表示態様とするようにしてもよい。例えば、各画像のパノラマ画像６３８における領域を、パノラマ画像６３８上に半透明の網掛けで覆うようにしてもよい。また、各画像のパノラマ画像６３８における領域を、パノラマ画像６３８上に半透明の網掛けで覆い、かつ、この網掛けを明滅させるようにしてもよい。また、各画像のパノラマ画像６３８における領域を、パノラマ画像６３８上にアンダーラインや矢印で表すようにしてもよい。なお、図３９のｂに示すように、左画像６３５および右画像６３６のパノラマ画像６３８における領域を、パノラマ画像６３８上に表す場合には、右画像の領域を表す表示と、左画像の領域を表す表示とについて、異なる表示とするようにしてもよい。なお、左画像および右画像の領域を表す表示は、例えば、枠、半透明の網掛け等である。例えば、各画像の領域を、パノラマ画像（全体画像）上に枠で表す場合には、枠の表示の色を左右で変えるようにしてもよい。
図４０は、本技術の第１の実施の形態における画像生成部５１０により生成されたパノラマ画像および各画像（中画像、左画像および右画像）の表示例を示す図である。図４０では、各画像（中画像、左画像および右画像）のパノラマ画像における各領域を、パノラマ画像（全体画像）上に枠で表示する例を示す。なお、図４０には、図３０のｂに示す表示例にパノラマ画像６８５を追加して配置した表示例を示す。
具体的には、中画像６０４のパノラマ画像６８５における領域を、パノラマ画像６８５上に枠６８６で表す。また、左画像６０５のパノラマ画像６８５における領域を、パノラマ画像６８５上に枠６８７で表し、右画像６０６のパノラマ画像６８５における領域を、パノラマ画像６８５上に枠６８８で表す例を示す。
なお、図４０では、各画像のパノラマ画像６８５における領域を、パノラマ画像６８５上に枠で表す例を示したが、図３９と同様に、他の表示態様とするようにしてもよい。例えば、各画像のパノラマ画像６８５における領域を、パノラマ画像６８５上に半透明の網掛けで覆うようにしてもよい。また、各画像のパノラマ画像６８５における領域を、パノラマ画像６８５上に半透明の網掛けで覆い、かつ、この網掛けを明滅させるようにしてもよい。また、各画像のパノラマ画像６８５における領域を、パノラマ画像６８５上にアンダーラインや矢印で表すようにしてもよい。
なお、中画像の領域を表す表示と、左画像および右画像の領域を表す表示とについて、異なる表示態様とすることが好ましい。例えば、中画像の領域は、半透明の網掛けで覆い、左画像および右画像の領域は、枠で囲むようにすることができる。この場合に、左画像および右画像の領域を表す表示について、異なる表示態様とすることが好ましい。例えば、左画像および右画像の領域を表す枠の表示の色を左右で変えることができる。
［モードに応じて領域表示を変更する例］
上述したように、撮影時には、ユーザが各画像の構図等を容易に把握し易いように、各画像の領域を表す表示をすることが好ましい。ただし、再生時には、各画像の構図等の確認ではなく、パノラマ画像の鑑賞に重点がおかれると想定される。このように、モードに応じてユーザが表示画像上で確認したい内容が異なる。例えば、ライブビュー表示時とポストビュー表示時と再生表示時とにおいて、ユーザが表示画像上で確認したい内容が異なる。そこで、ここでは、パノラマ画像を表示する際に、各モードにおいて、ユーザの希望に合うようにパノラマ画像を表示する例を示す。すなわち、表示モードに応じて領域表示を変更する例を示す。
例えば、画像の確認を主たる目的とするライブビュー表示およびポストビュー表示においては、各画像の領域を表す表示情報（例えば、図３９、図４０に示す枠６８１乃至６８３、６８６乃至６８８）をパノラマ画像上に表示する。
一方、画像の鑑賞を主たる目的とする再生表示においては、各画像の領域を表す表示情報をパノラマ画像に表示しないようにする。
また、情報処理装置１００の工場出荷の際に、これらの表示方法を設定しておくようにしてもよい。また、ライブビュー表示、ポストビュー表示、再生表示のそれぞれにおいて、各画像の領域を表す表示情報をパノラマ画像に表示する／しないをユーザが個別に設定することができるようにしてもよい。例えば、情報処理装置１００の表示部１４０に項目設定画面を表示させ、この項目設定画面内においてユーザが設定するようにしてもよい。
［中画像をスクロール表示する例］
以上では、表示部１４０に表示される各画像（中画像、左画像および右画像）のパノラマ画像における位置（長手方向における位置）を固定して表示する例を示した。ここで、中画像については、パノラマ画像における位置（長手方向における位置）を移動させながら表示することも考えられる。そこで、以下では、中画像のパノラマ画像における位置（長手方向における位置）を移動させながら表示（いわゆる、自動スクロール表示）する例を示す。
図４１は、本技術の第１の実施の形態における画像生成部５１０により生成されたパノラマ画像における中画像の領域の遷移例を示す図である。なお、図４１に示すパノラマ画像は、図２９のｂに示すパノラマ画像６００と同様である。また、図４１では、パノラマ画像における中画像の領域を枠６９０で囲んで示す。
なお、図４１では、説明の容易のため、パノラマ画像における中画像の領域の遷移として４つの領域のみを示すが、移動間隔は、例えば、１画素または数画素分だけ進むようにすることができる。また、移動速度については、ユーザが見易い速度とすることができる。
図４２および図４３は、本技術の第１の実施の形態における画像生成部５１０により生成されたパノラマ画像および各画像（中画像、左画像および右画像）の表示例を示す図である。なお、図４２および図４３に示すパノラマ画像６８５、左画像６０５および右画像６０６は、図４０と同様である。ただし、図４２および図４３では、各画像の領域を表す表示情報については、中画像に関する表示情報（枠６９１、６９３、６９５、６９７）のみを表示する例を示す。
また、パノラマ画像６８５における中画像の領域の遷移については、図４１に示す遷移に対応する。
このように、中画像については、パノラマ画像における領域を自動的に移動させながら表示する。いわゆる、中画像の自動スクロール表示を行う。
ここで、モードに応じて中画像の自動スクロール表示を行うか否かを設定しておくようにしてもよい。例えば、撮影前に被写体を確認するライブビュー表示を行う際と、撮影後に記録画像を確認するポストビュー表示を行う際は、中画像の自動スクロール表示を行わない。すなわち、中画像のパノラマ画像における位置（長手方向における位置）を固定して表示させる。一方、任意の時間における画像の再生表示を行う際は、中画像の自動スクロール表示を行う。
また、例えば、表示制御部５５０は、ライブビュー時またはポストビュー時には、第１表示方法と、第２方法表示とをユーザ操作に基づいて切り替えるようにしてもよい。ここで、第１表示方法は、例えば、パノラマ画像における中画像の位置を固定して表示させる表示方法である。また、第２表示方法は、パノラマ画像に含まれる特定対象物が存在する領域を含む画像を中画像として表示させる方法表示である。一方、表示制御部５５０は、再生時には、第３表示方法（自動スクロール表示）と、第２表示方法とをユーザ操作に基づいて切り替えるようにしてもよい。
または、撮影前に被写体を確認するライブビュー表示を行う際のみ、中画像の自動スクロール表示を行わずに特定の領域（例えば、中画像の領域）を表示するようにしてもよい。この場合に、撮影後に記録画像を確認するポストビュー表示を行う際と、任意の時間における画像の再生表示を行う際とは、中画像の自動スクロール表示を行うようにしてもよい。または、ライブビュー表示とポストビュー表示を行う際は、中画像の自動スクロール表示を行わずに特定の領域を表示し、任意の時間における画像の再生表示を行う際は、中画像の自動スクロール表示を行うようにしてもよい。
また、例えば、表示制御部５５０は、ライブビュー時には、第１表示方法と、第２方法表示とをユーザ操作に基づいて切り替えるようにしてもよい。一方、表示制御部５５０は、ポストビュー時または再生時には、第３表示方法と、第２表示方法とをユーザ操作に基づいて切り替えるようにしてもよい。
また、これらの表示方法の設定については、情報処理装置１００の工場出荷の際、または、ユーザが情報処理装置１００を使用する際に行うようにしてもよい。また、ライブビュー表示、ポストビュー表示、再生表示のそれぞれにおいて、中画像の自動スクロール表示を行うか否かを、ユーザが個別に設定することができるようにしてもよい。また、例えば、ライブビュー動作による画像の表示方法と、ポストビュー動作による画像の表示方法と、再生動作による画像の表示方法とのそれぞれについて個別に設定することができる。このような設定がされた場合には、表示制御部５５０は、その設定に基づいて各画像を表示させることができる。また、これらの各設定については、情報処理装置１００の表示部１４０に項目設定画面を表示させ、この項目設定画面内においてユーザが手動で行うことができる。例えば、ライブビュー表示、ポストビュー表示、再生表示のそれぞれの機能が起動された時には、その項目設定画面内において設定された内容に従って中画像を表示することができる。
また、情報処理装置１００の筐体表面にユーザからの指示を入力する入力部（例えば、タッチパネル）を設けるようにしてもよい。そして、ライブビュー表示、ポストビュー表示、再生表示のそれぞれの期間中にその入力部によりユーザから指示が入力されると、中画像の表示がそれぞれの表示期間毎に、静止画表示と自動スクロール表示とを切り替えるようにしてもよい。ここで、自動スクロール表示は、中画像として表示される領域をパノラマ画像における両端部のうちの一方の端部から他の端部に移動させながら中画像を表示させる表示方法の一例である。また、静止画表示は、中画像として表示される領域の移動を行わず一定の領域を中画像として表示する表示方法の一例である。
例えば、中画像の表示方法（静止画表示、自動スクロール表示）に関するユーザからの切り替え指示操作が受け付けられた場合を想定する。この場合には、表示制御部５５０は、その切り替え指示操作に基づいて、自動スクロール表示と、静止画表示との何れかを選択して中画像を表示させることができる。
また、中画像の静止画表示または自動スクロール表示を終了した時点で、中画像の表示方法としてどの表示方法を用いていたかを情報処理装置１００の内部に保存するようにしてもよい。そして、ライブビュー表示、ポストビュー表示、再生表示のそれぞれの機能がその保存後に起動された時には、その保存内容に従って、中画像を表示するようにしてもよい。
例えば、中画像の表示方法の切り替えが行われた場合には、その切り替えに基づく中画像の表示が終了するまでの間に、その切り替えに係る表示方法が保持される。そして、その切り替えに基づく中画像の表示が終了した後に、パノラマ画像が新たに表示される場合には、その保持された表示方法を用いてそのパノラマ画像における中画像を表示させることができる。
［中画像をユーザ操作に基づいて表示する例］
以上では、各画像（中画像、左画像および右画像）を表示部１４０に自動で表示する例を示した。ここで、中画像については、ユーザが見たいと希望する位置（長手方向における位置）を迅速に表示することも重要である。そこで、以下では、中画像をユーザ操作に基づいて表示する例を示す。すなわち、ユーザ操作に基づいて中画像の表示領域を変更する例を示す。
図４４は、本技術の第１の実施の形態における画像生成部５１０により生成されたパノラマ画像および各画像（中画像、左画像および右画像）の表示例を示す図である。なお、図４４に示すパノラマ画像６８５、左画像６０５および右画像６０６は、図４０と同様である。ただし、図４４では、各画像の領域を表す表示情報については、中画像に関する表示情報（枠７０１、７０３）のみを表示する例を示す。
ここで、情報処理装置１００の表示部１４０をタッチパネルで構成する場合を想定する。この場合には、例えば、ユーザが表示部１４０の表示面に指１０を押下した際には、その押下操作が抵抗変化や容量変化等の電気的特性変化として検出される。そして、中画像の１つの表示形態として特定の領域を表示中にその押下操作が検出された場合には、その検出された位置を中心とする中画像が生成されて表示される。また、ユーザによる表示部１４０の表示面への近接（例えば、手や指等の体の一部の近接）を検出することが可能なタッチパネルを用いる場合には、その近接を検出した場合についても、押下操作を検出した場合と同様に中画像を表示することができる。
ここで、中画像の別の表示形態として上述の自動スクロール表示中にその押下操作が検出された場合を想定する。この場合には、その検出された位置を中心とする中画像を表示する。この表示後には、その中画像を静止画として継続して表示するようにしてもよく、その位置を起点として自動スクロール表示を再開するようにしてもよい。
例えば、パノラマ画像における位置を指定する指定操作が行われた場合を想定する。この場合に、表示制御部５５０は、自動スクロール表示により中画像が表示されている場合には、その指定操作により指定されたパノラマ画像における位置とその周辺領域とを含む画像を新たな中画像として表示させる。そして、表示制御部５５０は、その位置を起点として移動を行いながら中画像の表示を行う。一方、その指定操作が行われた際に、静止画表示により中画像が表示されている場合には、表示制御部５５０は、その位置とその周辺領域とを含む画像を新たな中画像として表示させる。
なお、タッチパネルとして、例えば、静電式（静電容量方式）のタッチパネル、感圧式（抵抗膜圧式）のタッチパネル、光式のタッチパネル等を用いることができる。
また、タッチパネル以外の操作部材（例えば、十字キー）を用いて、中画像を表示すべき位置を指定するようにしてもよい。
［２段表示の変形例］
以上では、表示部１４０の長手方向において中画像、左画像および右画像を２段にして表示する例を示した。ただし、各画像にサイズのよっては、表示部１４０の長手方向において中画像、左画像および右画像を１段にして表示するようにしてもよい。そこで、以下では、表示部１４０の長手方向において中画像、左画像および右画像を１段にして表示する例を示す。
図４５は、本技術の第１の実施の形態における画像生成部５１０により生成されたパノラマ画像６００および表示対象となる各画像と、表示部１４０の表示例との関係を示す図である。
図４５のａには、画像生成部５１０により生成されたパノラマ画像６００を示す。図４５のａに示す関係は、図３０のａ等に示す関係と同様である。また、図４５のｂには、表示部１４０に表示されるパノラマ画像７１１および各画像（中画像７１２、左画像７１３、右画像７１４）の表示例を示す。
図４５のａおよびｂに示すように、各画像（中画像７１２、左画像７１３および右画像７１４）の横幅を比較的小さくすることにより、これらの各画像を表示部１４０の長手方向において１段にして表示することができる。これにより、パノラマ画像７１１の水平方向と一致する各画像を表示することができる。
ここで、スマートフォンや携帯電話等の情報処理装置の通話操作、電子メールの文章作成や文章読み取り等の操作を行う場合には、筐体を縦長にして使用することが多い。このため、例えば、カメラ付き情報処理装置を用いて撮影が行われる場合にも、筐体および表示部を縦長状態にして撮影し、縦長の画像を記録することが多い。
そこで、本技術の実施の形態では、スマートフォンや携帯電話等の情報処理装置１００において、情報処理装置１００の長手方向と直交する直交方向に複数個の撮像系を並べて配置する。これにより、情報処理装置１００を縦長状態にして撮影してもパノラマ画像を記録することができる。
また、ライブビュー表示時、ポストビュー表示時または再生表示時において、情報処理装置１００を縦長状態にしてパノラマ画像を表示する場合には、パノラマ画像を分割した複数の画像を表示部１４０の長手方向において複数段に分けて表示する。これにより、複眼カメラ付きの携帯型の情報処理装置１００において、ユーザが情報処理装置１００を縦長に持った状態で、複眼パノラマ画像の撮影を容易に行うことができる。また、情報処理装置１００を縦長状態にしてパノラマ画像を表示してもパノラマ画像を適切に表示することができる。
［情報処理装置の状態（縦長状態、横長状態）を変化させる場合の表示例］
以上では、情報処理装置１００を縦長状態とした場合におけるパノラマ画像の表示例を示した。ただし、ユーザによっては、情報処理装置１００を横長状態としてパノラマ画像を鑑賞することも想定される。
ここで、例えば、横長状態と縦長状態とで表示段数を同じにすることも考えられる。例えば、横長状態でパノラマ画像を表示する場合には、表示部１４０の横幅いっぱいにパノラマ画像を表示することにより、パノラマ画像を大きく表示することができる。しかしながら、パノラマ画像の上下にできる余白領域の上下方向の高さについて、縦長状態で表示部１４０の横幅いっぱいにパノラマ画像が表示される場合よりも、横長状態で表示部１４０の横幅いっぱいにパノラマ画像が表示される場合の方が狭くなる。このように、横長状態の場合は、パノラマ画像の上下にできる余白領域が縦長状態の場合よりも狭い。このため、横長状態の場合には、縦長状態の場合よりも、表示段数を少なくすることが好ましい。そこで、以下では、情報処理装置１００の状態（縦長状態、横長状態）を変化させる場合の表示例を示す。
図４６は、本技術の第１の実施の形態における画像生成部５１０により生成されたパノラマ画像を表示部１４０に表示させる場合における表示例を示す図である。
図４６のａ乃至ｃの左側には、情報処理装置１００を横長状態とした場合におけるパノラマ画像の表示例を示し、図４６のａ乃至ｃの右側には、情報処理装置１００を縦長状態とした場合におけるパノラマ画像の表示例を示す。
例えば、情報処理装置１００が横長状態とされている場合には、パノラマ画像７２０のみ、または、パノラマ画像７２０および中画像７２１が表示部１４０に表示される。また、例えば、情報処理装置１００が縦長状態とされている場合には、中画像７２２と左画像７２３と右画像７２４との各画像、または、これらの各画像とともにパノラマ画像の縮小画像７２５が表示部１４０に表示される。
このように、表示部１４０が縦長状態になるようにユーザが情報処理装置１００を持っている場合における各画像の段数を、表示部１４０が横長状態になるようにユーザが情報処理装置１００を持っている場合における各画像の段数よりも大きくする。これにより、情報処理装置の状態（縦長状態、横長状態）を変化させた場合でも、ユーザがパノラマ画像を見易い表示とすることができる。
［情報処理装置の変形例］
次に、複数の撮像系を備える情報処理装置の変形例について説明する。
図４７および図４８は、本技術の第１の実施の形態における情報処理装置１００の変形例を示す図である。
図４７および図４８には、表示部１４０および撮像部１３０が異なる筐体（第１筐体８１１、第２筐体８１２）に備えられている情報処理装置８００を示す。図４７のａには、情報処理装置８００の上面図を示し、図４７のｂには、情報処理装置８００の電子基板の配置例を示す。なお、図４７のａは、図１のａに対応し、図４７のｂは、図１のｅに対応する。また、図４８のａには、情報処理装置８００の正面図を示し、図４８のｂには、情報処理装置８００の側面図を示し、図４８のｃには、情報処理装置８００の背面図を示す。なお、図４８のａは、図１のｂに対応し、図４８のｂは、図１のｃに対応し、図４８のｃは、図１のｄに対応する。また、図１に示す情報処理装置１００と共通する部分については、同一の符号を付して示す。
情報処理装置８００は、例えば、複数の撮像系を備える情報処理装置（例えば、複眼カメラ付き折り畳み式携帯電話）により実現される。
情報処理装置８００は、回動部材８０２と、第１筐体８１１と、第２筐体８１２とを備える。第１筐体８１１および第２筐体８１２は、回動部材８０２を回動軸として折り畳み可能に連結されている。すなわち、回動部材８０２を回動軸として、操作部８０１および表示部１４０が対向するように折り畳むことができる。
第１筐体８１１は、撮像部１３０および表示部１４０を備える。また、第２筐体８１２は、操作部８０１と、電子基板８１５と、電池格納部８１６とを備える。
操作部８０１は、テンキー、十字キー、決定キー等により構成される操作部である。
このように、複数の撮像系を備える折り畳み式の情報処理装置８００に本技術の実施の形態を適用することができる。なお、この変形例では、３個の撮像系が所定の規則に従って並べて配置されている例を示した。ただし、２または４以上の撮像系を備える情報処理装置（例えば、デジタルスチルカメラやデジタルビデオカメラ（例えば、カメラ一体型レコーダ）等の撮像装置）に本技術の実施の形態を適用することができる。すなわち、２または４以上の撮像系を一定の規則で並べて配置して構成することにより、本技術の実施の形態を適用することができる。２つの撮像系を一定の規則で並べて配置する例を図４９乃至図５１に示す。
図４９乃至図５１は、本技術の第１の実施の形態における情報処理装置１００の変形例を示す図である。
図４９には、表示部１４０および撮像部８３０が１つの筐体に備えられている情報処理装置８２０を示す。図４９のａには、情報処理装置８２０の上面図を示し、図４９のｂには、情報処理装置８２０の正面図を示す。また、図４９のｃには、情報処理装置８２０の側面図を示し、図４９のｄには、情報処理装置８２０の背面図を示す。また、図４９のｅには、情報処理装置８２０の電子基板の配置例を示す。なお、図４９のａ乃至ｅは、図１のａ乃至ｅに対応する。また、図１に示す情報処理装置１００と共通する部分については、同一の符号を付して示す。
また、図４９のａに示すように、撮像部８３０を構成する２つの撮像系（光学系８３１、８３２、撮像素子８３３、８３４）の光軸を、光軸８３５および８３６とする。この場合に、光軸８３５と、表示部１４０の表示面に直交（または、略直交）する垂線８３７とのなす角度をθとし、光軸８３６と垂線８３７とのなす角度をθとする。すなわち、２つの撮像系（光学系８３１、８３２、撮像素子８３３、８３４）の光軸８３５および８３６が、垂線８３７を挟んで線対称の位置となるように、２つの撮像系（光学系８３１、８３２、撮像素子８３３、８３４）が配置される。
情報処理装置８２０は、例えば、複数の撮像系を備える情報処理装置（例えば、複眼カメラ付きスマートフォンや複眼カメラ付き携帯電話）により実現される。
情報処理装置８２０は、電子基板１０１と、電池格納部１０２と、切替スイッチ１１１と、決定キー１１２と、表示部１４０と、撮像部８３０とを備える。なお、情報処理装置８２０は、撮像部８３０を構成する撮像系（光学系８３１、８３２、撮像素子８３３、８３４）を２つとした点以外は、図１に示す情報処理装置１００と同様である。このため、ここでの詳細な説明を省略する。
図５０および図５１には、表示部１４０および撮像部８３０が異なる筐体（第１筐体８１１、第２筐体８１２）に備えられている情報処理装置８４０を示す。図５０のａには、情報処理装置８４０の上面図を示し、図５０のｂには、情報処理装置８４０の電子基板の配置例を示す。また、図５１のａには、情報処理装置８４０の正面図を示し、図５１のｂには、情報処理装置８４０の側面図を示し、図５１のｃには、情報処理装置８４０の背面図を示す。なお、図５０のａおよびｂ、図５１のａ乃至ｃは、図４７のａおよびｂ、図４８のａ乃至ｃに対応する。また、図４７および図４８に示す情報処理装置８００、図４９に示す情報処理装置８２０と共通する部分については、同一の符号を付して示す。
情報処理装置８４０は、例えば、複数の撮像系を備える情報処理装置（例えば、複眼カメラ付き折り畳み式携帯電話）により実現される。
情報処理装置８４０は、回動部材８０２と、第１筐体８１１と、第２筐体８１２とを備える。なお、情報処理装置８４０は、撮像部８３０を構成する撮像系（光学系８３１、８３２、撮像素子８３３、８３４）を２つとした点以外は、図４７および図４８に示す情報処理装置８００と同様である。このため、ここでの詳細な説明を省略する。
［パノラマ画像および他の画像の表示例］
上述したように、複数の撮像系を備える情報処理装置により生成されたパノラマ画像を表示することができる。ここで、複数の撮像系を備える情報処理装置は、通常の画像（例えば、縦横比が３：４の画像）を生成することも可能であるため、これらの各画像を適切に表示することも重要である。
そこで、以下では、複数の撮像系を備える情報処理装置により生成される各画像を適切に表示する例を示す。
［３つの撮像部を備える情報処理装置の表示例］
図５２乃至図５４は、本技術の第１の実施の形態における情報処理装置により生成される各画像の表示例を示す図である。図５２乃至図５４には、３つの撮像素子における画像読出領域（太線の矩形で示す）と、表示制御部５５０により表示部１４０に表示される画像との関係を示す。なお、これらの各画像は、例えば、図１に示す情報処理装置１００や図４７および図４８に示す情報処理装置８００により生成される。
図５２のａには、３つの撮像素子のうちの１つの撮像素子（真中の撮像素子）における一部を用いて画像（例えば、縦長３：４画像）８５１を生成する場合における表示例を示す。この場合には、図５２のｂに示すように、１つの撮像素子により生成された画像８５２の全体が表示される。すなわち、表示部１４０の表示画面上に画像（例えば、縦長３：４画像）を表示する段数は、パノラマ画像を表示する際の段数よりも少ない段数（例えば、１段）で表示することができる。
図５３のａには、３つの撮像素子のうちの１つの撮像素子（真中の撮像素子）の全部を用いて画像（例えば、横長４：３画像）８５３を生成する場合における表示例を示す。この場合には、図５３のｂに示すように、１つの撮像素子により生成された画像８５４の全体が表示される。すなわち、表示部１４０の表示画面上に画像（例えば、横長４：３画像）を表示する段数は、パノラマ画像を表示する際の段数よりも少ない段数（例えば、１段）で表示することができる。
図５４のａには、３つの撮像素子を用いてパノラマ画像８５０を生成する場合における表示例を示す。この場合には、図５４のｂに示すように、パノラマ画像８５０が分割されて表示される。例えば、パノラマ画像８５０が分割された複数の画像８５５乃至８５７が、中画像８５８、左画像８５９、右画像８６０として表示される。
［２つの撮像部を備える情報処理装置の表示例］
図５５乃至図５７は、本技術の第１の実施の形態における情報処理装置により生成される各画像の表示例を示す図である。図５５乃至図５７には、２つの撮像素子における画像読出領域（太線の矩形で示す）と、表示制御部５５０により表示部１４０に表示される画像との関係を示す。なお、これらの各画像は、例えば、図４９に示す情報処理装置８２０や図５０および図５１に示す情報処理装置８４０により生成される。
図５５のａには、２つの撮像素子における一部を用いて画像（例えば、縦長３：４画像）８７１を生成する場合における表示例を示す。この場合には、図５５のｂに示すように、２つの撮像素子における一部により生成された画像８７２の全体が表示される。すなわち、表示部１４０の表示画面上に画像（例えば、縦長３：４画像）を表示する段数は、パノラマ画像を表示する際の段数よりも少ない段数（例えば、１段）で表示することができる。
図５６のａには、２つの撮像素子における一部を用いて画像（例えば、横長４：３画像）８７３を生成する場合における表示例を示す。この場合には、図５６のｂに示すように、２つの撮像素子における一部により生成された画像８７４の全体が表示される。すなわち、表示部１４０の表示画面上に画像（例えば、横長４：３画像）を表示する段数は、パノラマ画像を表示する際の段数よりも少ない段数（例えば、１段）で表示することができる。
図５７のａには、２つの撮像素子を用いてパノラマ画像８７０を生成する場合における表示例を示す。この場合には、図５７のｂに示すように、パノラマ画像８７０が分割されて表示される。例えば、パノラマ画像８７０が分割された複数の画像８７５乃至８７７が、中画像８７８、左画像８７９、右画像８８０として表示される。
［情報処理装置の動作例］
図５８は、本技術の第１の実施の形態における情報処理装置１００による表示制御処理の処理手順の一例を示すフローチャートである。
最初に、動作モードとして撮影モードまたは再生モードが設定されているか否かが判断される（ステップＳ９０１）。なお、撮影モードおよび再生モード以外の動作モードが設定されている場合には、設定されている動作モードに応じた処理が行われる。
撮影モードが設定されている場合には（ステップＳ９０１）、撮影機能が起動され（ステップＳ９０２）、撮影処理が行われる（ステップＳ９１０）。この撮影処理については、図５９を参照して詳細に説明する。
続いて、撮影モードが解除されたか否かが判断され（ステップＳ９０３）、撮影モードが解除されていない場合には、ステップＳ９１０に戻る。一方、撮影モードが解除された場合には（ステップＳ９０３）、撮影モードおよび再生モード以外の動作モードが設定されたか否かが判断される（ステップＳ９０４）。そして、撮影モードおよび再生モード以外の動作モードが設定されていない場合には（ステップＳ９０４）、ステップＳ９０１に戻る。一方、撮影モードおよび再生モード以外の動作モードが設定された場合には（ステップＳ９０４）、表示制御処理の動作を終了する。
また、再生モードが設定されている場合には（ステップＳ９０１）、再生機能が起動され（ステップＳ９０５）、再生処理が行われる（ステップＳ９４０）。この再生処理については、図６１を参照して詳細に説明する。
続いて、再生モードが解除されたか否かが判断され（ステップＳ９０６）、再生モードが解除されていない場合には、ステップＳ９４０に戻る。一方、再生モードが解除された場合には（ステップＳ９０６）、撮影モードおよび再生モード以外の動作モードが設定されたか否かが判断される（ステップＳ９０４）。
図５９は、本技術の第１の実施の形態における情報処理装置１００による表示制御処理手順のうちの撮影処理手順（図５８に示すステップＳ９１０の処理手順）の一例を示すフローチャートである。
最初に、表示制御部５５０は、画像生成部５１０により生成された画像の縦横比がパノラマ画像のものであるか否かを判断する（ステップＳ９１１）。そして、その画像の縦横比がパノラマ画像のものである場合には（ステップＳ９１１）、パノラマ撮影処理が行われる（ステップＳ９３０）。なお、このパノラマ撮影処理については、図６０を参照して詳細に説明する。
また、その画像の縦横比がパノラマ画像のものでない場合には（ステップＳ９１１）、表示制御部５５０は、その画像の縦横比が３：４であるか否かを判断する（ステップＳ９１２）。そして、その画像の縦横比が３：４である場合には（ステップＳ９１２）、表示制御部５５０は、画像生成部５１０により生成された画像（３：４画像）を表示部１４０に表示させる（ステップＳ９１３）。すなわち、３：４画像がライブビュー表示される。
続いて、シャッターボタン（例えば、決定キー１１２）の押下が行われた否かが判断され（ステップＳ９１４）、シャッターボタンの押下が行われていない場合には、撮影処理の動作を終了する。一方、シャッターボタンの押下が行われた場合には（ステップＳ９１４）、記録制御部５３０は、その押下のタイミングで生成された画像（３：４画像）を記憶部５４０に記録させる（ステップＳ９１５）。続いて、表示制御部５５０は、記憶部５４０への記録対象となる画像（３：４画像）を表示部１４０に表示させる（ステップＳ９１６）。すなわち、３：４画像がポストビュー表示される。
また、その画像の縦横比が３：４でない場合（４：３である場合）には（ステップＳ９１２）、表示制御部５５０は、画像生成部５１０により生成された画像（４：３画像）を表示部１４０に表示させる（ステップＳ９１７）。すなわち、４：３画像がライブビュー表示される。
続いて、シャッターボタンの押下が行われた否かが判断され（ステップＳ９１８）、シャッターボタンの押下が行われていない場合には、撮影処理の動作を終了する。一方、シャッターボタンの押下が行われた場合には（ステップＳ９１８）、記録制御部５３０は、その押下のタイミングで生成された画像（４：３画像）を記憶部５４０に記録させる（ステップＳ９１９）。続いて、表示制御部５５０は、記憶部５４０への記録対象となる画像（４：３画像）を表示部１４０に表示させる（ステップＳ９２０）。すなわち、４：３画像がポストビュー表示される。
図６０は、本技術の第１の実施の形態における情報処理装置１００による表示制御処理手順のうちのパノラマ撮影処理手順（図５９に示すステップＳ９３０の処理手順）の一例を示すフローチャートである。
最初に、表示制御部５５０は、画像生成部５１０により生成された画像（パノラマ画像）を表示部１４０に表示させる（ステップＳ９３１）。この場合に、パノラマ画像を分割した複数の画像が複数段（表示部１４０の長手方向において複数段）にライブビュー表示される（ステップＳ９３１）。例えば、図３２等に示すように、ライブビュー画像が表示される。この場合に、特異点が検出されている場合には、図３７、図３８に示すように、その特異点を含む画像を中画像として表示するようにしてもよい。
続いて、シャッターボタンの押下が行われた否かが判断され（ステップＳ９３２）、シャッターボタンの押下が行われていない場合には、パノラマ撮影処理の動作を終了する。一方、シャッターボタンの押下が行われた場合には（ステップＳ９３２）、記録制御部５３０は、その押下のタイミングで生成された画像（パノラマ画像）を記憶部５４０に記録させる（ステップＳ９３３）。この場合に、特異点が検出されている場合には、その特異点に関する情報（例えば、その特異点のパノラマ画像における座標）がパノラマ画像に関連付けて記録される。また、パノラマ画像とは別に、その特異点を含む周辺画像をそのパノラマ画像に関連付けて記録するようにしてもよい。その特異点を含む周辺画像は、例えば、表示用画像（例えば、サムネイル画像）として記録することができる。
続いて、表示制御部５５０は、記憶部５４０への記録対象となる画像（パノラマ画像）を表示部１４０に表示させる（ステップＳ９３４）。この場合に、パノラマ画像を分割した複数の画像が複数段（表示部１４０の長手方向において複数段）にポストビュー表示される（ステップＳ９３４）。例えば、図３２等に示すように、ポストビュー画像が表示される。この場合に、特異点が検出されている場合には、図３７、図３８に示すように、その特異点を含む画像を中画像として表示するようにしてもよい。
図６１は、本技術の第１の実施の形態における情報処理装置１００による表示制御処理手順のうちの再生処理手順（図５８に示すステップＳ９４０の処理手順）の一例を示すフローチャートである。
最初に、表示制御部５５０は、ユーザにより再生が指示された画像（記憶部５４０に記憶されている画像）の縦横比がパノラマ画像のものであるか否かを判断する（ステップＳ９４１）。そして、その画像の縦横比がパノラマ画像のものである場合には（ステップＳ９４１）、表示制御部５５０は、姿勢検出部１５０からの姿勢情報に基づいて、表示部１４０が縦長状態であるか否かを判断する（ステップＳ９４２）。
そして、表示部１４０が縦長状態である場合には（ステップＳ９４２）、表示制御部５５０は、ユーザにより再生が指示されたパノラマ画像（記憶部５４０に記憶されているパノラマ画像）を表示部１４０に表示させる（ステップＳ９４３）。この場合に、パノラマ画像を分割した複数の画像が複数段（表示部１４０の長手方向において複数段）に表示される（ステップＳ９４３）。例えば、図３２等に示すように、画像が表示される。この場合に、特異点がパノラマ画像に関連付けて記録されている場合には、図３７、図３８に示すように、その特異点を含む画像を中画像として表示するようにしてもよい。
また、表示部１４０が縦長状態でない場合（横長状態である場合）には（ステップＳ９４２）、表示制御部５５０は、ユーザにより再生が指示されたパノラマ画像（記憶部５４０に記憶されているパノラマ画像）を表示部１４０に表示させる（ステップＳ９４４）。この場合に、縦長状態での表示時よりも段数（表示部１４０の長手方向において段数）を少なくしてパノラマ画像が表示される（ステップＳ９４４）。例えば、図４６のａ乃至ｃの左側に示すように、画像が表示される。
また、その画像の縦横比がパノラマ画像のものでない場合には（ステップＳ９４１）、表示制御部５５０は、その画像の縦横比が３：４であるか否かを判断する（ステップＳ９４５）。そして、その画像の縦横比が３：４である場合には（ステップＳ９４５）、表示制御部５５０は、姿勢検出部１５０からの姿勢情報に基づいて、表示部１４０が縦長状態であるか否かを判断する（ステップＳ９４６）。
そして、表示部１４０が縦長状態である場合には（ステップＳ９４６）、表示制御部５５０は、ユーザにより再生が指示された画像（記憶部５４０に記憶されている３：４画像）を表示部１４０に表示させる（ステップＳ９４７）。この場合に、再生が指示された３：４画像が正立して表示される（ステップＳ９４７）。例えば、図５２、図５５に示すように、画像が表示される。
また、表示部１４０が縦長状態でない場合（横長状態である場合）には（ステップＳ９４６）、表示制御部５５０は、ユーザにより再生が指示された画像（記憶部５４０に記憶されている３：４画像）を表示部１４０に表示させる（ステップＳ９４８）。この場合に、再生が指示された３：４画像が正立して表示される（ステップＳ９４８）。
また、その画像の縦横比が３：４でない場合（その縦横比が４：３である場合）には（ステップＳ９４９）、表示制御部５５０は、姿勢検出部１５０からの姿勢情報に基づいて、表示部１４０が縦長状態であるか否かを判断する（ステップＳ９４９）。
そして、表示部１４０が縦長状態である場合には（ステップＳ９５０）、表示制御部５５０は、ユーザにより再生が指示された画像（記憶部５４０に記憶されている４：３画像）を表示部１４０に表示させる（ステップＳ９５０）。この場合に、再生が指示された４：３画像が正立して表示される（ステップＳ９５０）。例えば、図５３、図５６に示すように、画像が表示される。
また、表示部１４０が縦長状態でない場合（横長状態である場合）には（ステップＳ９４９）、表示制御部５５０は、ユーザにより再生が指示された画像（記憶部５４０に記憶されている４：３画像）を表示部１４０に表示させる（ステップＳ９５１）。この場合に、再生が指示された４：３画像が正立して表示される（ステップＳ９５１）。
［中画像をスクロール表示する場合における動作例］
以上では、表示部１４０に表示される各画像（中画像、左画像および右画像）のパノラマ画像における位置（長手方向における位置）を固定して表示する場合における動作例を示した。以下では、中画像のパノラマ画像における位置（長手方向における位置）を移動させながら表示（いわゆる、自動スクロール表示）する場合における動作例を示す。
図６２は、本技術の第１の実施の形態における情報処理装置１００による表示制御処理の処理手順の一例を示すフローチャートである。なお、図６２は、図５８の変形例であるため、図５８と共通する部分については、同一の符号を付して、その説明の一部を省略する。
最初に、スクロール方法の設定が行われる（ステップＳ９０７）。このスクロール方法の設定では、各表示時におけるスクロール表示の有無が設定される。また、このスクロール方法の設定は、例えば、ユーザによる手動設定や自動設定により行われる。これらの設定内容については、例えば、表示制御部５５０に保持される。
また、撮影モードが設定されている場合には（ステップＳ９０１）、撮影機能が起動され（ステップＳ９０２）、撮影処理が行われる（ステップＳ９１０）。この撮影処理（図５９に示す）におけるパノラマ撮影処理（図５９に示すステップＳ９３０）については、図６３を参照して詳細に説明する。
また、再生モードが設定されている場合には（ステップＳ９０１）、再生機能が起動され（ステップＳ９０５）、再生処理が行われる（ステップＳ９６０）。この再生処理については、図６４を参照して詳細に説明する。
図６３は、本技術の第１の実施の形態における情報処理装置１００による表示制御処理手順のうちのパノラマ撮影処理手順（図５９に示すステップＳ９３０の処理手順）の一例を示すフローチャートである。なお、図６３は、図６０の変形例であるため、図６０と共通する部分については、同一の符号を付して、その説明の一部を省略する。
最初に、表示制御部５５０は、ライブビュー表示時のスクロール方法の設定を読み出す（ステップＳ９２１）。続いて、表示制御部５５０は、読み出されたスクロール方法の設定に従って、画像生成部５１０により生成された画像（パノラマ画像）を表示部１４０に表示させる（ステップＳ９２２）。例えば、ライブビュー表示時にスクロールありの設定がされている場合には、図４２、図４３に示すように、中画像のパノラマ画像における位置（長手方向における位置）を移動させながら中画像の表示が行われる。一方、ライブビュー表示時にスクロールなしの設定がされている場合には、パノラマ画像における位置が固定された中画像の表示が行われる。
続いて、スクロール方法の設定変更が行われたか否かが判断される（ステップＳ９２３）。例えば、ライブビュー表示時に、ユーザによる手動操作によりスクロール方法の設定変更（例えば、スクロール表示の有→無、無→有の変更）が行われる。そして、スクロール方法の設定変更が行われた場合には（ステップＳ９２３）、ライブビュー表示時におけるスクロール方法が変更され（ステップＳ９２４）、変更後のスクロール方法が保存される（ステップＳ９２５）。
続いて、表示制御部５５０は、ポストビュー表示時のスクロール方法の設定を読み出す（ステップＳ９２６）。続いて、表示制御部５５０は、読み出されたスクロール方法の設定に従って、記憶部５４０への記録対象となる画像（パノラマ画像）を表示部１４０に表示させる（ステップＳ９２７）。例えば、ポストビュー表示時にスクロールありの設定がされている場合には、図４２、図４３に示すように、中画像のパノラマ画像における位置（長手方向における位置）を移動させながら中画像の表示が行われる。一方、ポストビュー表示時にスクロールなしの設定がされている場合には、パノラマ画像における位置が固定された中画像の表示が行われる。
続いて、スクロール方法の設定変更が行われたか否かが判断される（ステップＳ９２８）。例えば、ポストビュー表示時に、ユーザによる手動操作によりスクロール方法の設定変更（例えば、スクロール表示の有→無、無→有の変更）が行われる。そして、スクロール方法の設定変更が行われた場合には（ステップＳ９２８）、ポストビュー表示時におけるスクロール方法が変更され（ステップＳ９２９）、変更後のスクロール方法が保存される（ステップＳ９３５）。
図６４は、本技術の第１の実施の形態における情報処理装置１００による表示制御処理手順のうちの再生処理手順（図６２に示すステップＳ９６０の処理手順）の一例を示すフローチャートである。なお、図６４は、図６１の変形例であるため、図６１と共通する部分については、同一の符号を付して、その説明の一部を省略する。
表示部１４０が縦長状態である場合には（ステップＳ９４２）、縦長状態パノラマ再生処理が行われる（ステップＳ９７０）。この縦長状態パノラマ再生処理については、図６５を参照して詳細に説明する。
また、表示部１４０が縦長状態でない場合（横長状態である場合）には（ステップＳ９４２）、横長状態パノラマ再生処理が行われる（ステップＳ９８０）。この横長状態パノラマ再生処理については、図６６を参照して詳細に説明する。
図６５は、本技術の第１の実施の形態における情報処理装置１００による表示制御処理手順のうちの縦長状態パノラマ再生処理手順（図６４に示すステップＳ９７０の処理手順）の一例を示すフローチャートである。
最初に、表示制御部５５０は、再生表示時のスクロール方法の設定を読み出す（ステップＳ９７１）。続いて、表示制御部５５０は、読み出されたスクロール方法の設定に従って、ユーザにより再生が指示された画像（記憶部５４０に記憶されているパノラマ画像）を表示部１４０に表示させる（ステップＳ９７２）。例えば、再生表示時にスクロールありの設定がされている場合には、図４２、図４３に示すように、中画像のパノラマ画像における位置（長手方向における位置）を移動させながら中画像の表示が行われる。一方、再生表示時にスクロールなしの設定がされている場合には、パノラマ画像における位置が固定された中画像の表示が行われる。
続いて、スクロール方法の設定変更が行われたか否かが判断される（ステップＳ９７３）。例えば、再生表示時に、ユーザによる手動操作によりスクロール方法の設定変更（例えば、スクロール表示の有→無、無→有の変更）が行われる。そして、スクロール方法の設定変更が行われた場合には（ステップＳ９７３）、再生表示時におけるスクロール方法が変更され（ステップＳ９７４）、変更後のスクロール方法が保存される（ステップＳ９７５）。
図６６は、本技術の第１の実施の形態における情報処理装置１００による表示制御処理手順のうちの横長状態パノラマ再生処理手順（図６４に示すステップＳ９８０の処理手順）の一例を示すフローチャートである。
最初に、表示制御部５５０は、再生表示時のスクロール方法の設定を読み出す（ステップＳ９８１）。続いて、表示制御部５５０は、読み出されたスクロール方法の設定に従って、ユーザにより再生が指示された画像（記憶部５４０に記憶されているパノラマ画像）を表示部１４０に表示させる（ステップＳ９８２）。例えば、再生表示時にスクロールありの設定がされている場合には、図４２、図４３に示すように、中画像のパノラマ画像における位置（長手方向における位置）を移動させながら中画像の表示が行われる。一方、再生表示時にスクロールなしの設定がされている場合には、パノラマ画像における位置が固定された中画像の表示が行われる。
続いて、スクロール方法の設定変更が行われたか否かが判断される（ステップＳ９８３）。例えば、再生表示時に、ユーザによる手動操作によりスクロール方法の設定変更（例えば、スクロール表示の有→無、無→有の変更）が行われる。そして、スクロール方法の設定変更が行われた場合には（ステップＳ９８３）、再生表示時におけるスクロール方法が変更され（ステップＳ９８４）、変更後のスクロール方法が保存される（ステップＳ９８５）。
＜２．第２の実施の形態＞
本技術の第１の実施の形態では、パノラマ画像における複数の領域を、表示部の長手方向において複数段となるように表示させる例を示した。このように表示されている場合に、表示画像の拡大縮小操作や移動操作が行われることが想定される。例えば、複数段に表示されている複数の画像のうちの一部について拡大操作が行われた場合に、その拡大操作が行われた画像のみが拡大されると、他の画像との関係を把握し難くなることも想定される。
そこで、本技術の第２の実施の形態では、パノラマ画像上の複数の領域に対応する各画像について操作が行われた場合に、ユーザが見易くなるように各画像を表示させる例を示す。なお、本技術の第２の実施の形態における情報処理装置は、図１等に示す情報処理装置１００の一部を変形したものである。このため、情報処理装置１００と共通する部分については、同一の符号を付して、これらの説明の一部を省略する。
［拡大操作時における表示遷移例］
図６７および図６８は、本技術の第２の実施の形態における表示制御部５５０により表示されるパノラマ画像および各画像（中画像、左画像および右画像）の表示遷移例を示す図である。なお、図６７のａは、パノラマ画像（全体画像）上に枠を表示させない点以外は、図４０に示す表示例と同様である。
図６７のｂには、図６７のａに示す各画像について拡大表示を行うための拡大操作の一例を示す。図６７のａに示す各画像の拡大表示を行う場合には、例えば、２本の指２１、２２で広げるような操作（ピンチもしくはピンチアウト）により行うことができる。例えば、矢印１１０１の方向に指２１を移動させるとともに、矢印１１０２の方向に指２２を移動させることにより行うことができる。
図６８のａには、図６７のｂに示す拡大操作が行われた場合における各画像の遷移例を示す。
ここで、拡大操作が行われた場合に、各画像（左画像、右画像、中画像）について、画像中心を原点として拡大処理（例えば、図６８のａに示す点線の矩形１１１１の各頂点を基点とする矢印の方向に拡大する拡大処理）を行う場合を想定する。このように拡大処理が行われると、左画像および右画像は、パノラマ画像の端部（左端部、右端部）を含まず、左画像および右画像の内部のみが拡大表示されることになる。すなわち、画像中心を原点として拡大処理を行う場合には、パノラマ画像の端部（左端部、右端部）を表示させることができない。そこで、本技術の第２の実施の形態では、拡大操作が行われた場合には、パノラマ画像の端部（左端部、右端部）を含む画像（左画像および右画像）については、各画像の端部（左端部または左端部）を起点として画像の拡大処理を行う。一方、パノラマ画像の端部（左端部、右端部）を含まない画像（中画像）については、画像中心を原点とする拡大処理を行う。この場合における各画像の拡大率（表示倍率）は、同一とする。なお、パノラマ画像の端部（左端部、右端部）を含まない画像（中画像）については、画像中心を原点とする拡大処理以外でも、ユーザ操作に応じた各種の拡大処理を行うようにしてもよい。
このように、図６７のｂに示す拡大操作が行われた場合には、点線の矩形１１１１乃至１１１３内に含まれる各画像が、点線の矩形１１１１乃至１１１３の各頂点を基点とする矢印の方向に広がるように、各画像の拡大処理が行われる。このように拡大処理が行われた後に表示される表示例を図６８のｂに示す。
図６８のｂには、図６７のｂに示す拡大操作が行われた後に表示される各画像の表示例を示す。このように、拡大操作が行われた中画像１１２１以外の各画像（左画像１１２２、右画像１１２３）についても、その拡大操作に応じて拡大処理が施されて表示される。なお、図６７および図６８に示す例では、中画像について拡大操作を行う例を示したが、他の画像（左画像、右画像）について拡大操作が行われた場合についても同様に、拡大操作が行われた画像以外の画像も拡大して表示される。例えば、図６７に示す左画像６０５について拡大操作が行われた場合には、拡大操作が行われた左画像６０５以外の中画像６０４、右画像６０６も拡大して表示される。また、例えば、図６７に示す全体画像（パノラマ画像６８５）について拡大操作（例えば、ピンチもしくはピンチアウト）が行われた場合には、全体画像以外の画像（中画像６０４、左画像６０５、右画像６０６）が拡大して表示される。また、図６７および図６８に示す例では、拡大操作を行う例を示したが、縮小操作（例えば、ピンチもしくはピンチイン）が行われた場合についても同様に、縮小操作が行われた画像以外の画像も縮小表示される。
また、図４０と同様に、パノラマ画像（全体画像）上に枠を表示させる場合には、各画像（中画像、左画像、右画像）の拡大または縮小に応じて枠のサイズが変更して表示される。この表示例を図６９に示す。
このように、操作受付部５６０は、複数の画像（中画像、左画像、右画像）および縮小画像（パノラマ画像）のうちの少なくとも１つを用いて表示倍率の変更を指示するための変更操作を受け付ける。また、その変更操作が受け付けられた場合には、表示制御部５５０は、その縮小画像（パノラマ画像）についてはその変更操作に応じた画像処理を施さず、複数の画像のそれぞれについてはその変更操作に応じた表示倍率となるように画像処理を施す。具体的には、表示制御部５５０は、その変更操作が受け付けられた場合には、中画像については中画像内における位置を基準として中画像をその表示倍率にするための画像処理を施す。また、表示制御部５５０は、左画像についてはパノラマ画像における左端部を基準として左画像をその表示倍率にするための画像処理を施し、右画像についてはパノラマ画像における右端部を基準として右画像をその表示倍率にするための画像処理を施す。
［拡大操作時における表示情報の表示遷移例］
図６９は、本技術の第２の実施の形態における表示制御部５５０により表示されるパノラマ画像および各画像（中画像、左画像および右画像）の表示遷移例を示す図である。なお、図６９のａは、図４０に示す表示例と同様である。
図６９のｂには、図６７のｂに示す拡大操作が行われた後に表示される各画像の表示例を示す。なお、図６９のｂは、パノラマ画像（全体画像）上に枠１１２４乃至１１２６を表示させる点以外は、図６８のｂに示す表示例と同様である。このように、各画像（中画像、左画像、右画像）の拡大または縮小に応じてパノラマ画像（全体画像）上の枠のサイズが変更して表示される。なお、パノラマ画像における複数の領域のそれぞれの位置を表す表示情報（例えば、枠）については、本技術の第１の実施の形態と同様に他の表示態様により表示するようにしてもよい。例えば、横方向の棒を表示情報として表示するようにしてもよい。
［上下方向への移動操作時における表示遷移例］
図７０および図７１は、本技術の第２の実施の形態における表示制御部５５０により表示されるパノラマ画像および各画像（中画像、左画像および右画像）の表示遷移例を示す図である。なお、図７０のａは、図６８のｂに示す表示例と同様である。
図７０のｂには、図７０のａに示す各画像を移動させるための移動操作（上下方向への移動操作）の一例を示す。図７０のａに示す各画像の上側を表示させる場合には、例えば、指２３で所望の方向に画像を移動させる操作により行うことができる。例えば、矢印１１３０の方向に指２３を移動させることにより行うことができる。
図７１のａには、図７０のｂに示す上下方向への移動操作が行われた場合における各画像の遷移例を示す。図７０のｂに示す上下方向への移動操作が行われた場合には、表示対象となる画像が、点線の矩形１１３１乃至１１３３の領域から実線の矩形１１３４乃至１１３６の領域に遷移するように、各画像の画像処理が行われる。この場合に、各画像の移動量は、同一とする。このように画像処理が行われた後に表示される表示例を図７１のｂに示す。
図７１のｂには、図７０のｂに示す上下方向への移動操作が行われた後に表示される各画像の表示例を示す。このように、上下方向への移動操作が行われた中画像１１４１以外の各画像（左画像１１４２、右画像１１４３）についても、その上下方向への移動操作に応じて画像処理が施されて表示される。なお、図７０および図７１に示す例では、中画像について上下方向への移動操作を行う例を示した。ただし、他の画像（左画像、右画像）について上下方向への移動操作が行われた場合についても同様に、上下方向への移動操作が行われた画像以外の画像の領域も変更されて表示される。例えば、図７０に示す左画像１１２２について上下方向への移動操作が行われた場合には、上下方向への移動操作が行われた左画像１１２２以外の中画像１１２１、右画像１１２３も領域が変更されて表示される。また、例えば、図７０に示す全体画像（パノラマ画像６８５）について上下方向への移動操作（例えば、上下方向へのなぞる操作）が行われた場合を想定する。この場合には、全体画像以外の画像（中画像１１２１、左画像１１２２、右画像１１２３）についても、その移動操作に応じた画像処理が施されて表示される。また、図７０および図７１に示す例では、上下方向の上側への移動操作を行う例を示したが、上下方向の下側への移動操作が行われた場合についても同様に、上下方向の下側への移動操作が行われた画像以外の画像も変更されて表示される。
また、図４０と同様に、パノラマ画像（全体画像）上に枠を表示させる場合には、各画像（中画像、左画像、右画像）の領域の変更に応じて枠が移動して表示される。この表示例を図７２に示す。
［上下方向への移動操作時における表示情報の表示遷移例］
図７２は、本技術の第２の実施の形態における表示制御部５５０により表示されるパノラマ画像および各画像（中画像、左画像および右画像）の表示遷移例を示す図である。なお、図７２のａは、図６９のｂに示す表示例と同様である。
図７２のｂには、図７０のｂに示す上下方向への移動操作が行われた後に表示される各画像の表示例を示す。なお、図７２のｂは、パノラマ画像（全体画像）上に枠１１４５乃至１１４７を表示させる点以外は、図７１のｂに示す表示例と同様である。このように、各画像（中画像、左画像、右画像）の上下方向への移動操作に応じてパノラマ画像（全体画像）上の枠が移動して表示される。
［左右方向への移動操作時における表示遷移例］
図７３および図７４は、本技術の第２の実施の形態における表示制御部５５０により表示されるパノラマ画像および各画像（中画像、左画像および右画像）の表示遷移例を示す図である。なお、図７３のａは、図６８のｂに示す表示例と同様である。
図７３のｂには、図７３のａに示す各画像を移動させるための移動操作（左右方向への移動操作）の一例を示す。
ここで、左右方向への移動操作が行われた場合に、例えば、上下方向への移動操作と同様に、各画像（左画像、右画像、中画像）について同一の移動量だけ移動処理を行う場合を想定する。このように移動処理が行われると、左画像および右画像の少なくとも一方は、パノラマ画像の端部（左端部、右端部）を含まずに表示されることになる。そこで、本技術の第２の実施の形態では、中画像または全体画像について、左右方向への移動操作が行われた場合には、パノラマ画像の端部を含む画像については、移動処理を行わず、パノラマ画像の端部を含まない中画像については移動処理を行う。ここで、パノラマ画像の端部は、例えば、左端部、右端部であり、パノラマ画像の端部を含む画像は、例えば、左画像および右画像である。また、左画像について右方向への移動操作が行われた場合、または、右画像について左方向への移動操作が行われた場合には、その移動操作が行われた画像のみ当該方向への移動処理を行い、かつ、それ以外の画像については移動処理を行わない。
このように、中画像について左右方向への移動操作が行われた場合は、左右方向への移動を、中画像についてのみ行う。そこで、図７３のａに示す中画像１１２１の左側を表示させる場合には、例えば、指２３で所望の方向に中画像１１２１を移動させる操作により行うことができる。例えば、矢印１１５０の方向に指２３を移動させることにより行うことができる。
図７４のａには、図７３のｂに示す左右方向への移動操作が行われた場合における各画像の遷移例を示す。図７３のｂに示す左右方向への移動操作が行われた場合には、表示対象となる中画像が、点線の矩形１１３１の領域から実線の矩形１１５１の領域に遷移するように、中画像の画像処理が行われる。しかしながら、上述したように、表示対象となる中画像以外の画像（左画像、右画像）については、領域の変更は行われない。このように画像処理が行われた後に表示される表示例を図７４のｂに示す。
図７４のｂには、図７３のｂに示す左右方向への移動操作が行われた後に表示される各画像の表示例を示す。このように、中画像もしくは全体画像について左右方向への移動操作が行われた場合には、中画像１１５２以外の各画像（左画像１１２２、右画像１１２３）については、移動が行われずにそのまま表示される。また、左画像について右方向への移動操作が行われた場合、または、右画像について左方向への移動操作が行われた場合には、その移動操作が行われた画像以外の画像については移動が行われずにそのまま表示される。なお、図７３および図７４に示す例では、左右方向の左側への移動操作を行う例を示したが、左右方向の右側への移動操作が行われた場合についても同様に、左右方向の右側への移動操作が行われた画像のみが変更されて表示される。
また、図４０と同様に、パノラマ画像（全体画像）上に枠を表示させる場合には、中画像の領域の変更に応じて枠が移動して表示される。この表示例を図７５に示す。
このように、操作受付部５６０は、パノラマ画像上の中画像の位置をパノラマ画像の長手方向に移動するための第１移動操作、または、パノラマ画像上の中画像の位置をパノラマ画像の長手方向と直交する方向に移動するための第２移動操作を受け付ける。第１移動操作が受け付けられた場合には、表示制御部５５０は、左画像および右画像については第１移動操作に応じた画像処理を施さず、中画像については中画像に対応する領域が第１移動操作に応じた位置となるように画像処理を施す。そして、表示制御部５５０は、その画像処理が施された中画像とその画像処理が施されていない左画像および右画像とを表示部１４０に表示させる。一方、第２移動操作が受け付けられた場合には、表示制御部５５０は、各画像（中画像、左画像、右画像）のそれぞれに対応する各領域が第２移動操作に応じた位置となるように画像処理を施し、その画像処理が施された各画像を表示部１４０に表示させる。
また、操作受付部５６０は、パノラマ画像の長手方向への移動を指示する第１移動操作、または、パノラマ画像の長手方向と直交する方向への移動を指示する第２移動操作を受け付ける。これらの各操作（第１移動操作、第２移動操作）は、例えば、パノラマ画像上において移動を指示する方向にユーザが指でなぞる操作である。第１移動操作が受け付けられた場合には、表示制御部５５０は、左画像と右画像とパノラマ画像とについては第１移動操作に応じた画像処理を施さず、中画像については中画像に対応する領域が第１移動操作に応じた位置となるように画像処理を施す。そして、表示制御部５５０は、その画像処理が施された中画像とその画像処理が施されていない左画像と右画像とパノラマ画像（全体画像）とを表示部１４０に表示させる。一方、第２移動操作が受け付けられた場合には、表示制御部５５０は、パノラマ画像については第２移動操作に応じた画像処理を施さず、中画像、左画像、右画像については、これらに対応する各領域が第２移動操作に応じた位置となるように画像処理を施す。
また、操作受付部５６０は、左画像または右画像の位置をパノラマ画像の長手方向に移動するための第１移動操作、または、左画像または右画像の位置をパノラマ画像の長手方向と直交する方向に移動するための第２移動操作を受け付ける。第１移動操作が受け付けられた場合には、表示制御部５５０は、第１移動操作が行われた左画像または右画像についてはその画像に対応する領域が第１移動操作に応じた位置となるように画像処理を施す。また、表示制御部５５０は、第１移動操作が行われた画像以外の他の画像については第１移動操作に応じた画像処理を施さない。例えば、左画像について右方向への移動操作が行われた場合には、左画像に対応する領域が第１移動操作に応じた位置となるように画像処理が施され、左画像以外の他の画像（右画像、中画像、全体画像）については第１移動操作に応じた画像処理が施されない。そして、表示制御部５５０は、その画像処理が施された画像とその画像処理が施されていない画像とを表示部１４０に表示させる。一方、第２移動操作が受け付けられた場合には、表示制御部５５０は、左画像、右画像および中画像のそれぞれに対応する各領域が第２移動操作に応じた位置となるように画像処理を施し、その画像処理が施された各画像を表示部１４０に表示させる。
［左右方向への移動操作時における表示情報の表示遷移例］
図７５は、本技術の第２の実施の形態における表示制御部５５０により表示されるパノラマ画像および各画像（中画像、左画像および右画像）の表示遷移例を示す図である。なお、図７５のａは、図６９のｂに示す表示例と同様である。
図７５のｂには、図７３のｂに示す左右方向への移動操作が行われた後に表示される各画像の表示例を示す。なお、図７５のｂは、パノラマ画像（全体画像）上に枠を表示させる点以外は、図７３のｂに示す表示例と同様である。このように、中画像の左右方向への移動操作に応じてパノラマ画像（全体画像）上の枠１１２４が移動して表示される。
このように、パノラマ画像における各画像（中画像、左画像、右画像）の何れかについて、拡大または縮小操作と、上下方向への移動操作とが行われた場合には、その操作に応じた画像処理を各画像に施すことができる。また、中画像について、左右方向への移動操作が行われた場合には、その操作に応じた画像処理を中画像にのみ施す。これにより、パノラマ画像における各画像（中画像、左画像、右画像）の表示倍率および上下方向の位置を同一とすることができ、ユーザに見易い画像を提供することができる。また、ユーザは、パノラマ画像における各画像（中画像、左画像、右画像）の何れかについて所望の操作を行うのみでよい。
［ライブビュー表示、ポストビュー表示または再生表示の表示例］
図７６は、本技術の第２の実施の形態における表示制御部５５０により表示されるパノラマ画像および各画像（中画像、左画像および右画像）の表示例を示す図である。図７６のａには、ライブビュー表示またはポストビュー表示時の表示例を示す。また、図７６のｂには、再生表示時の表示例を示す。なお、図７６のａは、図６８のｂに示す表示例と同様であり、図７６のｂは、図６７のａに示す表示例と同様である。
例えば、ライブビュー表示またはポストビュー表示時については、パノラマ画像の両端部、中央部を細かく確認することができるように拡大表示を行うようにする。一方、再生表示時の表示については、再生中にユーザ操作により好みのサイズや位置に変更可能であるため、通常の画像を表示するようにする。このように、パノラマ画像が表示されるタイミングに応じて表示方法を適宜変更するようにしてもよい。
［情報処理装置の動作例］
図７７は、本技術の第２の実施の形態における情報処理装置１００による表示制御処理の処理手順の一例を示すフローチャートである。図７７では、再生モードが設定された場合における処理手順の一例を示す。
最初に、再生指示が行われた画像は、パノラマ画像であるか否かが判断される（ステップＳ１２０１）。例えば、再生指示が行われた画像の縦横比が、１６：９よりも大きいか否かが判断される（ステップＳ１２０１）。そして、再生指示が行われた画像の縦横比が、１６：９よりも大きい場合にはパノラマ画像であると判断され、１６：９以下である場合には通常画像であると判断される。
再生指示が行われた画像がパノラマ画像であると判断された場合には（ステップＳ１２０１）、表示制御部５５０は、再生指示が行われたパノラマ画像について、複数の画像（例えば、中画像、左画像、右画像）を複数段に表示させる（ステップＳ１２０２）。また、パノラマ画像の全体画像を縮小して表示させるようにしてもよい。例えば、図６７のａ、図６９のａに示すように、各画像が表示される。なお、ステップＳ１２０２は、特許請求の範囲に記載の第１制御手順の一例である。
続いて、パノラマ画像用の画像処理が行われる（ステップＳ１２１０）。なお、パノラマ画像用の画像処理については、図７８を参照して詳細に説明する。
また、再生指示が行われた画像が通常画像であると判断された場合には（ステップＳ１２０１）、表示制御部５５０は、再生指示が行われた通常画像（表示対象画像）を１段または複数段に表示させる（ステップＳ１２０３）。例えば、表示対象画像を複数段に表示させる場合には、表示対象画像（縮小、移動等が行われる画像）と、この全体画像を縮小した縮小画像とを表示させることができる。また、この縮小画像には、全体画像における表示対象画像の位置を示す表示情報（例えば、枠）を重ねて表示させることができる。
続いて、通常画像用の画像処理が行われる（ステップＳ１２０４）。例えば、表示対象画像の縮小処理、拡大処理、移動処理等の画像処理がユーザ操作に応じて行われる。また、縮小画像に表示情報（例えば、枠）が重ねて表示されている場合には、その画像処理に応じて、表示情報が適宜変更される。
続いて、再生モードが解除されたか否かが判断され（ステップＳ１２０５）、再生モードが解除されていない場合には、ステップＳ１２０１に戻る。一方、再生モードが解除された場合には（ステップＳ１２０５）、表示制御処理の動作を終了する。
図７８は、本技術の第２の実施の形態における情報処理装置１００による表示制御処理手順のうちのパノラマ画像用の画像処理手順（図７７に示すステップＳ１２１０の処理手順）の一例を示すフローチャートである。
最初に、表示制御部５５０は、ユーザ操作が行われたか否かを判断し（ステップＳ１２１１）、ユーザ操作が行われていない場合には、ユーザ操作が行われるまで監視を継続して行う。ユーザ操作が行われた場合には（ステップＳ１２１１）、表示制御部５５０は、その操作が、表示されている各画像（中画像、左画像、右画像）の何れかについての拡大縮小操作であるか否かを判断する（ステップＳ１２１２）。
その操作が拡大縮小操作である場合には（ステップＳ１２１２）、表示制御部５５０は、その操作に応じて、操作対象となった画像を拡大または縮小させるとともに、他の画像についても拡大または縮小させて表示させる（ステップＳ１２１３）。例えば、図６７のｂに示すように、中画像６０４について拡大操作が行われた場合には、図６８のａに示すように、その拡大操作に応じて、中画像６０４とともに他の画像（左画像６０５、右画像６０６）を拡大させる拡大処理が行われる。そして、図６８のｂに示すように、拡大処理が施された各画像が表示部１４０に表示される。
また、表示制御部５５０は、パノラマ画像の全体画像が縮小表示されている場合には、各画像の拡大または縮小に応じて、表示情報の拡大または縮小を行う。例えば、図６９のａに示すように、表示情報（枠６８６乃至６８８）が表示されている場合には、図６９のｂに示すように、各画像の拡大操作に応じて、表示情報を縮小させる縮小処理が行われる。
また、その操作が拡大縮小操作でない場合には（ステップＳ１２１２）、表示制御部５５０は、その操作が、表示されている各画像（中画像、左画像、右画像）の何れかについての上下方向への移動操作であるか否かを判断する（ステップＳ１２１４）。その操作が上下方向への移動操作である場合には（ステップＳ１２１４）、表示制御部５５０は、その操作に応じて、操作対象となった画像と他の画像とについて、パノラマ画像における領域を上下方向に移動させて表示させる（ステップＳ１２１５）。例えば、図７０のｂに示すように、中画像１１２１について上下方向の上側への移動操作が行われた場合には、図７１のａに示すように、その移動操作に応じて、中画像とともに他の画像（左画像、右画像）を移動させる移動処理が行われる。そして、図７１のｂに示すように、移動処理が施された各画像が表示部１４０に表示される。
また、表示制御部５５０は、パノラマ画像の全体画像が縮小表示されている場合には、各画像の上下方向への移動に応じて、表示情報の移動を行う。例えば、図７２のａに示すように、表示情報（枠１１２４乃至１１２６）が表示されている場合には、図７２のｂに示すように、各画像の移動操作に応じて、表示情報を上側に移動させる移動処理が行われる。
また、その操作が上下方向への移動操作でない場合には（ステップＳ１２１４）、表示制御部５５０は、その操作が、表示されている中画像についての左右方向への移動操作であるか否かを判断する（ステップＳ１２１６）。その操作が左右方向への移動操作である場合には（ステップＳ１２１６）、表示制御部５５０は、その操作に応じて、操作対象となった中画像について、パノラマ画像における領域を左右方向に移動させて表示させる（ステップＳ１２１７）。例えば、図７３のｂに示すように、中画像１１２１について左右方向の左側への移動操作が行われた場合には、図７４のａに示すように、その移動操作に応じて、中画像のみを移動させる移動処理が行われる。そして、図７４のｂに示すように、移動処理が施された中画像１１５２が表示部１４０に表示される。
また、表示制御部５５０は、パノラマ画像の全体画像が縮小表示されている場合には、中画像の左右方向への移動に応じて、表示情報の移動を行う。例えば、図７５のａに示すように、表示情報（枠１１２４乃至１１２６）が表示されている場合には、図７５のｂに示すように、各画像の移動操作に応じて、中画像に関する表示情報（枠１１２４）を左側に移動させる移動処理が行われる。
なお、パノラマ画像の端部を含まない画像が中画像以外に存在する場合には、その画像を左右方向への移動対象とすることができる。なお、ステップＳ１２１１乃至Ｓ１２１７は、特許請求の範囲に記載の第２制御手順の一例である。
また、その操作が左右方向への移動操作でない場合には（ステップＳ１２１６）、表示制御部５５０は、そのユーザ操作に基づく処理を行う（ステップＳ１２１８）。
また、各処理が終了した後に、表示制御部５５０は、表示されているパノラマ画像の変更指示がされたか否かを判断する（ステップＳ１２１９）。そして、表示されているパノラマ画像の変更指示がされていない場合には（ステップＳ１２１９）、ステップＳ１２１１に戻り、表示されているパノラマ画像の変更指示がされた場合には（ステップＳ１２１９）、パノラマ画像用の画像処理の動作を終了する。
なお、図７８では、拡大縮小操作、上下方向への移動操作、左右方向への移動操作の何れかの操作が行われた場合における例を示した。ただし、これらの各操作が組み合わされた操作（例えば、斜め方向への移動操作）が行われることも想定される。この場合でも、上述したように、パノラマ画像の端部（左端部、右端部）を左画像および右画像が含むように画像処理が行われる。例えば、斜め方向への移動操作が行われた場合には、左右方向への移動については中画像のみの移動を行い、上下方向への移動については各画像について移動を行うようにすることができる。
また、各画像について同時に複数の操作（例えば、中画像について上下方向の上側への移動操作、左画像について上下方向の下側への移動操作）が行われることも想定される。この場合には、例えば、各操作が相反していれば（例えば、中画像について上下方向の上側への移動操作、左画像について上下方向の下側への移動操作）、少なくとも１つの操作を基準にして画像処理を行うことができる。また、例えば、各操作が相反していない場合（例えば、中画像について左右方向の左側への移動操作、左画像について上下方向の下側への移動操作）、各操作を組み合わせた内容で画像処理を行うようにしてもよい。
このように、操作受付部５６０は、横長の画像上の複数の領域に対応する複数の画像（中画像、左画像、右画像）が表示部１４０に表示されている場合に、複数の画像のうちの少なくとも１つについて所定操作を受け付ける。また、表示制御部５５０は、その所定操作が受け付けられた場合には、複数の画像のそれぞれについてその所定操作に応じた画像処理を施し、この画像処理が施された各画像を表示部１４０に表示させる制御を行う。
例えば、操作受付部５６０は、図６７のｂに示すように、複数の画像のうちの少なくとも１つの表示倍率を変更するための変更操作を受け付ける。この場合には、表示制御部５５０は、複数の画像のそれぞれについてその変更操作に応じた表示倍率となるように画像処理を施し、この画像処理が施された各画像を表示部１４０に表示させる。例えば、図６８のｂに示すように、その変更操作に応じた表示倍率となるように画像処理が施された各画像が表示部１４０に表示される。
また、例えば、操作受付部５６０は、図７０のｂに示すように、複数の画像のうちの少なくとも１つに対応する領域の横長の画像上の位置を移動するための移動操作を受け付ける。この場合には、表示制御部５５０は、複数の画像に対応する各領域がその移動操作に応じた位置となるように画像処理を施し、この画像処理が施された各画像を表示部１４０に表示させる。例えば、図７１のｂに示すように、その移動操作に応じた位置となるように画像処理が施された各画像が表示部１４０に表示される。
また、例えば、操作受付部５６０は、第１移動操作または第２移動操作を受け付ける。ここで、第１移動操作は、横長の画像上の複数の画像のうちの少なくとも１つの位置を横長の画像の長手方向に移動するための操作（すなわち、左右方向への移動操作（例えば、図７３のｂに示す操作））である。また、第２移動操作は、横長の画像上の上記複数の画像のうちの少なくとも１つの位置を長手方向と直交する方向に移動するための操作（すなわち、上下方向への移動操作（例えば、図７０のｂに示す操作））である。また、表示制御部５５０は、第１移動操作が受け付けられた場合には、中画像に対応する領域がその第１移動操作に応じた位置となるように画像処理を施す。そして、表示制御部５５０は、その画像処理が施された中画像と、その画像処理が施されていない左画像および右画像とを表示部１４０に表示させる。例えば、図７４のｂに示すように、その第１移動操作に応じた位置となるように画像処理が施された中画像１１５２が表示部１４０に表示される。
また、例えば、表示制御部５５０は、複数の画像の表示領域以外の領域に、横長の画像の全体を縮小した全体画像を表示させ、複数の画像の表示領域を示す表示情報（例えば、枠）を全体画像上に重ねて表示させる。例えば、図６９、図７２、図７５に示すように、複数の画像の表示領域を示す枠が全体画像上に重ねて表示される。
＜３．第３の実施の形態＞
本技術の第１の実施の形態では、撮像部を情報処理装置に固定して配置する例を示した。ただし、撮像部を可動式にして配置する情報処理装置についても本技術の第１の実施の形態を適用することができる。
そこで、本技術の第３の実施の形態では、撮像部を可動式にして配置する情報処理装置の例を示す。
図７９および図８０は、本技術の第３の実施の形態における情報処理装置１０００の外観構成例を示す図である。
図７９および図８０には、撮像部１０３０が可動式に配置されている情報処理装置１０００を示す。図７９のａには、情報処理装置１０００の上面図を示し、図７９のｂには、情報処理装置１０００の正面図を示す。また、図７９のｃには、情報処理装置１０００の側面図を示し、図７９のｄには、情報処理装置１０００の背面図を示す。また、図７９のｅには、情報処理装置１０００の電子基板の配置例を示す。なお、図７９のａ乃至ｅは、図１のａ乃至ｅに対応する。また、図１に示す情報処理装置１００に対応する部分については、同一の符号を付して示す。また、図８０のａには、情報処理装置１０００の正面側の斜視図を示し、図８０のｂには、情報処理装置１０００の背面側の斜視図を示す。
情報処理装置１０００は、例えば、複数の撮像系を備える情報処理装置（例えば、可動式の複眼カメラ付き携帯電話）により実現される。
情報処理装置１０００は、第１筐体１０１０と、第２筐体１０２０と、回動部材１０２１とを備える。第２筐体１０２０は、表示部１４０を収める第１筐体１０１０に取り付けられている筐体であり、表示部１４０の短辺と平行（または、略平行）な回転軸を有する回転可能な筐体である。また、撮像部１０３０を構成する３つの撮像系（光学系１３１乃至１３３、撮像素子１３４乃至１３６）は、第２筐体１０２０の一面上に第２筐体１０２０の回転軸と平行（または、略平行）となる方向へ並べて配置される。このように、撮像部１０３０を可動式にして配置することにより、回動部材１０２１を回動軸とする１８０度の範囲内で、図８０に示す矢印１０２２、１０２３の方向に撮像部１０３０を回転させることができる。例えば、図８０のｂに示す状態の情報処理装置１０００をユーザが持っている場合には、ユーザは、表示部１４０を見ながら自分を含めた横長の画像を撮影することができる。また、例えば、撮像部１０３０の光軸を重力方向に平行（または、略平行）となる状態の情報処理装置１０００をユーザが持っている場合には、ユーザは、表示部１４０を見ながら、上側（例えば、空）を被写体とする横長の画像を撮影することもできる。
このように、複数の撮像系を備え、これらの撮像系が可動式に配置されている情報処理装置１０００に本技術の第１の実施の形態を適用することができる。なお、この例では、３個の撮像系が所定の規則に従って並べて配置されている例を示した。ただし、２または４以上の撮像系を備える情報処理装置（例えば、デジタルスチルカメラやデジタルビデオカメラ（例えば、カメラ一体型レコーダ）等の撮像装置）についても本技術の第１の実施の形態を適用することができる。２つの撮像系を一定の規則で並べて配置する例を図８１および図８２に示す。
図８１および図８２は、本技術の第３の実施の形態における情報処理装置１０５０の外観構成例を示す図である。
図８１および図８２には、２つの撮像系を備える撮像部１０８０が可動式に配置されている情報処理装置１０５０を示す。図８１のａには、情報処理装置１０５０の上面図を示し、図８１のｂには、情報処理装置１０５０の正面図を示す。また、図８１のｃには、情報処理装置１０５０の側面図を示し、図８１のｄには、情報処理装置１０５０の背面図を示す。また、図８１のｅには、情報処理装置１０５０の電子基板の配置例を示す。なお、図８１のａ乃至ｅは、図４９のａ乃至ｅに対応する。また、図４９に示す情報処理装置８２０に対応する部分については、同一の符号を付して示す。また、図８２のａには、情報処理装置１０５０の正面側の斜視図を示し、図８２のｂには、情報処理装置１０５０の背面側の斜視図を示す。
情報処理装置１０５０は、例えば、２つの撮像系を備える情報処理装置（例えば、可動式の複眼カメラ付き携帯電話）により実現される。
情報処理装置１０５０は、第１筐体１０６０と、第２筐体１０７０と、回動部材１０７１とを備える。第２筐体１０７０は、表示部１４０を収める第１筐体１０６０に取り付けられている筐体であり、表示部１４０の短辺と平行（または、略平行）な回転軸を有する回転可能な筐体である。また、撮像部１０８０を構成する２つの撮像系（光学系８３１、８３２、撮像素子８３３、８３４）は、第２筐体１０７０の一面上に第２筐体１０７０の回転軸と平行（または、略平行）となる方向へ並べて配置される。このように、撮像部１０８０を可動式にして配置することにより、回動部材１０７１を回動軸とする１８０度の範囲内で、図８２に示す矢印１０７２、１０７３の方向に撮像部１０８０を回転させることができる。これにより、例えば、図７９、図８０に示す例と同様に、ユーザは、表示部１４０を見ながらの自分を含めた横長の画像や、表示部１４０を見ながら上側（例えば、空）を被写体とする横長の画像の撮影を行うこともできる。
このように、２つの撮像系を備え、これらの撮像系が可動式に配置されている情報処理装置１０５０に本技術の第１の実施の形態を適用することができる。なお、図７９乃至図８２では、回動部材を回動軸として１８０度の範囲内で撮像部を回転させることが可能な情報処理装置の例を示した。ただし、回転範囲については、１８０度以外の範囲とするようにしてもよい。例えば、図８０のａに示す状態から矢印１０２２の方向に、回動部材１０７１を回動軸として９０度の範囲内で回転させることが可能となるように撮像部１０３０を配置するようにしてもよい。
なお、パノラマ画像を表示装置（内蔵表示装置または外部表示装置）に表示させることが可能な情報処理装置（電子機器、画像処理装置、表示装置、表示制御装置）に本技術の実施の形態を適用することができる。例えば、複眼式の撮像装置、デジタルフォトフレーム、タブレット端末、デジタルサイネージ端末（例えば、回転式）、ナビゲーション装置、パーソナルコンピュータ、携帯型メディアプレイヤー等の機器に適用することができる。また、撮像機能を有しない機器（例えば、撮像機能を有しないタブレット端末（例えば、Ｗｅｂ上のパノラマ画像を表示する機器））についても適用することができる。なお、複眼式の撮像装置は、例えば、複眼式のデジタルスチルカメラ、複眼式のデジタルビデオカメラ（例えば、カメラ一体型レコーダ）である。
また、本技術の実施の形態における表示方法については、複眼式の撮像装置以外の撮像装置についても適用することができる。例えば、広角レンズと撮像素子を備える単眼式の撮像装置（例えば、筐体の短辺方向に１６：９よりも横長のパノラマ画像を撮影することが可能な単眼カメラ）に適用することができる。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同ように、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。
なお、本技術は以下のような構成もとることができる。
（１）
横長の画像上の複数の領域に対応する複数の画像が表示部に表示されている場合に前記複数の画像のうちの少なくとも１つについて所定操作を受け付ける操作受付部と、
前記所定操作が受け付けられた場合には、前記複数の画像のそれぞれについて前記所定操作に応じた画像処理を施して当該画像処理が施された各画像を前記表示部に表示させる制御を行う表示制御部と
を具備する情報処理装置。
（２）
前記操作受付部は、前記表示部における前記複数の画像の表示領域以外の領域に前記横長の画像の全体を縮小した縮小画像が表示されている場合に前記複数の画像と前記縮小画像とのうちの少なくとも１つについて所定操作を受け付ける前記（１）に記載の情報処理装置。
（３）
前記操作受付部は、前記複数の画像のうちの少なくとも１つの表示倍率を変更するための変更操作を前記所定操作として受け付け、
前記表示制御部は、前記変更操作が受け付けられた場合には、前記複数の画像のそれぞれについて前記変更操作に応じた表示倍率となるように画像処理を施して当該画像処理が施された各画像を前記表示部に表示させる
前記（１）に記載の情報処理装置。
（４）
前記操作受付部は、前記複数の画像および前記縮小画像のうちの少なくとも１つを用いて表示倍率の変更を指示するための変更操作を前記所定操作として受け付け、
前記表示制御部は、前記変更操作が受け付けられた場合には、前記縮小画像については前記変更操作に応じた画像処理を施さず、前記複数の画像のそれぞれについては前記変更操作に応じた表示倍率となるように画像処理を施して当該画像処理が施された各画像を前記表示部に表示させる
前記（２）に記載の情報処理装置。
（５）
前記複数の画像は、前記横長の画像の長手方向における一端部の領域を含む第１画像と、前記横長の画像の長手方向における他の端部の領域を含む第２画像と、前記一端部および前記他の端部の間に存在する領域を含む画像である第３画像とを含み、
前記表示制御部は、前記変更操作が受け付けられた場合には、前記第３画像については前記第３画像内における位置を基準として前記第３画像を前記表示倍率にするための画像処理を施し、前記第１画像については前記一端部を基準として前記第１画像を前記表示倍率にするための画像処理を施し、前記第２画像については前記他の端部を基準として前記第２画像を前記表示倍率にするための画像処理を施す
前記（３）または（４）に記載の情報処理装置。
（６）
前記操作受付部は、前記複数の画像のうちの少なくとも１つに対応する領域の前記横長の画像上の位置を移動するための移動操作を前記所定操作として受け付け、
前記表示制御部は、前記変更操作が受け付けられた場合には、前記複数の画像に対応する各領域が前記移動操作に応じた位置となるように画像処理を施して当該画像処理が施された各画像を前記表示部に表示させる
前記（１）に記載の情報処理装置。
（７）
前記操作受付部は、前記表示部における前記複数の画像の表示領域以外の領域に前記横長の画像の全体を縮小した縮小画像が表示されている場合に前記縮小画像を用いた前記移動操作を受け付ける前記（６）に記載の情報処理装置。
（８）
前記複数の画像は、前記横長の画像の長手方向における両端部の領域を含む２つの画像である第１画像および第２画像と、前記両端部の間に存在する領域を含む画像である第３画像とを含み、
前記操作受付部は、前記横長の画像上の前記第３画像の位置を前記横長の画像の長手方向に移動するための第１移動操作、または、前記横長の画像上の前記第３画像の位置を前記長手方向と直交する方向に移動するための第２移動操作を前記移動操作として受け付け、
前記表示制御部は、前記第１移動操作が受け付けられた場合には、前記第１画像および前記第２画像については前記第１移動操作に応じた画像処理を施さず、前記第３画像については前記第３画像に対応する領域が前記第１移動操作に応じた位置となるように画像処理を施して当該画像処理が施された第３画像と当該画像処理が施されていない前記第１画像および前記第２画像とを前記表示部に表示させ、前記第２移動操作が受け付けられた場合には、前記第１乃至第３画像のそれぞれに対応する各領域が前記第２移動操作に応じた位置となるように画像処理を施して当該画像処理が施された各画像を前記表示部に表示させる
前記（６）に記載の情報処理装置。
（９）
前記複数の画像は、前記横長の画像の長手方向における両端部の領域を含む２つの画像である第１画像および第２画像と、前記両端部の間に存在する領域を含む画像である第３画像とを含み、
前記操作受付部は、前記縮小画像を用いた前記移動操作であって前記長手方向への移動を指示する第１移動操作、または、前記縮小画像を用いた前記移動操作であって前記長手方向と直交する方向への移動を指示する第２移動操作を受け付け、
前記表示制御部は、前記第１移動操作が受け付けられた場合には、前記第１画像と前記第２画像と前記縮小画像とについては前記第１移動操作に応じた画像処理を施さず、前記第３画像については前記第３画像に対応する領域が前記第１移動操作に応じた位置となるように画像処理を施して当該画像処理が施された第３画像と当該画像処理が施されていない前記第１画像と前記第２画像と前記縮小画像とを前記表示部に表示させ、前記第２移動操作が受け付けられた場合には、前記縮小画像については前記第２移動操作に応じた画像処理を施さず、前記第１乃至第３画像については前記第１乃至第３画像のそれぞれに対応する各領域が前記第２移動操作に応じた位置となるように画像処理を施して当該画像処理が施された各画像を前記表示部に表示させる
前記（７）に記載の情報処理装置。
（１０）
前記複数の画像は、前記横長の画像の長手方向における両端部の領域を含む２つの画像である第１画像および第２画像と、前記両端部の間に存在する領域を含む画像である第３画像とを含み、
前記操作受付部は、前記横長の画像上の前記第１画像または前記第２画像の位置を前記横長の画像の長手方向に移動するための第１移動操作、または、前記横長の画像上の前記第１画像または前記第２画像の位置を前記長手方向と直交する方向に移動するための第２移動操作を前記移動操作として受け付け、
前記表示制御部は、前記第１移動操作が受け付けられた場合には、前記第１移動操作が行われた前記第１画像または前記第２画像については当該画像に対応する領域が前記第１移動操作に応じた位置となるように画像処理を施して当該画像以外の他の画像については前記第１移動操作に応じた画像処理を施さず当該画像処理が施された画像と当該画像処理が施されていない画像とを前記表示部に表示させ、前記第２移動操作が受け付けられた場合には、前記第１乃至第３画像のそれぞれに対応する各領域が前記第２移動操作に応じた位置となるように画像処理を施して当該画像処理が施された各画像を前記表示部に表示させる
前記（６）に記載の情報処理装置。
（１１）
前記表示制御部は、前記複数の画像の表示領域以外の領域に、前記横長の画像の全体を縮小した全体画像を表示させ、前記複数の画像の表示領域を示す表示情報を前記全体画像上に重ねて表示させる前記（１）から（１０）のいずれかに記載の情報処理装置。
（１２）
前記表示制御部は、前記表示部の長辺が重力方向と略平行となる状態では、前記横長の画像上の複数の領域を、段状かつ前記表示部の長手方向において段数が複数となるように前記表示部に表示させる前記（１）から（１１）のいずれかに記載の情報処理装置。
（１３）
横長の画像上の複数の領域に対応する複数の画像を表示部に表示させる第１制御手順と、
前記複数の画像のうちの少なくとも１つについて所定操作が受け付けられた場合には、前記複数の画像のそれぞれについて前記所定操作に応じた画像処理を施して当該画像処理が施された各画像を前記表示部に表示させる第２制御手順と
を具備する情報処理方法。
（１４）
横長の画像上の複数の領域に対応する複数の画像を表示部に表示させる第１制御手順と、
前記複数の画像のうちの少なくとも１つについて所定操作が受け付けられた場合には、前記複数の画像のそれぞれについて前記所定操作に応じた画像処理を施して当該画像処理が施された各画像を前記表示部に表示させる第２制御手順と
をコンピュータに実行させるプログラム。
１１ アプリケーションプロセッサ
１２ デジタルベースバンド処理部
１３ アナログベースバンド処理部
１４ ＲＦ処理部
１５ 電池
１６ マイクロフォン
１７ スピーカ
１８ アンテナ
１００、８００、８２０、８４０ 情報処理装置
１０１、８１５ 電子基板
１０２、８１６ 電池格納部
１１１ 切替スイッチ
１１２ 決定キー
１３０、８３０ 撮像部
１３１〜１３３ 光学系
１３４〜１３６ 撮像素子
１３７〜１３９ ＤＳＰとのＩ／Ｆ
１４０ 表示部
１５０ 姿勢検出部
１６０ プログラムメモリ
１７０ 画像メモリ
１８０ 記録媒体
１９１ 第１の撮像系
１９２ 第２の撮像系
１９３ 第３の撮像系
２０１ 撮像制御部
２０２ ＣＰＵ
２０３ ＤＭＡコントローラ
２０４ データバス
２０５ プログラムメモリとのＩ／Ｆ
２０６ 画像メモリとのＩ／Ｆ
２０７ 電源制御部
２０８ 電源供給部
２０９ 電源供給部
２００ ＤＳＰ
２１０ 撮像素子とのＩ／Ｆ
２１１〜２１９ 画像バッファ
２２０ 画像信号処理部
２２１ 画素加算処理部
２２２ デモザイク処理部
２２３ ＹＣ変換処理部
２２４ 画像合成処理部
２２５ シャープネス処理部
２２６ 色調整処理部
２２７ ＲＧＢ変換処理部
２３１、２４１、２５１ 解像度変換部
２３２、２４２ 画像回転処理部
２３３ 表示部とのＩ／Ｆ
２４３ 外部表示装置とのＩ／Ｆ
２４５ 外部表示装置
２５２ 符号化部
２５３ 記録媒体とのＩ／Ｆ
２６１〜２６３ 発振子
２６４〜２６６ 発振回路
２７０ クロック生成回路
３４０ 垂直走査回路
３４５ 水平走査回路
５１０ 画像生成部
５２０ 画像メモリ
５３０ 記録制御部
５４０ 記憶部
５５０ 表示制御部
５６０ 操作受付部
８０１ 操作部
８０２ 回動部材
８１１ 第１筐体
８１２ 第２筐体

Claims (14)

  1. 横長の画像上の複数の領域に対応する複数の画像が表示部に表示されている場合に前記複数の画像のうちの少なくとも１つについて所定操作を受け付ける操作受付部と、
    前記所定操作が受け付けられた場合には、前記複数の画像のそれぞれについて前記所定操作に応じた画像処理を施して当該画像処理が施された各画像を前記表示部に表示させる制御を行う表示制御部と
    を具備する情報処理装置。
  2. 前記操作受付部は、前記表示部における前記複数の画像の表示領域以外の領域に前記横長の画像の全体を縮小した縮小画像が表示されている場合に前記複数の画像と前記縮小画像とのうちの少なくとも１つについて所定操作を受け付ける請求項１記載の情報処理装置。
  3. 前記操作受付部は、前記複数の画像のうちの少なくとも１つの表示倍率を変更するための変更操作を前記所定操作として受け付け、
    前記表示制御部は、前記変更操作が受け付けられた場合には、前記複数の画像のそれぞれについて前記変更操作に応じた表示倍率となるように画像処理を施して当該画像処理が施された各画像を前記表示部に表示させる
    請求項１記載の情報処理装置。
  4. 前記操作受付部は、前記複数の画像および前記縮小画像のうちの少なくとも１つを用いて表示倍率の変更を指示するための変更操作を前記所定操作として受け付け、
    前記表示制御部は、前記変更操作が受け付けられた場合には、前記縮小画像については前記変更操作に応じた画像処理を施さず、前記複数の画像のそれぞれについては前記変更操作に応じた表示倍率となるように画像処理を施して当該画像処理が施された各画像を前記表示部に表示させる
    請求項２記載の情報処理装置。
  5. 前記複数の画像は、前記横長の画像の長手方向における一端部の領域を含む第１画像と、前記横長の画像の長手方向における他の端部の領域を含む第２画像と、前記一端部および前記他の端部の間に存在する領域を含む画像である第３画像とを含み、
    前記表示制御部は、前記変更操作が受け付けられた場合には、前記第３画像については前記第３画像内における位置を基準として前記第３画像を前記表示倍率にするための画像処理を施し、前記第１画像については前記一端部を基準として前記第１画像を前記表示倍率にするための画像処理を施し、前記第２画像については前記他の端部を基準として前記第２画像を前記表示倍率にするための画像処理を施す
    請求項３または４の何れかに記載の情報処理装置。
  6. 前記操作受付部は、前記複数の画像のうちの少なくとも１つに対応する領域の前記横長の画像上の位置を移動するための移動操作を前記所定操作として受け付け、
    前記表示制御部は、前記変更操作が受け付けられた場合には、前記複数の画像に対応する各領域が前記移動操作に応じた位置となるように画像処理を施して当該画像処理が施された各画像を前記表示部に表示させる
    請求項１記載の情報処理装置。
  7. 前記操作受付部は、前記表示部における前記複数の画像の表示領域以外の領域に前記横長の画像の全体を縮小した縮小画像が表示されている場合に前記縮小画像を用いた前記移動操作を受け付ける請求項６記載の情報処理装置。
  8. 前記複数の画像は、前記横長の画像の長手方向における両端部の領域を含む２つの画像である第１画像および第２画像と、前記両端部の間に存在する領域を含む画像である第３画像とを含み、
    前記操作受付部は、前記横長の画像上の前記第３画像の位置を前記横長の画像の長手方向に移動するための第１移動操作、または、前記横長の画像上の前記第３画像の位置を前記長手方向と直交する方向に移動するための第２移動操作を前記移動操作として受け付け、
    前記表示制御部は、前記第１移動操作が受け付けられた場合には、前記第１画像および前記第２画像については前記第１移動操作に応じた画像処理を施さず、前記第３画像については前記第３画像に対応する領域が前記第１移動操作に応じた位置となるように画像処理を施して当該画像処理が施された第３画像と当該画像処理が施されていない前記第１画像および前記第２画像とを前記表示部に表示させ、前記第２移動操作が受け付けられた場合には、前記第１乃至第３画像のそれぞれに対応する各領域が前記第２移動操作に応じた位置となるように画像処理を施して当該画像処理が施された各画像を前記表示部に表示させる
    請求項６記載の情報処理装置。
  9. 前記複数の画像は、前記横長の画像の長手方向における両端部の領域を含む２つの画像である第１画像および第２画像と、前記両端部の間に存在する領域を含む画像である第３画像とを含み、
    前記操作受付部は、前記縮小画像を用いた前記移動操作であって前記長手方向への移動を指示する第１移動操作、または、前記縮小画像を用いた前記移動操作であって前記長手方向と直交する方向への移動を指示する第２移動操作を受け付け、
    前記表示制御部は、前記第１移動操作が受け付けられた場合には、前記第１画像と前記第２画像と前記縮小画像とについては前記第１移動操作に応じた画像処理を施さず、前記第３画像については前記第３画像に対応する領域が前記第１移動操作に応じた位置となるように画像処理を施して当該画像処理が施された第３画像と当該画像処理が施されていない前記第１画像と前記第２画像と前記縮小画像とを前記表示部に表示させ、前記第２移動操作が受け付けられた場合には、前記縮小画像については前記第２移動操作に応じた画像処理を施さず、前記第１乃至第３画像については前記第１乃至第３画像のそれぞれに対応する各領域が前記第２移動操作に応じた位置となるように画像処理を施して当該画像処理が施された各画像を前記表示部に表示させる
    請求項７記載の情報処理装置。
  10. 前記複数の画像は、前記横長の画像の長手方向における両端部の領域を含む２つの画像である第１画像および第２画像と、前記両端部の間に存在する領域を含む画像である第３画像とを含み、
    前記操作受付部は、前記横長の画像上の前記第１画像または前記第２画像の位置を前記横長の画像の長手方向に移動するための第１移動操作、または、前記横長の画像上の前記第１画像または前記第２画像の位置を前記長手方向と直交する方向に移動するための第２移動操作を前記移動操作として受け付け、
    前記表示制御部は、前記第１移動操作が受け付けられた場合には、前記第１移動操作が行われた前記第１画像または前記第２画像については当該画像に対応する領域が前記第１移動操作に応じた位置となるように画像処理を施して当該画像以外の他の画像については前記第１移動操作に応じた画像処理を施さず当該画像処理が施された画像と当該画像処理が施されていない画像とを前記表示部に表示させ、前記第２移動操作が受け付けられた場合には、前記第１乃至第３画像のそれぞれに対応する各領域が前記第２移動操作に応じた位置となるように画像処理を施して当該画像処理が施された各画像を前記表示部に表示させる
    請求項６記載の情報処理装置。
  11. 前記表示制御部は、前記複数の画像の表示領域以外の領域に、前記横長の画像の全体を縮小した全体画像を表示させ、前記複数の画像の表示領域を示す表示情報を前記全体画像上に重ねて表示させる請求項１乃至１０の何れかに記載の情報処理装置。
  12. 前記表示制御部は、前記表示部の長辺が重力方向と略平行となる状態では、前記横長の画像上の複数の領域を、段状かつ前記表示部の長手方向において段数が複数となるように前記表示部に表示させる請求項１乃至１１の何れかに記載の情報処理装置。
  13. 横長の画像上の複数の領域に対応する複数の画像を表示部に表示させる第１制御手順と、
    前記複数の画像のうちの少なくとも１つについて所定操作が受け付けられた場合には、前記複数の画像のそれぞれについて前記所定操作に応じた画像処理を施して当該画像処理が施された各画像を前記表示部に表示させる第２制御手順と
    を具備する情報処理方法。
  14. 横長の画像上の複数の領域に対応する複数の画像を表示部に表示させる第１制御手順と、
    前記複数の画像のうちの少なくとも１つについて所定操作が受け付けられた場合には、前記複数の画像のそれぞれについて前記所定操作に応じた画像処理を施して当該画像処理が施された各画像を前記表示部に表示させる第２制御手順と
    をコンピュータに実行させるプログラム。
JP2012270159A 2012-12-11 2012-12-11 情報処理装置、情報処理方法およびプログラム Pending JP2014115863A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012270159A JP2014115863A (ja) 2012-12-11 2012-12-11 情報処理装置、情報処理方法およびプログラム
CN201310648607.6A CN103873764A (zh) 2012-12-11 2013-12-04 信息处理装置、信息处理方法及程序
US14/096,139 US20140160233A1 (en) 2012-12-11 2013-12-04 Information processing apparatus, information processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012270159A JP2014115863A (ja) 2012-12-11 2012-12-11 情報処理装置、情報処理方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2014115863A true JP2014115863A (ja) 2014-06-26

Family

ID=50880524

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012270159A Pending JP2014115863A (ja) 2012-12-11 2012-12-11 情報処理装置、情報処理方法およびプログラム

Country Status (3)

Country Link
US (1) US20140160233A1 (ja)
JP (1) JP2014115863A (ja)
CN (1) CN103873764A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016146098A (ja) * 2015-02-09 2016-08-12 株式会社リコー 映像表示システム、情報処理装置、映像表示方法、映像表示プログラム、映像処理装置、映像処理方法および映像処理プログラム
JP2016164783A (ja) * 2016-03-22 2016-09-08 株式会社リコー 映像表示システム、情報処理装置、映像表示方法および映像表示プログラム
JP2017107549A (ja) * 2016-11-02 2017-06-15 株式会社リコー プログラム、方法、情報処理装置および映像表示システム
WO2017149875A1 (ja) * 2016-02-29 2017-09-08 ソニー株式会社 撮像制御装置、撮像装置及び撮像制御方法
JP2018107713A (ja) * 2016-12-27 2018-07-05 キヤノン株式会社 撮像制御装置及びその制御方法

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102124188B1 (ko) 2013-03-13 2020-06-26 삼성전자주식회사 이미지를 처리하는 전자장치 및 방법
EP2779629B1 (en) * 2013-03-13 2018-12-26 Samsung Electronics Co., Ltd. Electronic device and method for processing image
WO2016015623A1 (en) * 2014-07-28 2016-02-04 Mediatek Inc. Portable device with adaptive panoramic image processor
US10116833B2 (en) * 2014-09-12 2018-10-30 Sony Semiconductor Solutions Corporation Image processing device, image processing method and program for animation display
GB2533625B (en) * 2014-12-23 2021-07-28 Micro Nav Ltd Visual Display Systems
CN106152876B (zh) * 2015-04-15 2018-06-19 信泰光学(深圳)有限公司 弹道预测系统
US10467728B2 (en) * 2015-05-20 2019-11-05 Sony Corporation Image processing apparatus and image processing method, and image pickup element and image pickup apparatus
KR101728045B1 (ko) * 2015-05-26 2017-04-18 삼성전자주식회사 의료 영상 디스플레이 장치 및 의료 영상 디스플레이 장치가 사용자 인터페이스를 제공하는 방법
CN105979242A (zh) * 2015-11-23 2016-09-28 乐视网信息技术（北京）股份有限公司 一种视频的播放方法和装置
CN107026973B (zh) * 2016-02-02 2020-03-13 株式会社摩如富 图像处理装置、图像处理方法与摄影辅助器材
JP6765956B2 (ja) 2016-12-27 2020-10-07 キヤノン株式会社 撮像制御装置及びその制御方法
JP6808480B2 (ja) 2016-12-27 2021-01-06 キヤノン株式会社 撮像制御装置及びその制御方法
JP6833505B2 (ja) 2016-12-27 2021-02-24 キヤノン株式会社 撮像制御装置及びその制御方法
JP6808529B2 (ja) 2017-02-14 2021-01-06 キヤノン株式会社 撮像装置及びその制御方法
JP6914669B2 (ja) * 2017-02-14 2021-08-04 キヤノン株式会社 撮像装置及びその制御方法
CN106993138B (zh) * 2017-04-25 2020-03-13 努比亚技术有限公司 时间渐变图像拍摄装置及方法
JP7075252B2 (ja) * 2018-03-23 2022-05-25 キヤノン株式会社 情報処理装置およびその制御方法、プログラム
JP7229689B2 (ja) * 2018-07-23 2023-02-28 キヤノン株式会社 電子機器及びその制御方法、プログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016146098A (ja) * 2015-02-09 2016-08-12 株式会社リコー 映像表示システム、情報処理装置、映像表示方法、映像表示プログラム、映像処理装置、映像処理方法および映像処理プログラム
US10212351B2 (en) 2015-02-09 2019-02-19 Ricoh Company, Ltd. Image display system, information processing apparatus, image display method, image display program, image processing apparatus, image processing method, and image processing program
US10931878B2 (en) 2015-02-09 2021-02-23 Ricoh Company, Ltd. System, apparatus, method, and program for displaying wide view image
US11290651B2 (en) 2015-02-09 2022-03-29 Ricoh Company, Ltd. Image display system, information processing apparatus, image display method, image display program, image processing apparatus, image processing method, and image processing program
WO2017149875A1 (ja) * 2016-02-29 2017-09-08 ソニー株式会社 撮像制御装置、撮像装置及び撮像制御方法
US10582127B2 (en) 2016-02-29 2020-03-03 Sony Corporation Image processing device, display device, reproduction control method, and image processing system
JP2016164783A (ja) * 2016-03-22 2016-09-08 株式会社リコー 映像表示システム、情報処理装置、映像表示方法および映像表示プログラム
JP2017107549A (ja) * 2016-11-02 2017-06-15 株式会社リコー プログラム、方法、情報処理装置および映像表示システム
JP2018107713A (ja) * 2016-12-27 2018-07-05 キヤノン株式会社 撮像制御装置及びその制御方法

Also Published As

Publication number Publication date
US20140160233A1 (en) 2014-06-12
CN103873764A (zh) 2014-06-18

Similar Documents

Publication Publication Date Title
JP2014115863A (ja) 情報処理装置、情報処理方法およびプログラム
JP5526921B2 (ja) 撮像装置、電子機器および表示制御方法
JP5593772B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5435104B2 (ja) 情報処理装置、表示装置および情報処理装置の制御方法
JP2020162139A (ja) 撮像装置およびその設定画面
JP5423235B2 (ja) 撮像装置
JP4715913B2 (ja) 撮像装置、画像処理装置、ズーム制御方法およびズーム制御プログラム
JP4985808B2 (ja) 撮像装置、及びプログラム
JP6302564B2 (ja) 動画編集装置、動画編集方法及び動画編集プログラム
US20130040700A1 (en) Image capture device and image capture method
JP6727989B2 (ja) 画像処理装置およびその制御方法
JP2014230051A (ja) 情報処理装置、情報処理方法およびプログラム
JP4748442B2 (ja) 撮像装置及びそのプログラム
JP2005229291A (ja) 画像記録装置及び撮像装置並びに画像ファイル保存方法
JP2005295418A (ja) 撮像装置および撮像表示方法
JP2014082768A (ja) 撮像装置およびその制御方法
JP6643008B2 (ja) 画像処理装置、その制御方法、および制御プログラム、並びに記憶媒体
JP2015126389A (ja) 撮像装置およびその制御方法
JP5637298B2 (ja) 情報処理装置、電子機器および表示制御方法
JP4678273B2 (ja) 撮像装置、動画記憶方法および動画記憶プログラム
JP2012165405A (ja) 撮像装置、及びプログラム
JP5003803B2 (ja) 画像出力装置、および、プログラム
JP2006229267A (ja) デジタルカメラ、動画編集方法、及びプログラム