JP2011044837A - 撮像装置、その制御方法およびプログラム - Google Patents

撮像装置、その制御方法およびプログラム Download PDF

Info

Publication number
JP2011044837A
JP2011044837A JP2009190659A JP2009190659A JP2011044837A JP 2011044837 A JP2011044837 A JP 2011044837A JP 2009190659 A JP2009190659 A JP 2009190659A JP 2009190659 A JP2009190659 A JP 2009190659A JP 2011044837 A JP2011044837 A JP 2011044837A
Authority
JP
Japan
Prior art keywords
image
imaging
data
pixel
reading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009190659A
Other languages
English (en)
Other versions
JP2011044837A5 (ja
JP5423235B2 (ja
Inventor
Minoru Ishida
実 石田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009190659A priority Critical patent/JP5423235B2/ja
Priority to CN201410147988.4A priority patent/CN104023169A/zh
Priority to CN201010256083.2A priority patent/CN101998041B/zh
Priority to US12/858,062 priority patent/US8576321B2/en
Publication of JP2011044837A publication Critical patent/JP2011044837A/ja
Publication of JP2011044837A5 publication Critical patent/JP2011044837A5/ja
Priority to US14/036,741 priority patent/US9071753B2/en
Application granted granted Critical
Publication of JP5423235B2 publication Critical patent/JP5423235B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/7795—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Structure And Mechanism Of Cameras (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Image Processing (AREA)

Abstract

【課題】ユーザ好みの画像を容易に撮影する。
【解決手段】撮像部１３０は、縦長の第１の撮像画像と、この両側の被写体を含む横長の第２および３の撮像画像とのそれぞれを互いに異なる撮像素子により生成する。回動状態検出部１５０は、携帯電話装置１００の表示部１４０の回動状態を検出する。ＤＳＰ２００（撮像制御部２０１）は、撮像部１３０により生成される第１乃至３の撮像画像のうち、表示または記録の対象となる対象画像の範囲を、表示部１４０の回動状態に基づいて決定する。例えば、表示部１４０が横長状態である場合には、第１乃至３の撮像画像の全てを用いて行う複眼撮像動作に切り替える。また、表示部１４０が縦長状態である場合には、第１の撮像画像のみを用いて行う単眼撮像動作に切り替える。
【選択図】図２

Description

本発明は、撮像装置に関し、特に、複数の撮像系を備える撮像装置、および、その制御方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
近年、人物等の被写体を撮像する撮像系を備え、この撮像系により生成された画像（撮像画像）を画像ファイルとして記録するデジタルスチルカメラ、デジタルビデオカメラ（例えば、カメラ一体型レコーダ）等の撮像装置が普及している。
また、複数の撮像系を備え、これらの撮像系により生成された画像を合成することによりパノラマ画像を生成することが可能な撮像装置が提案されている。例えば、３つの撮像系を備え、各撮像系から出力された画像を並べて合成することによりパノラマ画像を生成する撮像装置が提案されている（例えば、特許文献１参照。）。
特開２００７−１６６３１７号公報（図６）
上述の従来技術によれば、パノラマ画像の撮影を容易に行うことができる。このため、例えば、旅行先の観光地において、有名な建物を背景にして複数の人物が点在している状態を構図として撮影する場合でも、これらの各人物を含むパノラマ画像の撮影を容易に行うことができる。また、例えば、上述したパノラマ画像に含まれる被写体のうち、中央付近に位置する人物と、この人物の背景に存在する高い建物とを含む構図で撮影することを所望するユーザも想定される。この場合には、例えば、垂直方向に長い画像となるように、光軸を回転中心として撮像装置を９０度回転させて撮影を行うことにより、その所望の構図で撮影を行うことができる。
ここで、上述したパノラマ画像および垂直方向に長い画像を撮影する場合を想定する。この場合には、例えば、パノラマ画像を撮影した後に、撮像装置を９０度回転させて、垂直方向に長い画像を撮影することができる。しかしながら、例えば、撮像装置の扱いに不慣れな者にとっては、パノラマ画像の撮影後に撮像装置を９０度回転させて、所望の構図とすることが困難であることが想定される。例えば、上述したように、旅行先の観光地において撮影を行うような場合には、各人物が移動してしまうことがあるため、撮影タイミングが重要となる。しかしながら、撮像装置を回転させた後に所望の構図とするための時間が長いと、撮影タイミングを逃してしまうおそれがある。
本発明はこのような状況に鑑みてなされたものであり、ユーザ好みの画像を容易に撮影することを目的とする。
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、被写体の特定方向を長手方向とする第１の撮像画像と、上記特定方向に直交する直交方向を長手方向とする撮像画像であって上記第１の撮像画像に含まれる被写体の上記直交方向の一方に隣接する被写体を含む第２の撮像画像と、上記直交方向を長手方向とする撮像画像であって上記第１の撮像画像に含まれる被写体の上記直交方向の他方に隣接する被写体を含む第３の撮像画像とのそれぞれを互いに異なる撮像素子により生成する撮像部と、撮像装置の状態を検出する検出部と、上記撮像部により生成される上記第１乃至３の撮像画像のうち表示または記録の対象となる対象画像の範囲を上記検出された状態に基づいて決定する制御部とを具備する撮像装置およびその制御方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、撮像部により生成される第１乃至３の撮像画像のうち、表示または記録の対象となる対象画像の範囲を、検出された撮像装置の状態に基づいて決定するという作用をもたらす。
また、この第１の側面において、上記撮像部を備える第１の筐体と、上記対象画像を表示する表示部を備える第２の筐体と、上記第１の筐体と上記第２の筐体とを回動可能に連結する回動部材とをさらに具備し、上記検出部は、上記撮像装置の状態として上記第１の筐体に対する上記第２の筐体の回動状態を検出するようにしてもよい。これにより、撮像装置の状態として、第１の筐体に対する第２の筐体の回動状態を検出するという作用をもたらす。
また、この第１の側面において、上記検出部は、上記撮像装置の状態として上記表示部の長手方向と上記第１の撮像画像を生成する第１の撮像素子の長手方向とが略平行となる第１の特定状態を検出し、上記制御部は、上記第１の特定状態が検出された場合には上記第１の撮像画像のみを上記対象画像として用いることを決定するようにしてもよい。これにより、第１の特定状態が検出された場合には、第１の撮像画像のみを対象画像として用いることを決定するという作用をもたらす。
また、この第１の側面において、上記制御部は、上記第１の特定状態が検出された場合には上記第１の撮像画像の全てを上記対象画像として用いることを決定するようにしてもよい。これにより、第１の特定状態が検出された場合には、第１の撮像画像の全てを対象画像として用いるという作用をもたらす。
また、この第１の側面において、上記検出部は、上記撮像装置の状態として上記表示部の長手方向と直交する直交方向と上記第１の撮像画像を生成する第１の撮像素子の長手方向とが略平行となる第２の特定状態を検出し、上記制御部は、上記第２の特定状態が検出された場合には上記第１乃至３の撮像画像を上記対象画像として用いることを決定するようにしてもよい。これにより、第２の特定状態が検出された場合には、第１乃至３の撮像画像を対象画像として用いることを決定するという作用をもたらす。
また、この第１の側面において、上記制御部は、上記第２の特定状態が検出された場合には上記第１の撮像画像の一部と上記第２および３の撮像画像とを合成して生成される合成画像を上記対象画像として用いることを決定するようにしてもよい。これにより、第２の特定状態が検出された場合には、第１の撮像画像の一部と、第２および３の撮像画像とを合成して生成される合成画像を対象画像として用いることを決定するという作用をもたらす。
また、この第１の側面において、上記回動部材は、上記第１の筐体の一の面と上記第２の筐体の一の面とが対向するように連結し、上記第１の筐体の一の面の反対側の面には、上記撮像部を構成する各撮像素子のそれぞれに対応するレンズ群が並べて配置され、上記第２の筐体の一の面の反対側の面には、上記表示部が備えられるようにしてもよい。これにより、撮像部により生成された撮像画像を、その反対側の面に備えられる表示部に表示させるという作用をもたらす。
また、この第１の側面において、上記回動部材は、上記表示部における表示面と上記第１の撮像画像を生成する第１の撮像素子に対応する上記レンズ群に係る光軸方向とが略垂直となるように上記第１の筐体および上記第２の筐体を連結するようにしてもよい。これにより、表示部に対して略垂直となる光軸方向に存在する被写体を含む第１の撮像画像を生成するという作用をもたらす。
また、この第１の側面において、上記第１の撮像画像の一部と上記第２および３の撮像画像とを合成して合成画像を生成する画像合成部をさらに具備し、上記制御部は、上記検出された状態が特定状態である場合には上記対象画像として上記合成画像を用いることを決定するようにしてもよい。これにより、検出された撮像装置の状態が特定状態である場合には、対象画像として合成画像を用いることを決定するという作用をもたらす。
また、この第１の側面において、上記画像合成部は、上記合成画像として略長方形の画像を生成するようにしてもよい。これにより、合成画像として略長方形の画像を生成するという作用をもたらす。
また、この第１の側面において、上記制御部は、上記検出された状態に基づいて上記撮像部を構成する複数の撮像素子を用いて行う複眼撮像動作と上記第１の撮像画像を生成する第１の撮像素子のみを用いて行う単眼撮像動作とを切り替えて上記対象画像の範囲を決定するようにしてもよい。これにより、記検出された撮像装置の状態に基づいて、複眼撮像動作と、単眼撮像動作とを切り替えて対象画像の範囲を決定するという作用をもたらす。
また、この第１の側面において、上記制御部は、上記単眼撮像動作に切り替えた場合には上記第２および３の撮像画像を生成する撮像素子の動作を停止させるようにしてもよい。これにより、単眼撮像動作に切り替えた場合には、第２および３の撮像画像を生成する撮像素子の動作を停止させるという作用をもたらす。
また、この第１の側面において、上記制御部は、上記複眼撮像動作に切り替えた場合には上記複眼撮像動作に所定の周波数のクロックを使用し、上記単眼撮像動作に切り替えた場合には上記単眼撮像動作に上記所定の周波数よりも低い周波数のクロックを使用することを決定するようにしてもよい。これにより、複眼撮像動作に切り替えた場合には、複眼撮像動作に所定の周波数のクロックを使用し、単眼撮像動作に切り替えた場合には、単眼撮像動作にその周波数よりも低い周波数のクロックを使用することを決定するという作用をもたらす。
また、この第１の側面において、上記制御部は、上記第１の筐体に対する上記第２の筐体の回動状態が特定状態である場合には上記対象画像を回転処理させて上記表示部に表示させるようにしてもよい。これにより、第１の筐体に対する第２の筐体の回動状態が特定状態である場合には、対象画像を回転処理させて表示部に表示させるという作用をもたらす。
また、本発明の第２の側面は、被写体の特定方向を長手方向とする第１の撮像画像と、上記特定方向に直交する直交方向を長手方向とする撮像画像であって上記第１の撮像画像に含まれる被写体の上記直交方向の一方に隣接する被写体を含む第２の撮像画像と、上記直交方向を長手方向とする撮像画像であって上記第１の撮像画像に含まれる被写体の上記直交方向の他方に隣接する被写体を含む第３の撮像画像とのそれぞれを互いに異なる撮像素子により生成する撮像部と、撮像範囲の変更を指示する指示操作を受け付ける操作受付部と、上記撮像部により生成される第１乃至３の撮像画像のうち表示または記録の対象となる対象画像の範囲を上記受け付けられた指示操作に基づいて決定する制御部とを具備する撮像装置およびその制御方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、撮像部により生成される第１乃至３の撮像画像のうち、表示または記録の対象となる対象画像の範囲を、受け付けられた指示操作に基づいて決定するという作用をもたらす。
本発明によれば、ユーザ好みの画像を容易に撮影することができるという優れた効果を奏し得る。
本発明の第１の実施の形態における携帯電話装置１００の外観構成例を示す図である。 本発明の第１の実施の形態における携帯電話装置１００の内部構成例を示す図である。 本発明の第１の実施の形態における撮像部１３０の内部構成例を示す図である。 本発明の第１の実施の形態における撮像部１３０を構成する撮像素子１３４乃至１３６の配置構成例を示す図である。 本発明の第１の実施の形態における撮像素子１３４乃至１３６に結像される像と、画像データの読出方法との関係を示す図である。 本発明の第１の実施の形態における撮像素子１３４乃至１３６に結像される像と、画像データの読出方法との関係を示す図である。 本発明の第１の実施の形態におけるＤＳＰ２００の内部構成例を示すブロック図である。 本発明の第１の実施の形態における画像信号処理部２２０の内部構成例を示すブロック図である。 本発明の第１の実施の形態におけるクロック生成回路２７０の内部構成例を示すブロック図である。 本発明の第１の実施の形態におけるクロック生成回路２７０の変形例を示すブロック図である。 本発明の第１の実施の形態におけるクロック生成回路２７０の変形例を示すブロック図である。 本発明の第１の実施の形態における撮像素子の内部構成例を示す図である。 本発明の第１の実施の形態における撮像素子１３４が備えるレジスタ３７０および３８０の保持内容を模式的に示す図である。 本発明の第１の実施の形態における撮像素子１３４における各画素への制御信号と、これらの各画素から出力されるデータとの様子を模式的に表すタイミングチャートである。 本発明の第１の実施の形態における撮像素子１３４における各画素への制御信号と、これらの各画素から出力されるデータとの様子を模式的に表すタイミングチャートである。 本発明の第１の実施の形態における撮像素子１３４における各画素への制御信号と、これらの各画素から出力されるデータとの様子を模式的に表すタイミングチャートである。 本発明の第１の実施の形態における撮像素子１３４の間引きを行うための走査回路の一例を模式的に示す図である。 本発明の第１の実施の形態における撮像部１３０および被写体との関係を示す図である。 本発明の第１の実施の形態における撮像部１３０における撮像系と、これらの撮像対象となる被写体との関係を模式的に示す図である。 本発明の第１の実施の形態における撮像部１３０における撮像系と、これらの撮像対象となる被写体との関係を模式的に示す図である。 本発明の第１の実施の形態における撮像部１３０における撮像系と、これらにより生成される撮像画像との関係を模式的に示す図である。 本発明の第１の実施の形態における撮像部１３０における撮像系と、これらの撮像対象となる被写体との関係を模式的に示す図である。 本発明の第１の実施の形態における撮像部１３０における撮像系と、これらにより生成された撮像画像および補正後の補正画像との関係を模式的に示す図である。 本発明の第１の実施の形態における画像合成処理部２２４が合成画像を生成する場合における合成の流れを模式的に示す図である。 本発明の第１の実施の形態における画像合成処理部２２４が合成画像を生成する場合における合成の流れを模式的に示す図である。 本発明の第１の実施の形態における画像合成処理部２２４が合成画像を生成する場合における合成の流れを模式的に示す図である。 本発明の第１の実施の形態における携帯電話装置１００による撮像処理の撮像対象となる被写体５００を示す図である。 本発明の第１の実施の形態における撮像素子１３４乃至１３６における画像データの読出方法の一例（第１の読出方法）を模式的に示す図である。 本発明の第１の実施の形態における表示部１４０における画像の表示例を示す図である。 本発明の第１の実施の形態における撮像素子１３４乃至１３６における画像データの読出方法の一例（第２の読出方法）を模式的に示す図である。 本発明の第１の実施の形態における表示部１４０における画像の表示例を示す図である。 本発明の第１の実施の形態における撮像素子１３４乃至１３６における画像データの読出方法の一例（第３の読出方法）を模式的に示す図である。 本発明の第１の実施の形態における表示部１４０における画像の表示例を示す図である。 本発明の第１の実施の形態における撮像素子１３４乃至１３６における画像データの読出方法の一例（第４の読出方法）を模式的に示す図である。 本発明の第１の実施の形態における表示部１４０における画像の表示例を示す図である。 本発明の第１の実施の形態における撮像素子１３４乃至１３６における画像データの読出方法の一例（第５の読出方法）を模式的に示す図である。 本発明の第１の実施の形態における表示部１４０における画像の表示例を示す図である。 本発明の第１の実施の形態における表示部１４０における画像の表示例を示す図である。 本発明の第１の実施の形態における表示部１４０に表示される画像を回転させる回転処理を模式的に示す図である。 本発明の第１の実施の形態における表示部１４０における画像の表示例を示す図である。 本発明の第１の実施の形態における表示部１４０における画像の表示例を示す図である。 本発明の第１の実施の形態における表示部１４０における画像の表示例を示す図である。 本発明の第１の実施の形態における撮像素子１３４により画素間引きおよび画素加算が行われた場合における画像データの流れを模式的に示す図である。 本発明の第１の実施の形態における画素加算処理部２２１により画素数を変更する場合における画像データの流れを模式的に示す図である。 本発明の第１の実施の形態における画像メモリ１７０から画像データを読み出す際に画素数を変更する場合における画像データの流れを模式的に示す図である。 本発明の第１の実施の形態における撮像素子１３４により読出領域を変化させる場合における画像データの流れを模式的に示す図である。 本発明の第１の実施の形態における画像メモリ１７０から画像データを読み出す際に読出領域を変化させる場合における画像データの流れを模式的に示す図である。 本発明の第１の実施の形態における携帯電話装置１００の機能構成例を示すブロック図である。 本発明の第１の実施の形態における携帯電話装置１００の機能構成例を示すブロック図である。 本発明の第１の実施の形態における撮像系の動作を停止させるための制御方法と、各信号線との関係を示す図である。 本発明の第１の実施の形態における撮像素子からの出力タイミングと、画像バッファへの書込みの様子を模式的に表すタイミングチャートである。 本発明の第１の実施の形態における撮像素子における各画素の読み出しおよび画像バッファへの書き込むためのクロック周波数と、画像バッファから画像データを読み出すためのクロック周波数との関係を示す図である。 本発明の第１の実施の形態における撮像素子における各画素の読み出しおよび画像バッファへの書き込むためのクロック周波数と、画像バッファから画像データを読み出すためのクロック周波数との関係を示す図である。 本発明の第１の実施の形態における撮像素子における各画素の読み出しおよび画像バッファへの書き込むためのクロック周波数と、画像バッファから画像データを読み出すためのクロック周波数との関係を示す図である。 本発明の第１の実施の形態における撮像素子１３４により生成された画像データの流れを模式的に示す図である。 本発明の第１の実施の形態におけるデータバス２０４を占有する処理と時間との関係を模式的に示す図である。 本発明の第１の実施の形態における携帯電話装置１００の各撮像動作についてデータバス２０４の動作周波数を決定するためのパラメータを示す図である。 本発明の第１の実施の形態における携帯電話装置１００の各撮像動作についてデータバス２０４の動作周波数を決定するためのパラメータの一例を示す図である。 本発明の第１の実施の形態における画像信号処理部２２０により行われる時分割処理を模式的に示す図である。 本発明の第１の実施の形態における画像信号処理部２２０により行われる時分割処理を模式的に示す図である。 本発明の第１の実施の形態における携帯電話装置１００の静止画記録動作についてデータバス２０４の動作周波数を決定するためのパラメータの一例を示す図である。 本発明の第１の実施の形態における携帯電話装置１００の動画記録動作についてデータバス２０４の動作周波数を決定するためのパラメータの一例を示す図である。 本発明の第１の実施の形態における画像バッファ２１１乃至２１９への書き込みタイミングと、ＤＳＰ２００内部へ取り込みタイミングとの様子を模式的に表すタイミングチャートである。 本発明の第１の実施の形態における画像バッファ２１１乃至２１９への書き込みタイミングと、ＤＳＰ２００内部へ取り込みタイミングとの様子を模式的に表すタイミングチャートである。 本発明の第１の実施の形態における携帯電話装置１００による撮像制御処理の処理手順を示すフローチャートである。 本発明の第１の実施の形態における携帯電話装置１００による撮像制御処理の処理手順のうちの横長状態撮像処理を示すフローチャートである。 本発明の第１の実施の形態における携帯電話装置１００による撮像制御処理の処理手順のうちの静止画撮像処理を示すフローチャートである。 本発明の第１の実施の形態における携帯電話装置１００による撮像制御処理の処理手順のうちの動画撮像処理を示すフローチャートである。 本発明の第１の実施の形態における携帯電話装置１００による撮像制御処理の処理手順のうちの縦長状態撮像処理を示すフローチャートである。 本発明の第１の実施の形態における携帯電話装置１００の変形例を示す図である。 本発明の第１の実施の形態における携帯電話装置１００の変形例を示す図である。 本発明の第２の実施の形態における撮像装置１０００の外観構成を示す図である。
以下、本発明を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（撮像制御：携帯電話装置において単眼撮像動作および複眼撮像動作を行う例）
２．第２の実施の形態（撮像制御：撮像装置において単眼撮像動作および複眼撮像動作を行う例）
＜１．第１の実施の形態＞
［携帯電話装置の外観構成例］
図１は、本発明の第１の実施の形態における携帯電話装置１００の外観構成例を示す図である。図１（ａ）には、携帯電話装置１００を使用する際における一態様の正面側を示し、図１（ｂ）には、その態様における背面側を示す。また、図１（ｃ）には、携帯電話装置１００を使用する際における他の態様の正面側を示し、図１（ｄ）には、その態様における背面側を示す。
携帯電話装置１００は、第１の筐体１１０および第２の筐体１２０を備える。また、第１の筐体１１０および第２の筐体１２０は、回動部材１０１を回動基準として回動可能に連結されている。携帯電話装置１００は、例えば、複数の撮像機能を備える携帯電話装置（いわゆる、カメラ付き携帯電話装置）により実現される。なお、図１では、説明の容易のため、携帯電話装置１００を簡略化して示し、携帯電話装置１００の外側面に備えられている電源スイッチ等の図示を省略する。
第１の筐体１１０は、撮像範囲切替スイッチ１１１と、静止画／動画切替スイッチ１１２と、テンキー１１３と、決定キー１１４と、十字キー１１５と、撮像部１３０とを備える。ここで、ユーザが手に持って携帯電話装置１００を使用する場合に、携帯電話装置１００の何れかの部分を手で握ることが必要となる。例えば、通常時には、第１の筐体１１０（いわゆる、本体筐体）の何れかの部分をユーザが手で握った状態で携帯電話装置１００が使用されることが多い。
撮像範囲切替スイッチ１１１は、撮像部１３０により画像データを生成する際における撮像範囲を切り替えるための操作部材であり、ユーザ操作により押下される毎に、撮像範囲が順次切替えられる。なお、この撮像範囲の切り替えについては、図２８乃至図４２を参照して詳細に説明する。また、撮像範囲切替スイッチ１１１は、特許請求の範囲に記載の操作受付部の一例である。
静止画／動画切替スイッチ１１２は、静止画を記録するための静止画撮像モードと、動画を記録するための動画撮像モードとの何れかの撮像モードに切替える際に用いられる操作部材である。撮像範囲切替スイッチ１１１および静止画／動画切替スイッチ１１２は、いわゆる、トグルスイッチである。
テンキー１１３は、数字や記号等を入力するための操作部材である。
決定キー１１４は、ユーザによる各種機能を設定する際等に押下される操作部材である。例えば、静止画撮像モードが設定されている場合に押下されると、シャッターボタンとして機能する。
十字キー１１５は、表示画面に表示されている各項目の選択状態を変更する場合や表示画面に表示されている対象物を上下左右方向に移動させる場合等に押下される操作キーである。
撮像部１３０は、被写体を撮像して画像データを生成するものである。なお、図１（ａ）では、図１（ｂ）に示す撮像部１３０に対応する正面側の位置に点線を付して示す。また、図１（ｂ）に示す撮像部１３０における丸は、撮像部１３０が備える複数の撮像系の各レンズを模式的に表すものである。すなわち、本発明の第１の実施の形態では、３個のレンズ群が特定方向に並べて配置されている撮像部１３０を例にして説明する。ここで、特定方向は、例えば、第１の筐体１１０の長手方向を垂直方向と一致させた場合における水平方向とすることができる。
第２の筐体１２０は表示部１４０を備える。表示部１４０は、各種画像を表示する表示装置である。表示部１４０には、例えば、撮像動作により生成された画像が、モニタリング画像として表示される。表示部１４０として、例えば、ＬＣＤ（Liquid Crystal Display）パネル、有機ＥＬ（Electro Luminescence）パネル等を用いることができる。ここで、カメラ付き携帯電話装置や一般的な撮像装置が備える表示装置の横対縦の比は、４：３または１６：９であることが多い。そこで、本発明の第１の形態では、第２の筐体１２０の長手方向を水平方向と一致させた場合における表示部１４０の横対縦の比を４：３とする例について説明する。
上述したように、第１の筐体１１０および第２の筐体１２０は回動可能に連結されている。すなわち、回動部材１０１（点線で示す）を回動基準として、第１の筐体１１０に対して第２の筐体１２０を回動させることができる。これにより、第１の筐体１１０に対する第２の筐体１２０の相対的な位置関係を変化させることができる。例えば、図１（ａ）および（ｂ）に示す矢印１０２方向に第２の筐体１２０を９０度回動させた場合における態様を図１（ｃ）および（ｄ）に示す。
なお、図１（ｃ）および（ｄ）に示す携帯電話装置１００は、回動部材１０１を回動基準として、第１の筐体１１０に対して第２の筐体１２０を９０度回動させた点以外は、図１（ａ）および（ｂ）に示す例と同一である。また、図１（ｃ）および（ｄ）に示す状態で、第２の筐体１２０を矢印１０３方向にさらに９０度回動させると、未使用状態（いわゆる、閉じた状態）となる。このように、第１の筐体１１０に対して第２の筐体１２０を回動させることにより、第１の筐体１１０に対する第２の筐体１２０の相対的な位置関係として、少なくとも２以上の位置関係を取り得ることができる。なお、回動部材１０１を回動基準として、矢印１０２方向の反対方向に第２の筐体１２０を回動させることも可能であるが、本発明の第１の実施の形態では、これらの各形態の図示および説明は省略する。
ここで、図１（ａ）および（ｂ）に示すように、第１の筐体１１０の長手方向および第２の筐体１２０の長手方向を同一方向とし、表示部１４０およびテンキー１１３が回動部材１０１を挟んで対向する状態を、第２の筐体１２０の縦長状態と称する。また、この状態で、第１の筐体１１０および第２の筐体１２０の長手方向を垂直方向と一致させた場合における撮像動作を縦長撮像動作と称する。
また、図１（ｃ）および（ｄ）に示すように、第１の筐体１１０の長手方向および第２の筐体１２０の長手方向が略直交する状態を、第２の筐体１２０の横長状態と称する。また、この状態で、第１の筐体１１０の長手方向を垂直方向と一致させ、第２の筐体１２０の長手方向を水平方向と一致させた場合における撮像動作を横長撮像動作と称する。
［携帯電話装置の内部構成例］
図２は、本発明の第１の実施の形態における携帯電話装置１００の内部構成例を示す図である。携帯電話装置１００は、アプリケーションプロセッサ１１と、デジタルベースバンド処理部１２と、アナログベースバンド処理部１３と、ＲＦ（Radio Frequency）処理部１４とを備える。また、携帯電話装置１００は、電池１５と、マイクロフォン１６と、スピーカ１７と、アンテナ１８と、撮像範囲切替スイッチ１１１と、静止画／動画切替スイッチ１１２と、決定キー１１４と、撮像部１３０と、表示部１４０とを備える。また、携帯電話装置１００は、回動状態検出部１５０と、プログラムメモリ１６０と、画像メモリ１７０と、記録媒体１８０と、ＤＳＰ（Digital Signal Processor）２００とを備える。なお、ＲＦ処理部１４には、アンテナ１８が備えられ、アナログベースバンド処理部１３には、マイクロフォン１６およびスピーカ１７が備えられている。
アプリケーションプロセッサ１１は、内蔵するメモリに記憶される各種プログラムに基づいて携帯電話装置１００の各部を制御するものである。アプリケーションプロセッサ１１は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）を備えて構成される。
例えば、受話動作が行われる場合には、アンテナ１８により受信された電波が、ＲＦ処理部１４およびアナログベースバンド処理部１３を経由して、デジタルベースバンド処理部１２により復調される。そして、デジタルベースバンド処理部１２による復調結果が、アナログベースバンド処理部１３を経由してスピーカ１７から出力される。
また、送話動作が行われる場合には、マイクロフォン１６から入力された音声が、アナログベースバンド処理部１３を経由して、デジタルベースバンド処理部１２により変調される。そして、復調された音声データが、アナログベースバンド処理部１３およびＲＦ処理部１４を経由してアンテナ１８から送信される。
また、ユーザにより撮像動作の開始指示操作が行われると、携帯電話装置１００において撮像動作が行われる。例えば、ユーザにより撮像動作の開始指示操作が行われると、アプリケーションプロセッサ１１が撮像動作に関する各部（撮像部１３０、ＤＳＰ２００等）に撮像動作の開始を指示し、これらの各部を起動させる。そして、起動された各部により撮像動作が行われ、生成された画像が表示部１４０に表示される。ここで、ユーザにより画像の記録指示操作が行われると、生成された画像が記録媒体１８０に記録される。また、ユーザにより画像を無線伝送する指示操作が行われると、生成された画像が無線伝送される。例えば、生成された画像データがデジタルベースバンド処理部１２により変調され、アナログベースバンド処理部１３およびＲＦ処理部１４を経由してアンテナ１８から送信される。なお、電池１５は、携帯電話装置１００に電源を供給する電池である。
なお、スイッチ１１１および１１２、決定キー１１４、撮像部１３０、表示部１４０、回動状態検出部１５０、プログラムメモリ１６０、画像メモリ１７０、記録媒体１８０およびＤＳＰ２００については、図３、図７等を参照して詳細に説明する。
［撮像部の内部構成例］
図３は、本発明の第１の実施の形態における撮像部１３０の内部構成例を示す図である。また、図３では、撮像部１３０と接続されるＤＳＰ２００の一部を示す。なお、ＤＳＰ２００の全体構成については、図７および図８を参照して詳細に説明する。
撮像部１３０は、３個の撮像系（第１の撮像系１９１乃至第３の撮像系１９３）と、電源制御部２０７と、電源供給部２０８および２０９とを備える。また、３つの撮像系は、特定方向に並べて配置される。すなわち、第１の撮像系１９１が中央に配置され、第１の撮像系１９１の両側に第２の撮像系１９２および第３の撮像系１９３が配置される。
第１の撮像系１９１は、光学系１３１、撮像素子１３４およびＤＳＰとのＩ／Ｆ（インターフェース）１３７を備える。また、第２の撮像系１９２は、光学系１３２、撮像素子１３５およびＤＳＰとのＩ／Ｆ１３８を備える。また、第３の撮像系１９３は、光学系１３３、撮像素子１３６およびＤＳＰとのＩ／Ｆ１３９を備える。なお、第１の撮像系１９１乃至第３の撮像系１９３の構成は略同一であるため、ここでは、主に第１の撮像系１９１の構成について説明し、第２の撮像系１９２および第３の撮像系１９３の説明を省略する。
光学系１３１は、被写体からの光を集光する複数のレンズ（ズームレンズおよびフォーカスレンズを含む）により構成される。また、これらの各レンズを通過した光の量（すなわち、露出）が絞り（図示せず）により調整される。そして、集光された被写体からの光が撮像素子１３４に入射される。
撮像素子１３４は、光学系１３１を介して入射された被写体像を結像して画像信号を生成する撮像素子である。すなわち、撮像素子１３４は、光学系１３１を介して入射された被写体からの光を受光して光電変換を行うことにより、光の受光量に応じたアナログの画像信号を生成する。このように撮像素子１３４により生成されたアナログの画像信号がＤＳＰとのＩ／Ｆ１３７を介してＤＳＰ２００に供給される。なお、撮像素子として、例えば、ＣＣＤ（Charge Coupled Device）型やＣＭＯＳ（Complementary Metal Oxide Semiconductor）型の固体撮像素子を用いることができる。
ＤＳＰとのＩ／Ｆ１３７は、撮像素子１３４と、ＤＳＰ２００とを接続するためのインターフェースである。
電源制御部２０７は、ＤＳＰ２００の撮像制御部２０１（図７に示す）からの電源制御の指示に基づいて、電源供給部２０８および２０９を制御するものである。すなわち、電源制御部２０７は、撮像制御部２０１からの電源制御の指示を受け付けると、電源供給部２０８および２０９が制御信号の入力仕様として要求する信号の振幅と信号の立ち上がり速度および立ち下がり速度に準拠した信号を作成する。そして、この作成された信号を電源供給部２０８および２０９に出力し、電源供給部２０８および２０９を制御する。なお、撮像制御部２０１の出力信号が、電源供給部２０８および２０９の制御信号の入力仕様に準拠している場合には、撮像制御部２０１の出力信号を電源供給部２０８および２０９に直接入力するようにしてもよい。
電源供給部２０８は、電源制御部２０７の制御に基づいて、第１の撮像系１９１へ電源を供給するものである。また、電源供給部２０９は、電源制御部２０７の制御に基づいて、第２の撮像系１９２および第３の撮像系１９３へ電源を供給するものである。なお、電源供給部２０８および２０９は、例えば、市販の電源ＩＣ（Integrated Circuit）により実現される。
また、第１の撮像系１９１乃至第３の撮像系１９３のそれぞれは、１つのデータ線と７種類の信号線とを介してＤＳＰ２００と接続されている。ここで、第１の撮像系１９１およびＤＳＰ２００を接続する１つのデータ線をＬ１とし、７種類の信号線を信号線Ｌ２乃至Ｌ８として説明する。なお、第２の撮像系１９２および第３の撮像系１９３のデータ線および信号線は、第１の撮像系１９１のデータ線および信号線と略同一である。このため、ここでは、主に第１の撮像系１９１のデータ線および信号線について説明し、第２の撮像系１９２および第３の撮像系１９３の説明を省略する。
データ線Ｌ１は、撮像素子１３４からＤＳＰ２００へ画像データを伝送するデータ線である。このデータ線Ｌ１は、例えば、画像データの伝送レートを大きくするために複数本のデータ線により構成することが好ましい。また、画像データの伝送レートを大きくするため、および、伝送路上でのノイズ耐性を大きくするために、データ線Ｌ１として、高速かつ差動伝送方式のデータ線を用いることが好ましい。例えば、データ線Ｌ１として、ＬＶＤＳ（low voltage differential signaling）等を用いることが好ましい。
信号線Ｌ２は、撮像素子１３４とＤＳＰ２００との間の双方向の通信線であり、例えば、４線構造シリアル通信線を用いることができる。信号線Ｌ２は、例えば、撮像素子１３４を使用するために必要となる各種の設定値をＤＳＰ２００側から設定する際に使用される。一例として、撮像素子１３４からＤＳＰ２００へ出力される画像データを間引いて出力するための設定値が、信号線Ｌ２を介してＤＳＰ２００からレジスタ３７０および３８０（図１２に示す）に書き込まれる。
信号線Ｌ３は、ＤＳＰ２００から撮像素子１３４へクロックを供給するクロック信号線である。撮像素子１３４は、信号線Ｌ３を介して供給されるクロックを使用して、１クロック周期当り１画素の撮像動作を行う。また、撮像素子１３４内に逓倍器を搭載し、ＤＳＰ２００から供給されたクロックを撮像素子１３４内で逓倍して、逓倍後のクロック１周期当り１画素の撮像動作を行うようにしてもよい。
信号線Ｌ４は、ＤＳＰ２００から撮像素子１３４へリセット信号を供給するリセット信号線である。
信号線Ｌ５は、ＤＳＰ２００から撮像素子１３４の撮像動作のオン／オフを制御する信号線である。すなわち、信号線Ｌ５は、ＤＳＰ２００から各撮像素子へ動作の停止と起動とを通知する信号線である。例えば、３つの撮像系のうち、１つの撮像素子のみを使用する撮像モードがユーザにより指示された場合には、使用しない２個の撮像素子の撮像動作を停止させることにより、消費電力を低減させることができる。
信号線Ｌ６は、垂直同期信号線である。すなわち、信号線Ｌ６は、ＤＳＰ２００から撮像素子１３４へ１フレーム毎の撮像タイミングを示唆する同期信号を通知するための信号線である。
信号線Ｌ７は、水平同期信号線である。すなわち、信号線Ｌ７は、ＤＳＰ２００から撮像素子１３４へ１フレーム中の１ライン毎の撮像タイミングを示唆する同期信号を通知するための信号線である。
信号線Ｌ８は、シャッター信号線である。例えば、携帯電話装置１００において、ユーザにより撮像画像記録を行うための操作部材（例えば、決定キー１１４）が押下された場合には、この押下に応じたシャッター信号が信号線Ｌ８を介してＤＳＰ２００から撮像素子１３４に通知される。
［撮像素子の配置構成例］
図４は、本発明の第１の実施の形態における撮像部１３０を構成する撮像素子１３４乃至１３６の配置構成例を示す図である。図４（ａ）には、撮像素子１３４乃至１３６の配置構成を示す。ここで、一般に、撮像素子における受光面において、画素が配列されている領域の形状は略長方形である。そこで、以下では、撮像素子１３４乃至１３６を長方形により模式的に表す。
図４（ａ）には、回動部材１０１側が上側となるように、第１の筐体１１０の長手方向を垂直方向と一致させた場合における配置構成例を示す。具体的には、撮像素子１３４が中央に配置され、撮像素子１３４の両側に撮像素子１３５および１３６が配置される。また、中央に配置される撮像素子１３４については、その長手方向が配列方向と直交する方向と一致するように配置される。一方、撮像素子１３４の両側に配置される撮像素子１３５および１３６については、その長手方向が配列方向と一致するように配置される。また、撮像素子１３４乃至１３６における中心位置が同一平面上となるように配置される。すなわち、配列方向において、撮像素子１３５および１３６が横長に配置されるとともに、撮像素子１３４が縦長に配置される。また、図４（ａ）では、各画素を読み出すことが可能な画素データ読出可能領域４００乃至４０２を撮像素子１３４乃至１３６内に長方形で模式的に示す。例えば、撮像素子１３４により、被写体の特定方向を長手方向とする第１の撮像画像が生成される。また、撮像素子１３５により、その特定方向に直交する直交方向を長手方向とし、第１の撮像画像に含まれる被写体の直交方向の一方に隣接する被写体を含む第２の撮像画像が生成される。また、撮像素子１３６により、直交方向を長手方向とし、第１の撮像画像に含まれる被写体の直交方向の他方に隣接する被写体を含む第３の撮像画像が生成される。このように、本発明の第１の実施の形態では、中央の撮像素子１３４のアスペクト比（横／縦）を、その両側に配置されている撮像素子１３４乃至１３６のアスペクト比よりも小さくする。これにより、例えば、撮像素子１３４のみを用いて縦長画像を生成する場合でも、十分な解像度を維持することができる。一方、撮像素子１３４乃至１３６を用いて生成される広角画像（例えば、パノラマ画像）については、撮像素子１３４の画枠を有効活用することができる。
図４（ｂ）には、第２の筐体１２０が縦長状態である場合において、画像データを生成する場合における画素データ読出領域の一例を示す。画素データ読出領域４０３乃至４０５は、画素データ読出可能領域４００乃至４０２において、表示または記録に用いられる画像データを生成する際に各画素を読み出す領域の一例であり、図４（ｂ）ではその輪郭を太線で示す。画素データ読出領域４０４および４０５は、例えば、画素データ読出可能領域４０１および４０２と同一とすることができる。また、画素データ読出領域４０３は、例えば、垂直方向の長さＶ１０を、画素データ読出可能領域４０１および４０２の垂直方向の長さＶ１１と同一とし、水平方向の長さＨ１０を、画素データ読出可能領域４００の水平方向の長さと同一とすることができる。
図４（ｃ）には、第２の筐体１２０が横長状態である場合において、画像データを生成する場合における画素データ読出領域の一例を示す。この例では、撮像素子１３４乃至１３６のうち、撮像素子１３４のみにより画像データを生成する場合における画素データ読出領域４０６を示す。画素データ読出領域４０６は、画素データ読出可能領域４００乃至４０２において、表示または記録に用いられる合成画像を生成する際に各画素を読み出す領域の一例であり、図４（ｃ）ではその輪郭を太線で示す。画素データ読出領域４０６は、例えば、画素データ読出可能領域４００と同一とすることができる。なお、これらの画像生成例については、図２８乃至図４２を参照して詳細に説明する。
ここで、例えば、撮像素子１３４乃至１３６の各長手方向が特定方向と一致するように、撮像素子１３４乃至１３６が配置された撮像装置を想定する。すなわち、図４（ａ）に示す状態で、撮像素子１３４が９０度回転して配置され、撮像素子１３４乃至１３６の長手方向と配列方向とが同一となる場合を想定する。この場合において、通常の縦長の静止画を撮影する場合には、垂直方向の画素数は最大でも撮像素子１３４の短辺方向の画素数しか取れない。また、垂直方向の画角についても撮像素子１３４の短辺方向に入射される領域に制限されてしまう。このため、垂直方向の画角を大きくし、垂直方向の画素数を大きくして撮像するためには、ユーザが撮像装置を９０度回転させて、撮影を行う必要がある。
これに対して、本発明の第１の実施の形態によれば、通常の縦長の静止画を撮影する場合でも、１個の撮像系を備える携帯電話装置をユーザが横倒しして撮影を行う場合と同じ画素数、同じ画角で撮影することが可能である。このため、ユーザが撮像装置を横に向ける手間を省略することができる。
次に、撮像素子１３４乃至１３６における１ラインのデータを読み出す読出方法について説明する。例えば、撮像素子１３４乃至１３６における１ラインのデータを読み出すデータ読出方法としては、以下の２つの方法を用いることができる。
第１のデータ読出方法は、撮像素子１３４について１ラインのデータを読出す場合において、その１ラインの方向を撮像素子１３４に対応する長方形の領域の短辺方向とする方法である。第１のデータ読出方法では、撮像素子１３５および１３６について１ラインのデータを読出す場合には、その１ラインの方向を撮像素子１３５および１３６に対応する長方形の領域の長辺方向とする。この例を図６（ａ）に示す。第１のデータ読出方法では、３個の撮像素子１３４乃至１３６から読み出された画像データを読み出された順番で画像メモリ１７０に書き込むことができる。また、このデータを読み出して画像信号処理を行う場合でも、同じ順番で読み出すことができるため、メモリへのデータの書き込みおよび読出しを容易に行うことができる。ただし、一般に、撮像素子は読出しライン方向が長辺方向であるため、読出しライン方向が短辺方向の撮像素子を新たに用意する必要がある。
第２のデータ読出方法は、撮像素子１３４の１ラインのデータを読出す場合において、その１ラインの方向を、撮像素子１３５および１３６と同様に長辺方向とする方法である。この場合、読出し方向が短辺方向の撮像素子を新たに用意する必要がない。ただし、撮像素子１３４の画像データの読出し方向が撮像素子１３５および１３６の画像データの読出し方向から９０°回転している。このため、撮像素子１３４から読み出された画像データを用いて画像信号処理を行う場合には、その画像を９０°回転させて、撮像素子１３５および１３６により生成された画像と同じ向きしてから画像信号処理を行うことが好ましい。なお、本発明の第１の実施の形態では、第１のデータ読出方法を用いる例を示す。すなわち、以下では、撮像素子１３４における１ラインの画素データを読出す際のライン方向を、撮像素子１３４乃至１３６の配列方向とする例を示す。また、撮像素子１３５および１３６における１ラインの画素データを読出す際のライン方向についても同様に、撮像素子１３４乃至１３６の配列方向とする例を示す。
図５および図６は、本発明の第１の実施の形態における撮像素子１３４乃至１３６に結像される像と、画像データの読出方法との関係を示す図である。一般に、撮像素子には、いわゆる、倒立像が結像される。
図５には、撮像素子に結像される像として倒立像が生成される場合における被写体４０９と光学系１３１と撮像素子１３４に結像される撮像画像４１０との関係を模式的に示す。図５に示すように、光学系１３１を介して入射された被写体４０９からの光が撮像素子１３４に結像され、撮像画像４１０が生成される。この場合に、被写体４０９の上下方向と、撮像画像４１０の上下方向とが反転された状態となる。
図６（ａ）には、撮像素子１３４乃至１３６から画素データを読み出す場合における読出開始位置４１１乃至４１３および読出し方向を模式的に示す。この例では、図４（ｂ）に示す画素データ読出領域４０３乃至４０５において画素データを読み出す例を示す。また、以下では、画素データ読出領域における読出開始位置を矩形で模式的に示す。例えば、画素データ読出領域４０３乃至４０５の右下隅の読出開始位置４１１乃至４１３から順次読出しが開始され、矢印方向に画素データが読み出される。例えば、画素データ読出領域４０３において、読出開始位置４１１から画素データの読出しが開始され、矢印方向に１画素ずつシフトされながら画素データの読出しが順次行われる。そして、水平方向の１ラインにおける端部（図６（ａ）に示す画素データ読出領域４０３内の左端）に位置する画素の読出しが行われた場合には、読出し対象となるラインを１画素上側にシフトして他の端部に位置する画素の読出しが行われる。以下、同様に画素の読み出しが順次行われる。そして、画素データ読出領域４０３における上端のラインにおける端部に位置する画素の読出しが行われた場合には、撮像素子１３４の読出し処理を終了する。また、撮像素子１３５および１３６についても同時に読み出し処理が行われる。
図６（ｂ）には、撮像素子１３４乃至１３６から読み出された画素データが合成された場合における画像メモリ１７０上における合成画像４１４を模式的に示す。この例では、図６（ａ）に示す読出方法により読み出された画素データを合成する例を示す。なお、合成画像４１４内における矢印方向は、画像メモリ１７０上における画像データの並び方向であるものとする。
図６（ｃ）には、撮像素子１３４乃至１３６から読み出された画素データを表示部１４０に表示する場合における合成画像の表示例を示す。この例では、図６（ｂ）に示す合成画像４１４を表示する例を示す。例えば、撮像画像表示領域４１５に合成画像４１４が表示され、その上下の余白画像表示領域４１６および４１７には一色画像（例えば、黒色や白色）が表示される。なお、表示部１４０内における矢印方向は、表示部１４０における走査方向であるものとする。
［ＤＳＰの構成例］
図７は、本発明の第１の実施の形態におけるＤＳＰ２００の内部構成例を示すブロック図である。ＤＳＰ２００は、撮像制御部２０１と、ＣＰＵ２０２と、ＤＭＡ（Direct Memory Access）コントローラ２０３と、データバス２０４と、プログラムメモリとのＩ／Ｆ２０５と、画像メモリとのＩ／Ｆ２０６とを備える。また、ＤＳＰ２００は、撮像素子とのＩ／Ｆ２１０と、画像バッファ２１１乃至２１９と、画像信号処理部２２０と、解像度変換部２３１、２４１、２５１と、画像回転処理部２３２、２４２とを備える。また、ＤＳＰ２００は、表示部とのＩ／Ｆ２３３と、外部表示装置とのＩ／Ｆ２４３と、符号化部２５２と、記録媒体とのＩ／Ｆ２５３と、発振回路２６４乃至２６６と、クロック生成回路２７０とを備える。データバス２０４には、ＣＰＵ２０２、ＤＭＡコントローラ２０３、画像メモリとのＩ／Ｆ２０６、画像バッファ２１１乃至２１９、画像信号処理部２２０等が接続されている。また、撮像制御部２０１には、撮像範囲切替スイッチ１１１、静止画／動画切替スイッチ１１２、決定キー１１４および回動状態検出部１５０からの各信号が入力される。
回動状態検出部１５０は、第１の筐体１１０に対する第２の筐体１２０の回動状態を検出するものであり、検出結果を撮像制御部２０１に出力する。回動状態検出部１５０は、第１の筐体１１０に対する第２の筐体１２０の回動状態として、例えば、第１の筐体１１０および第２の筐体１２０のなす角度を検出し、検出結果を撮像制御部２０１に出力する。例えば、第１の筐体１１０に対する第２の筐体１２０の回動角度が一定値未満である場合には押下されず、その回動角度が一定値以上となった場合に押下される角度検出スイッチを回動部材１０１の何れかに設ける。そして、角度検出スイッチにより、回動状態検出部１５０は、第１の筐体１１０および第２の筐体１２０のなす角度を検出する。なお、回動状態検出部１５０は、特許請求の範囲に記載の検出部の一例である。
撮像制御部２０１は、撮像処理に関する各部を制御するものである。例えば、撮像制御部２０１は、回動状態検出部１５０からの検出結果に基づいて、第１の筐体１１０に対する第２の筐体１２０の回動状態を判断し、この判断結果に基づいて、各部の撮像制御を行う。例えば、撮像制御部２０１は、撮像素子１３４乃至１３６により生成される画像データのうち、表示または記録の対象となる対象画像の範囲を、その判断結果に基づいて決定する。また、撮像制御部２０１は、撮像範囲切替スイッチ１１１、静止画／動画切替スイッチ１１２および決定キー１１４からの入力信号に基づいて各部の撮像制御を行う。なお、これらの撮像制御については、図２８乃至図４２等を参照して詳細に説明する。また、撮像制御部２０１は、特許請求の範囲に記載の制御部の一例である。
ここで、本発明の第１の実施の形態では、撮像部１３０により生成された画像を記録する際の撮像モード（画像サイズ等）をユーザが予め設定することができる。例えば、撮像モードを設定するためのメニュー画面を表示部１４０に表示させ、メニュー画面において決定キー１１４および十字キー１１５を用いて、ユーザが所望する設定内容を入力する。なお、撮像モードには、例えば、撮像時に使用する撮像素子の個数と、記録時における画像の垂直方向画像サイズおよび水平方向画像サイズとを含む。また、撮像モードには、例えば、画像の有効領域と垂直同期信号との間隔を表す垂直バックポーチおよび垂直フロントポーチと、画像の有効領域と水平同期信号との間隔を表す水平バックポーチと水平フロントポーチとを含む。また、撮像制御部２０１と、ＤＳＰ２００内の各部と、撮像素子１３４乃至１３６とは、撮像モードを保持するレジスタを備える。
ここで、撮像制御部２０１は、ユーザにより撮像モードが設定された場合には、この設定された撮像モードをＤＳＰ２００内の各部および撮像素子１３４乃至１３６に通知し、各部が備えるレジスタに保持させる。このように、各部が備えるレジスタに、ユーザにより設定された撮像モードの設定内容を保持させることにより、複数の撮影条件をユーザが容易に切り替えて使用することができる。
撮像制御部２０１は、例えば、内蔵するレジスタに保持されている撮像モードの設定内容に基づいて、垂直同期信号、水平同期信号およびクロック信号を、ＤＳＰ２００内の各部および撮像素子１３４乃至１３６に通知する。また、撮像制御部２０１は、例えば、内蔵するレジスタに保持されている撮像モードの設定内容に基づいて、垂直同期信号、水平同期信号およびクロック信号を、ＤＳＰ２００内の表示に関する各部および表示部１４０に通知する。また、撮像制御部２０１は、例えば、電源制御部２０７に対して、電源のオン／オフを制御する信号を出力する。
ＣＰＵ２０２は、プログラムメモリ１６０に記憶されている各種プログラムに基づいて、ＤＳＰ２００全体を制御するものである。
ＤＭＡコントローラ２０３は、ＣＰＵ２０２の制御に基づいて、各メモリ間におけるデータの転送を制御するものである。
プログラムメモリとのＩ／Ｆ２０５は、プログラムメモリ１６０と、ＤＳＰ２００とを接続するためのインターフェースである。
画像メモリとのＩ／Ｆ２０６は、画像メモリ１７０と、ＤＳＰ２００とを接続するためのインターフェースである。
撮像素子とのＩ／Ｆ２１０は、撮像素子１３４乃至１３６と、ＤＳＰ２００とを接続するためのインターフェースである。すなわち、撮像素子１３４乃至１３６により生成された画像データが撮像素子とのＩ／Ｆ２１０に入力される。例えば、撮像素子１３４乃至１３６から画像データを伝送するデータ線Ｌ１が、微小振幅のＬＶＤＳ方式である場合には、ＤＳＰとのＩ／Ｆ１３７乃至１３９において、撮像素子１３４乃至１３６からの画像データがＧＮＤ電位または電源電位に変換される。また、撮像素子とのＩ／Ｆ２１０の後段には、撮像素子１３４乃至１３６に対応する３系統の画像バッファ２１１乃至２１９を備える。
画像バッファ２１１乃至２１９は、撮像素子１３４乃至１３６から出力された画像データを保持する画像バッファであり、保持されている画像データがデータバス２０４を介して画像メモリ１７０に書き込まれる。例えば、各撮像素子について３個の画像バッファを備え、これらの各画像バッファは、データバス２０４に接続されている。例えば、撮像素子１３４については、３個の画像バッファ２１１乃至２１３が備えられる。また、撮像素子１３５については、３個の画像バッファ２１４乃至２１６が備えられる。また、撮像素子１３６については、３個の画像バッファ２１７乃至２１９が備えられる。ここで、本発明の第１の実施の形態では、画像データを画像メモリ１７０に書込むため、画像バッファ２１１乃至２１９から画像データを読み出している間でも、撮像素子１３４乃至１３６からの新たに入力された画像データを順次保持させる。このため、画像バッファ２１１乃至２１９として、撮像素子１３４乃至１３６のそれぞれについて２個以上の画像バッファを備えていることが好ましい。
画像バッファ２１１乃至２１９の１個の容量は、データバス２０４のビット（ｂｉｔ）幅よりも大きいことが好ましい。例えば、データバス２０４が１２８ビット幅である場合には、各画像バッファは１２８ビット以上の容量であることが好ましい。また、画像バッファ２１１乃至２１９の１個の容量は、データバス２０４のビット幅の２倍以上であることがより好ましい。例えば、データバス２０４が１２８ビット幅である場合には、各画像バッファは２５６ビット以上の容量であることがより好ましい。
一方、画像バッファ２１１乃至２１９の１個の容量は、１つの撮像素子により生成される１枚の画像の画像データ量以下とすることができる。例えば、画像バッファ２１１乃至２１９の１個の容量は、撮像素子１３４の１ライン分の画素により生成される画像データのデータ量以下であることが好ましい。
本発明の第１の実施の形態では、撮像素子１３４乃至１３６と、ＤＳＰ２００とを接続するデータ線のビット幅は、例えば、１２ビットとする。また、例えば、ＤＳＰ２００のデータバス２０４のビット幅は、１２８ビット幅とし、画像バッファ２１１乃至２１９の１個の容量は、それぞれ１２８ビットとする。
画像信号処理部２２０は、撮像制御部２０１の制御に基づいて、画像バッファ２１１乃至２１９、データバス２０４を介して入力された画像データについて、各種の画像信号処理を行うものである。なお、画像信号処理部２２０の内部構成については、図８を参照して詳細に説明する。
解像度変換部２３１は、撮像制御部２０１の制御に基づいて、各画像を表示部１４０に表示させるための解像度変換を行うものであり、解像度変換が施された画像データを画像回転処理部２３２に出力する。
解像度変換部２４１は、撮像制御部２０１の制御に基づいて、各画像を外部表示装置２４５に表示させるための解像度変換を行うものであり、解像度変換が施された画像データを画像回転処理部２４２に出力する。
画像回転処理部２３２は、撮像制御部２０１の制御に基づいて、解像度変換が施された画像データについて回転処理を行うものであり、回転処理が施された画像データを表示部とのＩ／Ｆ２３３に出力する。
画像回転処理部２４２は、撮像制御部２０１の制御に基づいて、解像度変換が施された画像データについて回転処理を行うものであり、回転処理が施された画像データを外部表示装置とのＩ／Ｆ２４３に出力する。
表示部とのＩ／Ｆ２３３は、表示部１４０と、ＤＳＰ２００とを接続するためのインターフェースである。
外部表示装置とのＩ／Ｆ２４３は、外部表示装置２４５と、ＤＳＰ２００とを接続するためのインターフェースである。外部表示装置２４５は、例えば、テレビジョンである。
解像度変換部２５１は、撮像制御部２０１の制御に基づいて、各画像について記録用に解像度を変換するものであり、解像度変換が施された画像データを符号化部２５２に出力する。例えば、解像度変換部２５１は、ユーザが希望する記録画像サイズに解像度を変換する解像度変換処理や、サムネイル画像を生成するための解像度変換処理を行う。
符号化部２５２は、解像度変換部２５１から出力された画像データを圧縮するための符号化を行うものであり、符号化された画像データを記録媒体とのＩ／Ｆ２５３に出力する。
記録媒体とのＩ／Ｆ２５３は、記録媒体１８０と、ＤＳＰ２００とを接続するためのインターフェースである。
記録媒体１８０は、記録媒体とのＩ／Ｆ２５３を介して供給された画像データを記録する記録媒体である。記録媒体１８０は、携帯電話装置１００に内蔵するようにしてもよく、着脱可能に携帯電話装置１００に装着されるようにしてもよい。記録媒体１８０として、例えば、テープ（例えば、磁気テープ）、光ディスク（例えば、記録可能なＤＶＤ（Digital Versatile Disc））を用いることができる。また、記録媒体１８０として、例えば、磁気ディスク（例えば、ハードディスク）、半導体メモリ（例えば、メモリカード）、光磁気ディスク（例えば、ＭＤ（MiniDisc））を用いるようにしてもよい。
なお、発振回路２６４乃至２６６およびクロック生成回路２７０については、図９乃至図１１を参照して詳細に説明する。
［画像信号処理部２２０の内部構成例］
図８は、本発明の第１の実施の形態における画像信号処理部２２０の内部構成例を示すブロック図である。画像信号処理部２２０は、画素加算処理部２２１と、デモザイク処理部２２２と、ＹＣ変換処理部２２３と、画像合成処理部２２４と、シャープネス処理部２２５と、色調整処理部２２６と、ＲＧＢ変換処理部２２７とを備える。
画素加算処理部２２１は、撮像素子１３４乃至１３６により生成された画像データについて、画素加算処理および画素間引き処理を行うものである。なお、画素加算処理部２２１については、図４３等を参照して詳細に説明する。
デモザイク処理部２２２は、撮像素子１３４乃至１３６により生成された画像データ（モザイク画像）の各画素位置にＲ、Ｇ、Ｂの全てのチャネルの強度が揃うようにデモザイク処理（補間処理）を行うものである。そして、デモザイク処理部２２２は、デモザイク処理が施されたＲＧＢ画像をＹＣ変換処理部２２３に供給する。すなわち、デモザイク処理部２２２は、１画素につき１色分の画素データのみを有するベイヤーデータを補間して１画素についてＲＧＢの３個の画素データを算出する。
ＹＣ変換処理部２２３は、デモザイク処理部２２２により生成されたＲＧＢ画像にＹＣマトリックス処理およびクロマ成分に対する帯域制限を行うことにより、輝度信号（Ｙ）および色差信号（Ｃｒ，Ｃｂ）を生成するものである。そして、生成された輝度信号（Ｙ画像）および色差信号（Ｃ画像）が画像合成処理部２２４に供給される。
画像合成処理部２２４は、ＹＣ変換処理部２２３により生成された画像データについて、画像合成を行うものであり、合成された画像データをシャープネス処理部２２５に出力する。なお、この画像合成処理については、図１８乃至図２６を参照して詳細に説明する。また、画像合成処理部２２４は、特許請求の範囲に記載の画像合成部の一例である。
シャープネス処理部２２５は、画像合成処理部２２４により生成された画像データについて、信号変化の大きい部分を取り出して強調するシャープネス処理（被写体の輪郭を強調する処理）を行うものである。そして、シャープネス処理部２２５は、シャープネス処理が施された画像データを色調整処理部２２６に供給する。
色調整処理部２２６は、シャープネス処理部２２５によりシャープネス処理が施された画像データについて、色相および彩度の調整を行うものである。
ＲＧＢ変換処理部２２７は、色調整処理部２２６により色相および彩度の調整が施された画像データについて、ＹＣｂＣｒデータからＲＧＢデータへ変換するものである。
ここで、画像信号処理部２２０の信号の画像データの流れについて説明する。例えば、画像信号処理部２２０における各信号処理部が画像メモリ１７０からデータバス２０４を経由して画像データを直接読み込み、信号処理後の画像データをデータバス２０４経由で画像メモリ１７０に書き込む場合を想定する。この場合には、画像信号処理部２２０が、画像データ中の所望の位置の画像データを所望のタイミングで読み込むことができる点で有利である。しかし、データバス２０４を経由して伝送する必要があるデータ量が大きくなるため、データバス２０４の動作周波数を大きくする必要がある。このため、データバス２０４の設計が難しくなるとともに消費電力が大きくなるおそれがある。
また、例えば、画像信号処理部２２０における各信号処理部が画像データを前段の信号処理部からデータバス２０４を経由せずに受け取り、信号処理後の画像データを後段の信号処理部へデータバス２０４を経由せずに受け渡す場合を想定する。この場合には、データバス２０４を使用しないため、ＬＳＩの設計が容易であり、消費電力を小さくすることができる点で有利である。しかし、各信号処理部が画像データ中の所望の位置の画像データを所望のタイミングで読み込むことができないおそれがある。
そこで、本発明の第１の実施の形態では、画像サイズが略一定であるデモザイク処理部２２２から色調整処理部２２６までの間は、データバス２０４の動作周波数と、消費電力の低減のため、画像データを各信号処理部間で直接受け渡す。また、解像度変換のように、大量の画像データを使用する信号処理部の前段では、画像メモリ１７０へ画像データを書き込み、解像度変換を行う際は、画像メモリ１７０から所望の画像データを読み出す例を示す。
［クロック生成回路の構成例］
図９は、本発明の第１の実施の形態におけるクロック生成回路２７０の内部構成例を示すブロック図である。クロック生成回路２７０は、高周波クロック用逓倍器２０、２４と、高周波クロック用分周器２１、２５と、低周波クロック用逓倍器２２、２６と、低周波クロック用分周器２３、２７とを備える。また、クロック生成回路２７０は、クロック用逓倍器２８、３０と、クロック用分周器２９、３１とを備える。ここで、各逓倍器は、入力されたクロックの周波数を逓倍するものである。また、各分周器は、入力されたクロックの周波数を１／ｎ（ｎは任意の整数）にするものである。なお、この例では、クロック生成回路２７０が、図７に示すＤＳＰ２００における各部の接続先に応じて少なくとも６種類のクロックを発生させる場合を例にして示す。
発振子２６１乃至２６３は、ＤＳＰ２００内に供給されるクロック信号を発生させるための振動源であり、例えば、水晶発振子が用いられる。
発振回路２６４乃至２６６は、ＤＳＰ２００内に供給されるクロック信号を生成するものであり、生成されたクロック信号をクロック生成回路２７０に出力する。
クロック生成回路２７０が生成する６種類のクロックのうち２種類は、撮像素子１３４乃至１３６に供給されるクロックである。この撮像素子１３４乃至１３６に供給されるクロックのうち１種類は、画素数が比較的大きい画像を生成するための比較的大きい周波数のクロックである。このクロックは、発振回路２６４から出力されたクロックが高周波クロック用逓倍器２０に入力されて逓倍され、この逓倍されたクロックが高周波クロック用分周器２１に入力されて分周されることにより生成される。また、他の１種類は、画素数が比較的小さい画像を生成するための比較的小さい周波数のクロックである。このクロックは、発振回路２６４から出力されたクロックが低周波クロック用逓倍器２２に入力されて逓倍され、この逓倍されたクロックが低周波クロック用分周器２３に入力されて分周されることにより生成される。そして、高周波クロック用分周器２１および低周波クロック用分周器２３により分周されたクロックが、クロック生成回路２７０において生成されたクロックとして出力され、ＤＳＰ２００内部を経由して撮像素子１３４乃至１３６に供給される。ここで、撮像素子１３４乃至１３６に供給するクロックは、この例で示した２種類に限らず、撮像動作により生成される画像サイズに応じて、さらに多くの種類を生成して用いることが好ましい。
クロック生成回路２７０が生成する６種類のクロックのうち他の２種類は、ＤＳＰ２００内部で使用されるクロックである。このＤＳＰ２００内部で使用されるクロックのうち１種類は、画素数が比較的大きい画像を生成するための比較的大きい周波数のクロックである。このクロックは、発振回路２６４から出力されたクロックが高周波クロック用逓倍器２４に入力されて逓倍され、この逓倍されたクロックが高周波クロック用分周器２５に入力されて分周されることにより生成される。また、他の１種類は、画素数が比較的小さい画像を生成するための比較的小さい周波数のクロックである。このクロックは、発振回路２６４から出力されたクロックが低周波クロック用逓倍器２６に入力されて逓倍され、この逓倍されたクロックが低周波クロック用分周器２７に入力されて分周されることにより生成される。そして、高周波クロック用分周器２５および低周波クロック用分周器２７により分周されたクロックが、クロック生成回路２７０において生成されたクロックとして出力され、ＤＳＰ２００内部に供給される。ここで、ＤＳＰ２００内部で使用されるクロックは、この例で示した２種類に限らず、撮像動作により生成される画像サイズに応じて、さらに多くの種類を生成して用いることが好ましい。
クロック生成回路２７０が生成する６種類のクロックのうち残りの２種類は、表示部１４０に画像を表示するための画素クロックと、携帯電話装置１００外部の表示装置（例えば、外部表示装置２４５）に画像を表示するための画素クロックである。表示部１４０に画像を表示するための画素クロックは、発振回路２６５から出力されたクロックがクロック用逓倍器２８に入力されて逓倍され、この逓倍されたクロックがクロック用分周器２９に入力されて分周されることにより生成される。また、携帯電話装置１００外部の表示装置に画像を表示するための画素クロックは、発振回路２６６から出力されたクロックがクロック用逓倍器３０により逓倍され、この逓倍されたクロックがクロック用分周器３１に入力されて分周されることにより生成される。そして、クロック用分周器２９により分周されたクロックが、クロック生成回路２７０において生成されたクロックとして出力され、ＤＳＰ２００内部を経由して表示部１４０に供給される。また、クロック用分周器３１により分周されたクロックが、クロック生成回路２７０において生成されたクロックとして出力され、ＤＳＰ２００内部を経由して携帯電話装置１００外部の表示装置に供給される。ここで、これらの画像表示のためのクロックは、この例で示した２種類に限らず、接続する表示装置の仕様に応じて、さらに多くの種類を生成して用いることが好ましい。
図１０および図１１は、本発明の第１の実施の形態におけるクロック生成回路２７０の変形例を示すブロック図である。
図１０には、撮像素子１３４乃至１３６に供給される２種類のクロックが１つの逓倍器（クロック用逓倍器３２）を共有して使用し、ＤＳＰ２００内部に供給される２種類のクロックが１つの逓倍器（クロック用逓倍器３３）を共有して使用する例を示す。
図１１には、撮像素子１３４乃至１３６に供給される複数種類のクロックと、ＤＳＰ２００内部に供給される複数種類のクロックとが、１つの逓倍器（クロック用逓倍器３４）を共有して使用する例を示す。
［撮像素子の構成例および画素読出例］
図１２は、本発明の第１の実施の形態における撮像素子の内部構成例を示す図である。ここで、撮像素子１３４乃至１３６の内部構成は略同一であるため、図１２では、撮像素子１３４のみを示し、他の撮像素子の図示および説明を省略する。また、図１２では、撮像素子１３４として、ＣＭＯＳ型撮像素子を例にして説明する。
撮像素子１３４は、画素４０乃至４７と、垂直走査回路３４０と、水平走査回路３４５とを備える。また、撮像素子１３４は、ＡＤＣ（Ａ／Ｄ（Analog/Digital）コンバータ）３５０乃至３５３と、加算器３５４乃至３５７、３６６と、カラムラッチ３５８乃至３６１とを備える。また、撮像素子１３４は、スイッチ３６２乃至３６５と、出力ラッチ３６７と、出力回路３６８と、レジスタ３７０、３８０と、逓倍器／分周器３９１、３９２とを備える。なお、一般的に、撮像素子の縦方向の並びをカラムと称し、横方向の並びをロウと称する。このため、以下では、カラムおよびロウの名称を適宜用いて説明する。また、この例では、撮像素子１３４において、一部の画素（画素４０乃至４７）と、これに関連する各部とを代表して示し、他の構成についての図示および説明を省略する。
撮像素子１３４において、ロウ方向に垂直制御線３４１乃至３４４が配線されており、同一ライン上にある画素が１つおきに同一の垂直制御線に接続される。また、カラム方向にデータ読出線３４６乃至３４９が配線されており、同一ライン上にある画素が１つの読み出し線を共有する。
垂直走査回路３４０は、ロウ方向に配線されている垂直制御線３４１乃至３４４により、画素４０乃至４７と、データ読出線３４６乃至３４９との間のスイッチをオン／オフするものである。すなわち、ロウ方向の各画素において、１本の垂直制御線により、ロウ方向の同一ライン上にある画素のうち、１つおきの画素が共通にオン／オフされる。また、画素４０乃至４７の画像データが、各画素とこれに対応するデータ読出線との間のスイッチを経由して、データ読出線３４６乃至３４９に出力される。
水平走査回路３４５は、カラムラッチ３５８乃至３６１と、出力データ線３６９との間のスイッチ３６２乃至３６５をオン／オフするものである。垂直走査回路３４０によるスイッチのオン／オフと、水平走査回路３４５によるスイッチ３６２乃至３６５のオン／オフとの選択により、各画素を順次選択しながら時分割で全画素の信号を読み出すことができる。ここで、出力データ線３６９は、各カラムの出力結果を撮像素子１３４から出力するための出力データ線である。
ここで、撮像素子１３４には、画素４０乃至４７が２次元正方格子状に配置されている。なお、画素４０乃至４７の構成は同一であるため、ここでは、画素４０を例にして説明する。画素４０は、受光部であるフォトダイオード５１と、アンプ５２と、スイッチ５３とにより構成されている。フォトダイオード５１は、画素に照射された光をその光量に応じた電荷に変換するものである。アンプ５２は、フォトダイオード５１により変換された電荷の信号を増幅する増幅器である。スイッチ５３は、垂直制御線３４２のオンオフに応じて、画素４０の電荷転送を制御するスイッチである。
また、各カラムには、ＡＤＣ３５０乃至３５３と、加算器３５４乃至３５７と、カラムラッチ３５８乃至３６１とが備えられている。以下では、データ読出線３４６に接続されているＡＤＣ３５０と、加算器３５４と、カラムラッチ３５８とを例にして説明する。
ＡＤＣ３５０は、アナログ値である各画素からの画像データをデジタルデータ（デジタル値）に変換するＡＤコンバータである。
加算器３５４は、ＡＤＣ３５０によりデジタルデータが変換される毎に、その変換後の新たなデジタルデータを、カラムラッチ３５８に保存されているデジタルデータに加算するものである。
カラムラッチ３５８は、ＡＤＣ３５０により変換されたデジタルデータを順次保存するカラムラッチである。ここで、カラムラッチとは、ＡＤ変換後のデジタルデータを保存するデータ保存回路を示す名称である。このデータ保存回路として、線形回路により構成されたラッチ以外に、同期回路により構成されたフリップフロップ等のデジタルデータを保存することができる各回路を用いることができる。
例えば、画素４０から出力された画像データは、ＡＤＣ３５０、加算器３５４、カラムラッチ３５８を経由した後に、データ読出線３４６に接続されているスイッチ３６２を経由して、出力データ線３９０に出力される。ここで、本発明の第１の実施の形態では、各カラムのデータ読出線と同様に、出力データ線３９０にも加算器３６６と出力ラッチ３６７とを備え、画像データの加算と保存とを行う。また、出力ラッチ３６７に保存されている画像データが、出力回路３６８を経由して出力データ線３６９に出力される。なお、出力データ線３６９からの画像データは、上述したデータ線Ｌ１に出力される。
逓倍器／分周器３９１、３９２は、ＤＳＰ２００からの制御に基づいて、入力されたクロックの周波数の逓倍、または、入力されたクロックの周波数の分周を行うものである。そして、逓倍器／分周器３９１、３９２は、生成されたクロックを、垂直走査回路３４０、水平走査回路３４５および出力回路３６８に供給する。
信号線３９３は、ＤＳＰ２００から垂直同期信号を供給する垂直同期信号線である。信号線３９４は、ＤＳＰ２００から水平同期信号を供給する水平同期信号線である。
また、信号線３９５は、ＤＳＰ２００からクロック信号を供給するクロック信号線である。信号線３９６は、ＤＳＰ２００から撮像動作のオン／オフを制御するための信号線、および、画素間引きを制御するための信号線である。信号線３９７は、撮像素子１３４とＤＳＰ２００との間の双方向の通信線である。信号線３９８は電源供給線である。
なお、レジスタ３７０、３８０は、撮像動作に関する各設定値が保持されているレジスタであり、保持内容の一例を図１３に示す。
図１３は、本発明の第１の実施の形態における撮像素子１３４が備えるレジスタ３７０および３８０の保持内容を模式的に示す図である。レジスタ３７０および３８０には、撮像動作に関する各設定値が保持され、垂直走査回路３４０および水平走査回路３４５に供給される。なお、これらの設定値は、ユーザ操作により変更可能としてもよい。これらの保持内容、および、これに基づいて行われる撮像動作については、図２８および図４２を参照して詳細に説明する。
図１４乃至図１６は、本発明の第１の実施の形態における撮像素子１３４における各画素への制御信号と、これらの各画素から出力されるデータとの様子を模式的に表すタイミングチャートである。ここで、図１４乃至図１６に示す横軸は時間軸である。また、図１４乃至図１６に示す垂直制御線３４１乃至３４４、カラムラッチ３５８乃至３６１には、対応する図１２と同一の符号を付して説明する。また、図１４乃至図１６に示すカラムラッチ読出し信号には、対応する図１２に示すスイッチ３６２乃至３６５と同一の符号を付して説明する。
図１４に示す例では、撮像素子１３４における各画素のうち全画素を読出す場合における撮像動作について説明する。
垂直制御線３４１乃至３４４を使用して、あるロウ（例えば、画素４０乃至４３のライン）に接続された全ての撮像素子１３４の画素データを、各カラムのデータ読出線３４６乃至３４９に出力させる。続いて、データ読出線３４６乃至３４９に出力された画素データが、各カラムのＡＤＣ３５０乃至３５３によりＡＤ変換される。続いて、ＡＤＣ３５０乃至３５３の出力が、各カラムのカラムラッチ３５８乃至３６１に保持される。例えば、図１４に示すカラムラッチ３５８乃至３６１に画素データｄ１乃至ｄ４が保持される。続いて、カラムラッチ３５８乃至３６１から出力データ線３９０への読出しスイッチ３６２乃至３６５を、水平走査回路３４５が１列ずつ順番にオンさせる。これにより１ライン中の各画素データを順番に読み出すことができる。例えば、図１４に示す出力データ線３９０に画素データｄ１が出力された後に画素データｄ２乃至ｄ３が順次出力される。
以降も同様に、水平方向の１ラインの読出しが終了する毎に、各画素から垂直信号線への読出しスイッチを、垂直走査回路３４０が１行ずつ順番にオンさせる。これにより各行の画素データがＡＤＣ３５０乃至３５３に入力される。この入力された画素データがＡＤＣ３５０乃至３５３によりＡＤ変換された後は、各画素データが、各カラムのカラムラッチ３５８乃至３６１に保持される。例えば、図１４に示すカラムラッチ３５８乃至３６１に画素データｄ５乃至ｄ８が保持される。続いて、カラムラッチ３５８乃至３６１から出力データ線３９０への読出しスイッチ３６２乃至３６５を、水平走査回路３４５が１列ずつ順番にオンさせ、１ライン中の各画素データを順番に読み出す。例えば、図１４に示す出力データ線３９０に画素データｄ５乃至ｄ８が順次出力される。
図１５に示す例では、撮像素子１３４における各画素のうち、画素間引き読出しの一例として水平間引きして読出す場合における撮像動作について説明する。
各画素から垂直信号線３４６乃至３４９への読出しスイッチを、垂直走査回路３４０が所望の列のみオンさせる。これにより特定の行の画素データのみがＡＤＣ３５０乃至３５３に入力され、ＡＤＣ３５０乃至３５３によりＡＤ変換される。そして、ＡＤＣ３５０乃至３５３の出力が、各カラムのカラムラッチ３５８乃至３６１に保持される。例えば、垂直制御線３４２および３４４に接続されている読出しスイッチをオンさせることにより、図１５に示すカラムラッチ３５８および３６０に画素データｄ１およびｄ３が保持される。この１行の読出しが終了した後に、例えば、垂直制御線３４２および３４４に接続されている読出しスイッチをオンさせることにより、図１５に示すカラムラッチ３５８および３６０に画素データｄ５およびｄ７が保持される。
また、カラムラッチ３５８乃至３６１から出力データ線３９０への読出しスイッチを、水平走査回路３４５が所望の列のみオンさせる。これにより１ライン中の特定の画素データのみを順番に読み出すことができる。
例えば、水平方向において、Ｎ個の画素データの中から１個の画素データを読み出す場合には、水平方向に１／Ｎ間引き読出しとなる。例えば、２個中に１個の画素データを読み出す場合には、水平方向に１／２間引き読出しとなり、４個中に１個の画素データを読み出す場合には、水平方向に１／４間引き読出しとなる。
水平方向（すなわち、ロウ方向）への間引き動作と同時に、垂直方向（すなわち、カラム方向）への間引き動作も行うことができる。例えば、垂直方向において、Ｍ本のラインの中からに１本のラインの画素データを読み出す場合には、垂直方向に１／Ｍ間引き読出しとなる。例えば、２本中に１本のロウの画素データを読み出す場合には、垂直方向に１／２間引き読出しとなり、４本中に１本のロウの画素データを読み出す場合には、垂直方向に１／４間引き読出しとなる。
図１６に示す例では、撮像素子１３４における各画素のうち、画素加算読出を行う場合における撮像動作について説明する。この例では、画素加算読出として、水平方向の１／２の画素加算読出し、および、垂直方向の１／２の画素加算読出しの場合における撮像動作について説明する。
全画素読出しを行う場合と同様に、垂直制御線を使用して、あるロウに接続された全ての撮像素子１３４のデータを、各カラムに備わるデータ読出線へ出力させ、ＡＤ変換してカラムラッチに保持させる。ここで、全画素読出しを行う場合とは異なり、別の垂直制御線を使用して、別のロウに接続された全ての撮像素子１３４のデータを、各カラムに備わるデータ読出線へ出力させ、ＡＤ変換する。そして、加算器を用いて、カラムラッチのデータに加算する。垂直方向に所望の本数分だけ、この方法により各画素データの値を加算し、各カラムラッチに加算後のデータを保持させる。例えば、画素データｄ１＋ｄ５、ｄ２＋ｄ６、ｄ３＋ｄ７、ｄ４＋ｄ８がカラムラッチ３５８乃至３６１に保持される。このように、垂直方向にＮ個の画素データを加算した後に、加算結果を１個の画素データとして出力することにより、垂直方向の１／Ｎの画素加算読出しとなる。
次に、カラムラッチから出力データ線３９０への読出しスイッチを、水平走査回路３４５が１列ずつ順番にオンさせる。この場合に、各カラムラッチから出力データ線３９０に読み出されたデータを、出力データ線３９０の加算器３６６により加算し、出力ラッチ３６７に保持させる。そして、水平方向に所望のカラム数分だけ加算処理を繰り返し、加算後のデータを撮像素子１３４に出力する。例えば、画素データｄ１＋ｄ５と、画素データｄ２＋ｄ６とが加算されたデータｄ１＋ｄ５＋ｄ２＋ｄ６が、出力データ線３６９を介して撮像素子１３４に出力される。このように、水平方向にＭ本のロウの画素データを加算することにより、水平方向に１／Ｍの画素加算読出しとなる。以上の処理を行うことにより、水平方向（ロウ方向）の加算処理と垂直方向（カラム方向）との加算処理が可能となる。
ここで、図１５に示す間引き読出し、および、図１６に示す画素加算の読出しを行う場合には、複数種類の間引き率、画素加算率に対応して撮像素子を動作させることが望ましい。そこで、以下では、複数種類の間引き率および画素加算率に対応して撮像素子を動作させる走査回路について説明する。
図１７は、本発明の第１の実施の形態における撮像素子１３４の間引きを行うための走査回路の一例を模式的に示す図である。図１７（ａ）には、３種類の走査回路１０４乃至１０６を示し、図１７（ｂ）には、１／Ｎ間引き走査回路の構成例を示す。また、図１７に示す例では、全画素読み出し、１／２間引き読み出し、１／４間引き読み出しの３種類の画素間引き率に対応するための撮像素子の走査回路について、撮像素子の横方向画素数が１０２４個の場合を例にして説明する。
図１７（ａ）に示すように、走査回路１０４は、１０２４本の出力信号線（ｓｃａｎ＿ａ［ｎ（０≦ｎ≦１０２３：ｎは整数）］）を備え、各信号線を１本ずつｅｎａｂｌｅ状態にした後にｄｉｓａｂｌｅ状態にする１０２４ｔｏ１走査回路である。また、走査回路１０５は、５１２本の出力信号線（ｓｃａｎ＿ｂ［ｎ（０≦ｎ≦５１１：ｎは整数）］）を備え、各信号線を１本ずつｅｎａｂｌｅ状態にした後にｄｉｓａｂｌｅ状態にする５１２ｔｏ１走査回路である。また、走査回路１０６は、２５６本の出力信号線（ｓｃａｎ＿ｃ［ｎ（０≦ｎ≦２５５：ｎは整数）］）を備え、各信号線を１本ずつｅｎａｂｌｅ状態にした後にｄｉｓａｂｌｅ状態にする２５６ｔｏ１走査回路である。
図１７（ｂ）に示すように、走査回路１０４の１０２４本の出力信号線のうち、４の倍数の番号の信号線には、走査回路１０５の出力信号線と、走査回路１０６の出力信号線と、３種類の画素間引き率の何れを選択しているのかを示す制御線とが接続される。この３種類の制御線は、全画素読み出し（ｓｅｌ＿１ｐｅｒ１）、１／２間引き読み出し（ｓｅｌ＿１ｐｅｒ２）、および、１／４間引き読み出し（ｓｅｌ＿１ｐｅｒ４）に対応する制御線である。
また、走査回路１０４の１０２４本の出力信号線のうち、４の倍数ではなく、かつ、２の倍数の番号の信号線には、走査回路１０５の出力信号線と、２種類の画素間引き率の何れを選択しているのかを示す制御線とが接続される。この２種類の制御線は、全画素読み出し、および、１／２間引き読み出しに対応する制御線である。
また、走査回路１０４の１０２４本の出力信号線のうち、上述した信号線以外の信号線には、全画素読み出しが選択されているのかを示す制御線が接続される。
図１７（ｂ）に示す走査回路からの出力（ｓｃａｎ＿ｏｕｔ［ｎ（０≦ｎ≦１０２３：ｎは整数）］）により、撮像素子１３４において、全画素読み出し、１／２間引き読み出し、１／４間引き読み出しのそれぞれの間引き処理を行うことが可能となる。
［撮像系の配置構成例］
図１８は、本発明の第１の実施の形態における撮像部１３０および被写体との関係を示す図である。なお、図１８では、図３に示す撮像部１３０における第１の撮像系１９１乃至第３の撮像系１９３のうち、光学系１３１乃至１３３、撮像素子１３４乃至１３６のみを示し、他の構成については省略する。また、図１８では、撮像対象となる被写体を被写体面３００とし、第１の撮像系１９１の光軸１９４が被写体面３００と直交するように、携帯電話装置１００が配置されている場合を模式的に示す。
撮像部１３０において、第１の撮像系１９１の光軸１９４と、第２の撮像系１９２の光軸１９５とのなす角をθ０とする。同様に、第１の撮像系１９１の光軸１９４と、第３の撮像系１９３の光軸１９６とのなす角をθ０とする。なお、第３の撮像系１９３は、第１の撮像系１９１の光軸１９４を挟んで、第２の撮像系１９２と線対象の位置となるように配置される。
また、第１の撮像系１９１において、撮像素子１３４に入射される入射光路の最も外側の線と、光軸１９４とがなす角度をθ１とする。また、第２の撮像系１９２において、撮像素子１３５に入射される入射光路の最も外側の線と、光軸１９５とがなす角度をθ２とする。同様に、第３の撮像系１９３において、撮像素子１３６に入射される入射光路の最も外側の線と、光軸１９６とがなす角度をθ２とする。例えば、図１８に示すように、撮像素子１３４における受光面の水平方向の幅が、撮像素子１３５および１３６における受光面の水平方向の幅よりも小さい。このため、撮像素子１３４に入射される画角２×θ１は、撮像素子１３５および１３６に入射される画角２×θ２よりも小さい。
ここで、撮像素子１３４に入射される画角２×θ１により、被写体面３００の撮像範囲３０１が特定される。同様に、撮像素子１３５に入射される画角２×θ２により、被写体面３００の撮像範囲３０２が特定され、撮像素子１３６に入射される画角２×θ２により、被写体面３００の撮像範囲３０３が特定される。本発明の第１の実施の形態では、撮像素子１３４乃至１３６により生成される画像を合成し、パノラマ画像を生成する。このため、被写体面３００の撮像範囲３０１と、被写体面３００の撮像範囲３０２との一部が重なるように、各光軸のなす角が設定される。具体的には、撮像範囲３０１および３０２の一部が重なるように、第１の撮像系１９１の光軸１９４と、第２の撮像系１９２の光軸１９５とのなす角θ０と、第１の撮像系１９１の光軸１９４と、第３の撮像系１９３の光軸１９６とのなす角θ０とが設定される。なお、光軸１９４乃至１９６は同一平面に含まれる。また、光軸１９４乃至１９６が１点（交点Ｐ０）で交わるように、第１の撮像系１９１乃至第３の撮像系１９３が配置される。
ここで、第１の撮像系１９１のレンズ中心をＲ１とし、第２の撮像系１９２のレンズ中心をＲ２とし、第３の撮像系１９３のレンズ中心をＲ３とする。また、レンズ中心Ｒ１と交点Ｐ０との間の距離をＬ１１とし、レンズ中心Ｒ２と交点Ｐ０との間の距離をＬ２１とし、レンズ中心Ｒ３と交点Ｐ０との間の距離をＬ３１とする。この場合に、第１の撮像系１９１乃至第３の撮像系１９３は、距離Ｌ１１、Ｌ２１およびＬ３１が等しくなるように配置することが好ましい。
［台形歪みの補正例］
図１９および図２０は、本発明の第１の実施の形態における撮像部１３０における撮像系と、これらの撮像対象となる被写体との関係を模式的に示す図である。図１９（ａ）には、撮像部１３０による撮像対象となる被写体３１０を模式的に示す。この被写体３１０は、図１８に示す被写体面３００に対応する被写体であるものとする。また、被写体３１０に対応する範囲を矩形で示し、この矩形内を格子状にして模式的に示す。
図２０（ａ）には、撮像部１３０による撮像対象となる被写体３１１乃至３１３を模式的に示す。被写体３１１は、図１９（ａ）に示す被写体３１０のうち第１の撮像系１９１に対応する被写体であるものとする。同様に、被写体３１２は、被写体３１０のうち第２の撮像系１９２に対応する被写体であり、被写体３１３は、被写体３１０のうち第３の撮像系１９３に対応する被写体であるものとする。また、被写体３１１乃至３１３のうち、被写体３１１の水平方向における両方の端部と、被写体３１２および３１３の水平方向における一の端部とが重複する。
図１９（ｂ）および図２０（ｂ）には、撮像部１３０における撮像系を示す。なお、図１９（ｂ）および図２０（ｂ）に示す例は、符号等を省略した点以外の点は、図１８に示す例と同一である。
図２１は、本発明の第１の実施の形態における撮像部１３０における撮像系と、これらにより生成される撮像画像との関係を模式的に示す図である。図２１（ａ）には、撮像部１３０により生成される撮像画像３１４乃至３１６を模式的に示す。これらの撮像画像３１４乃至３１６は、図２０（ａ）に示す被写体３１１乃至３１３に対応する撮像画像であり、被写体３１１乃至３１３内に示す格子状の矩形を模式的に示す。
図２１（ａ）に示すように、第２の撮像系１９２および第３の撮像系１９３の光軸１９５および１９６が被写体面３００に対して直交していないため、撮像画像３１５および３１６には、台形歪みが発生する。この台形歪みについては、図２２を参照して詳細に説明する。
図２２は、本発明の第１の実施の形態における撮像部１３０における撮像系と、これらの撮像対象となる被写体との関係を模式的に示す図である。なお、図２２では、説明の容易のため、第３の撮像系１９３に関する構成を省略して、第１の撮像系１９１および第２の撮像系１９２のみを示す。また、図２２に示す例は、第３の撮像系１９３に関する構成を省略した点以外の点は、図１８に示す例と略同一である。また、交点Ｐ０、角θ０、θ１およびθ２、レンズ中心Ｒ１およびＲ２、距離Ｌ１１については、図１８に示す例と同一であるため、同一の符号を付して示す。
図２２において、第１の撮像系１９１の光軸１９４と、被写体面３００との交点をＳ１１とする。また、第１の撮像系１９１の画角の右側外形線と、被写体面３００との交点をＳ１２とし、第１の撮像系１９１の画角の左側外形線と、被写体面３００との交点をＳ１３とする。
また、交点Ｓ１１を含み、かつ、光軸１９４と直交する平面であって、第１の撮像系１９１に入射される平面状の被写体領域を被写体面Ｓ１０とする。
また、第２の撮像系１９２の光軸１９５と、被写体面３００との交点をＳ２１とし、第２の撮像系１９２の画角の右側外形線と、被写体面３００との交点をＳ３２とし、第２の撮像系１９２の画角の左側外形線と、被写体面３００との交点をＳ４３とする。
また、交点Ｓ２１を含み、かつ、光軸１９５と直交する平面であって、第２の撮像系１９２に入射される平面状の被写体領域を被写体面Ｓ２０とする。
また、交点Ｓ３２を含み、かつ、光軸１９５と直交する平面であって、第２の撮像系１９２に入射される平面状の被写体領域を被写体面Ｓ３０とする。
また、交点Ｓ４３を含み、かつ、光軸１９５と直交する平面であって、第２の撮像系１９２に入射される平面状の被写体領域を被写体面Ｓ４０とする。
また、被写体面Ｓ３０と光軸１９５との交点をＳ３１とし、被写体面Ｓ４０と光軸１９５との交点をＳ４１とする。
また、第２の撮像系１９２の画角の右側外形線と、被写体面Ｓ２０との交点をＳ２２とし、第２の撮像系１９２の画角の右側外形線と、被写体面Ｓ４０との交点をＳ４２とする。
また、第２の撮像系１９２の画角の左側外形線と、被写体面Ｓ２０との交点をＳ２３とし、第２の撮像系１９２の画角の右側外形線と、被写体面Ｓ３０との交点をＳ３３とする。
また、第２の撮像系１９２のレンズ中心Ｒ２を通りかつ被写体面３００に垂直な線分１９７と、被写体面３００との交点をＳ５１とする。
例えば、画角の左端の点Ｓ４３を含む被写体面Ｓ４０と、画角の右端の点Ｓ３２を含む被写体面Ｓ３０とを比較すると、被写体面Ｓ４０は被写体面Ｓ３０よりもレンズ中心Ｒ２から遠い位置に存在する。このため、被写体面Ｓ４０が撮像される場合には、被写体面Ｓ３０が撮像される場合よりも広い領域が撮像される。例えば、被写体面Ｓ４０上と、被写体面Ｓ３０上に同じ長さの線分を被写体として配置した場合を想定する。この場合には、被写体面Ｓ３０について生成された撮像画像と、被写体面Ｓ４０について生成された撮像画像とを比較すると、被写体面Ｓ４０について生成された撮像画像に含まれる線分の方が短くなる。
このため、例えば、図２０（ａ）に示す被写体３１２が第２の撮像系１９２により撮像される場合には、図２１（ａ）に示す撮像画像３１５のように、被写体３１２に対応する領域が台形の形状となる。すなわち、図２１（ａ）に示す例では、撮像画像３１５において、被写体３１２に対応する矩形のうち、左側の辺が右側の辺よりも短くなる。
同様に、図２０（ａ）に示す被写体３１３が第３の撮像系１９３により撮像される場合には、図２１（ａ）に示す撮像画像３１６のように、被写体３１３に対応する領域が台形の形状となる。このように、３眼の撮像部により生成された撮像画像には、台形歪みが発生する。そこで、以下では、撮像画像の台形歪みを補正する台形歪み補正方法について説明する。
ここで、交点Ｓ１１とレンズ中心Ｒ１との距離をＬ１２とし、交点Ｓ１３とレンズ中心Ｒ１との距離、および、交点Ｓ１２とレンズ中心Ｒ１との距離をＬ１３とする。
また、交点Ｓ２１とレンズ中心Ｒ２との距離をＬ２２とし、交点Ｓ３１とレンズ中心Ｒ２との距離をＬ３０とし、交点Ｓ４１とレンズ中心Ｒ２との距離をＬ４０とする。
また、交点Ｓ３２とレンズ中心Ｒ２との距離をＬ２３とし、交点Ｓ４３とレンズ中心Ｒ２との距離をＬ２４とし、交点Ｓ５１とレンズ中心Ｒ２との距離をＬ５１とする。なお、距離Ｌ６１乃至Ｌ６６については、図２４を参照して説明する。
ここで、三角関数の公式により次式が成り立つ。
Ｌ２１＋Ｌ２２＝Ｌ１１＋Ｌ２２＝（Ｌ１１＋Ｌ１２）／ｃｏｓθ０
この式により、次の式１が求められる。なお、Ｌ１１＝Ｌ２１である。
Ｌ２２＝｛（Ｌ１１＋Ｌ１２）／ｃｏｓθ０｝−Ｌ１１ …式１
また、距離Ｌ５１については、三角関数の公式と式１により、次の式２が求められる。
Ｌ５１＝Ｌ２２×ｃｏｓθ０
＝［｛（Ｌ１１＋Ｌ１２）／ｃｏｓθ０｝−Ｌ１１）］×ｃｏｓθ０ …式２
また、距離Ｌ２３については、三角関数の公式と式２により、次の式３が求められる。
Ｌ２３＝Ｌ５１／ｃｏｓ（θ２−θ０）
＝（Ｌ２２×ｃｏｓθ０）／ｃｏｓ（θ２−θ０） …式３
また、距離Ｌ３０については、三角関数の公式と式３により、次の式４が求められる。
Ｌ３０＝Ｌ２３×ｃｏｓθ２
＝｛（Ｌ２２×ｃｏｓθ０）／ｃｏｓ（θ２−θ０）｝×ｃｏｓθ２
＝（［（｛（Ｌ１１＋Ｌ１２）／ｃｏｓθ０｝−Ｌ１１）×ｃｏｓθ０］／ｃｏｓ（θ２−θ０）]）×ｃｏｓθ２ …式４
ここで、第１の撮像系１９１の光軸１９４における距離Ｌ１１およびＬ１２が決定されると、式４を用いることにより、距離Ｌ３０を求めることができる。このように距離Ｌ３０を求めることにより、距離Ｌ１２に対する距離Ｌ３０の比の値ＸＲ（＝Ｌ１２／Ｌ３０）を求めることができる。なお、ＸＲ＜１である。
また、距離Ｌ２４については、三角関数の公式と式２により、次の式５が求められる。
Ｌ２４＝Ｌ５１／ｃｏｓ（θ２＋θ０）
＝（Ｌ２２×ｃｏｓθ０）／ｃｏｓ（θ２＋θ０） …式５
また、距離Ｌ４０については、三角関数の公式と式１および式５により、次の式６が求められる。
Ｌ４０＝Ｌ２４×ｃｏｓθ２
＝｛（Ｌ２２×ｃｏｓθ０）／ｃｏｓ（θ２＋θ０）｝×ｃｏｓθ２
＝［［｛（Ｌ１１＋Ｌ１２）／ｃｏｓθ０−Ｌ１１｝×ｃｏｓθ０］／ｃｏｓ（θ２＋θ０）］×ｃｏｓθ２ …式６
ここで、第１の撮像系１９１の光軸１９４における距離Ｌ１１およびＬ１２が決定されると、式６を用いることにより、距離Ｌ４０を求めることができる。このように距離Ｌ４０を求めることにより、距離Ｌ１２に対する距離Ｌ４０の比の値ＸＲ（＝Ｌ１２／Ｌ４０）を求めることができる。なお、ＸＲ＞１である。
次に、比の値ＸＲおよびＸＬを用いて、台形歪みを補正する補正方法について説明する。
図２１（ａ）に示す撮像画像３１５について、右辺の長さがＸＲ倍となり、左辺の長さがＸＬ倍となるように各座標を変換する。すなわち、撮像画像３１５における右辺側については、右辺の長さがＸＲ倍となるように、矢印３２１方向に縮小される。一方、撮像画像３１５における左辺側については、左辺の長さがＸＬ倍となるように、矢印３２２方向に拡大される。このように、補正がされた補正画像３１７を図２３（ａ）に示す。
図２３は、本発明の第１の実施の形態における撮像部１３０における撮像系と、これらにより生成された撮像画像および補正後の補正画像との関係を模式的に示す図である。図２３（ａ）には、撮像部１３０により生成される撮像画像３１４と、図２１（ａ）に示す撮像画像３１５および３１６が補正された補正画像３１７および３１８とを模式的に示す。なお、図２３（ｂ）に示す例は、符号等を省略した点以外の点は、図１８に示す例と同一である。
上述したように、図２１（ａ）に示す撮像画像３１５について、右辺の長さがＸＲ倍となり、左辺の長さがＸＬ倍となるように各座標を変換することにより、図２３（ａ）に示す補正画像３１７が生成される。このように生成された補正画像３１７は、外形が台形の画像になる。そこで、補正画像３１７における中央部を長方形に切り出すことにより、台形歪みが補正された画像３２５（太線で示す）を取得することができる。
同様に、図２１（ａ）に示す撮像画像３１６について、左辺の長さがＸＲ倍となり、右辺の長さがＸＬ倍となるように各座標を変換することにより、図２３（ａ）に示す補正画像３１８が生成される。そして、補正画像３１８における中央部を長方形に切り出すことにより、台形歪みが補正された画像３２６（太線で示す）を取得することができる。なお、撮像画像の台形歪み補正処理は、画像合成処理部２２４により行われる。
また、このような台形歪み補正を行う場合には、例えば、台形に歪んだ撮像画像における各画素の座標を計測し、比の値ＸＲおよびＸＬを予め求めておく。そして、予め求められた比の値ＸＲおよびＸＬを用いて、台形歪み補正処理を携帯電話装置１００に内蔵されているＣＰＵ等の演算装置を用いてソフトウエア的に求めることができる。
なお、この例では、３眼撮像動作により発生する撮像画像の台形歪みを補正する補正方法の一例について説明したが、他の台形歪み補正方法（例えば、特開平０８−３０７７７０号公報参照。）により補正を行うようにしてもよい。
［撮像画像の合成例］
図２４は、本発明の第１の実施の形態における画像合成処理部２２４が合成画像を生成する場合における合成の流れを模式的に示す図である。この例では、３つの撮像系の光軸がなす角度（輻輳角）に基づいて、３つの撮像系により生成された３つの撮像画像を合成する例を示す。すなわち、２つの撮像系により生成された２つの撮像画像のうち、重なり合う部分については輻輳角に基づいて何れか一方を切除し、この切除後に２つの撮像画像を合成する。
図２４（ａ）には、撮像部１３０における第１の撮像系１９１乃至第３の撮像系１９３により生成された撮像画像３１４、補正画像３１７および３１８と示す。なお、撮像画像３１４、補正画像３１７および３１８は、図２３に示すものと同一である。図２４（ａ）に示すように、台形歪みの補正処理により、台形歪みが補正された撮像画像３１４、補正画像３１７および３１８が取得される。
ここで、上述したように、補正画像３１７の右端部の領域と、撮像画像３１４の左端部の領域とには同一の被写体が含まれる。また、補正画像３１８の左端部の領域と、撮像画像３１４の右端部の領域とには同一の被写体が含まれる。そこで、以下では、これらの同一の被写体が含まれる領域の算出方法について説明する。
ここで、図２２において、交点Ｓ１１と交点Ｓ２１との距離をＬ６１とし、交点Ｓ１１と交点Ｓ１３との距離をＬ６２とし、交点Ｓ５１と交点Ｓ２１との距離をＬ６３とする。また、交点Ｓ１３と交点Ｓ５１との距離をＬ６４とし、交点Ｓ３２と交点Ｓ５１との距離をＬ６５とし、交点Ｓ３２と交点Ｓ１３との距離をＬ６６とする。なお、距離Ｌ６６は、第１の撮像系１９１により生成された撮像画像と、第２の撮像系１９２により生成された撮像画像とのうち、同一の被写体が含まれる領域を特定するための距離である。第１の撮像系１９１により生成された撮像画像の左端部の領域と、第２の撮像系１９２により生成された撮像画像の右端部の領域との共通領域である。
ここで、三角関数の公式により、次の式７および式８が成立する。
Ｌ６１＝（Ｌ１１＋Ｌ１２）×ｔａｎθ０ …式７
Ｌ６２＝Ｌ１２×ｔａｎθ１ …式８
また、三角関数の公式と式２により、次の式９が求められる。
Ｌ６３＝Ｌ５１×ｔａｎθ０
＝［｛（Ｌ１１＋Ｌ１２）／ｃｏｓθ０｝−Ｌ１１］×ｃｏｓθ０×ｔａｎθ０ …式９
また、式７乃至式８を用いて、次の式１０が求められる。
Ｌ６４＝Ｌ６１−Ｌ６２−Ｌ６３
＝｛（Ｌ１１＋Ｌ１２）×ｔａｎθ０｝−（Ｌ１２×ｔａｎθ１）−｛（Ｌ１１＋Ｌ１２）／ｃｏｓθ０｝−Ｌ１１）×ｃｏｓθ０×ｔａｎθ０ …式１０
また、三角関数の公式と式２により、次の式１１が求められる。
Ｌ６５＝Ｌ５１×ｔａｎ（θ２−θ０）
＝［｛（Ｌ１１＋Ｌ１２）／ｃｏｓθ０｝−Ｌ１１］×ｃｏｓθ０×ｔａｎ（θ２−θ０） …式１１
以上で求められた式１０および式１１を用いて、次の式１２が求められる。
Ｌ６６＝Ｌ６５−Ｌ６４
＝｛［｛（Ｌ１１＋Ｌ１２）／ｃｏｓθ０｝−Ｌ１１］×ｃｏｓθ０×ｔａｎ（θ２−θ０）｝−｛｛（Ｌ１１＋Ｌ１２）×ｔａｎθ０｝−（Ｌ１２×ｔａｎθ１）−｛（Ｌ１１＋Ｌ１２）／ｃｏｓθ０｝−Ｌ１１）×ｃｏｓθ０×ｔａｎθ０｝ …式１２
ここで、第１の撮像系１９１の光軸１９４における距離Ｌ１１およびＬ１２が決定されると、式１２を用いることにより、距離Ｌ６６を求めることができる。また、第１の撮像系１９１により生成された撮像画像の右端部の領域と、第３の撮像系１９３により生成された撮像画像の左端部の領域との共通領域についても同様に求めることができる。
図２４（ｂ）には、撮像画像３１４、補正画像３１７および３１８のうち、合成対象となる領域を示す。例えば、第１の撮像系１９１により生成された撮像画像３１４について、式１２を用いて算出された距離Ｌ６６に相当する領域を削除する。同様に、撮像画像３１４について、撮像画像３１４の右端部について算出された共通領域を削除する。図２４（ｂ）では、両端部の共通領域が削除された後の画像３２７の外形を太線で示す。
図２４（ｃ）には、撮像画像３１４、補正画像３１７および３１８を用いて生成されたパノラマ画像３３０を示す。図２４（ｂ）に示すように、撮像画像３１４において両端部の画像が削除された後に、この削除後の画像３２７と、補正画像３１７および３１８とを用いてパノラマ画像が生成される。例えば、画像３２７の左端に補正画像３１７が連結され、画像３２７の右端に補正画像３１８が連結されてパノラマ画像３３０が生成される。
図２５は、本発明の第１の実施の形態における画像合成処理部２２４が合成画像を生成する場合における合成の流れを模式的に示す図である。図２５に示す例は、図２４の変形であり、画像合成の際に削除される領域を含む画像が異なる。すなわち、図２５（ｂ）に示すように、第２の撮像系１９２により生成された撮像画像に対応する補正画像３１７について、式１２を用いて算出された距離Ｌ６６に相当する領域（右端部の領域）を削除する。同様に、補正画像３１８について、その左端部について算出された共通領域を削除する。図２５（ｂ）では、共通領域が削除された後の画像３３２および３３３の外形を太線で示す。
図２５（ｃ）には、画像３３１乃至３３３を用いて生成されたパノラマ画像３３０を示す。図２５（ｂ）に示すように、例えば、画像３３１の左端に画像３３２が連結され、画像３３１の右端に画像３３３が連結され、パノラマ画像３３０が生成される。
図２６は、本発明の第１の実施の形態における画像合成処理部２２４が合成画像を生成する場合における合成の流れを模式的に示す図である。図２６に示す例は、図２４の変形であり、画像合成の際に削除される領域を含む画像が異なる。すなわち、図２６（ｂ）に示すように、第１の撮像系１９１により生成された撮像画像３１４について、式１２を用いて算出された距離Ｌ６６の半分に相当する領域を削除する。また、第２の撮像系１９２により生成された撮像画像に対応する補正画像３１７について、式１２を用いて算出された距離Ｌ６６の半分に相当する領域（右端部の領域）を削除する。
同様に、撮像画像３１４について、撮像画像３１４の右端部について算出された共通領域の半分を削除し、第３の撮像系１９３により生成された撮像画像に対応する補正画像３１８について、共通領域の半分に相当する領域（左端部の領域）を削除する。図２６（ｂ）では、共通領域が削除された後の画像３３４乃至３３６の外形を太線で示す。
図２６（ｃ）には、画像３３４乃至３３６を用いて生成されたパノラマ画像３３０を示す。図２６（ｂ）に示すように、例えば、画像３３４の左端に画像３３５が連結され、画像３３４の右端に画像３３６が連結され、パノラマ画像３３０が生成される。このように、各画像の一部を削除することにより、適切に画像を合成することができる。
なお、これらの画像合成処理は、画像合成処理部２２４により行われる。また、図８では、画像信号処理部２２０において、画像合成処理部２２４がＹＣ変換処理部２２３の後段、かつ、シャープネス処理部２２５の前段に配置されている例を示す。ただし、画像信号処理部２２０の他の段階で画像合成処理を行うようにしてもよい。例えば、台形歪み補正処理および画像合成処理については、デモザイク処理部２２２の前段で行うようにしてもよい。また、例えば、台形歪み補正処理および画像合成処理については、デモザイク処理部２２２の後段、かつ、ＹＣ変換処理部２２３の前段で行うようにしてもよい。また、例えば、台形歪み補正処理および画像合成処理については、色調整処理部２２６の後段で行うようにしてもよい。
また、このような画像合成処理を行う場合には、例えば、台形歪み補正後の画像について、各画像の重複領域を予め計測しておく。そして、この計測された値を用いて、画像の重複領域の削除処理を携帯電話装置１００に内蔵されているＣＰＵ等の演算装置を用いてソフトウエア的に求めることができる。
この例では、輻輳角に基づいて３つの撮像画像を合成する例について説明したが、例えば、他の画像合成方法を用いて、画像合成処理を行うようにしてもよい。例えば、２つの撮像系により生成された２つの画像のうち、重複する部分については、２つの画像をパターンマッチングさせ、このパターンマッチングにより２つの画像を合成する画像合成方法を用いることができる。また、２つの撮像系により生成された２つの画像における濃度レベルの変化を求め、この濃度レベルの変化に基づいて重複する部分を求めて２つの画像を合成する画像合成方法を用いることができる。
［撮像モードの制御例］
次に、撮像素子１３４乃至１３６から画像データを読出し、その画像を表示部１４０に表示する例について説明する。
図２７は、本発明の第１の実施の形態における携帯電話装置１００による撮像処理の撮像対象となる被写体５００を示す図である。被写体５００は、例えば、山を背景にして立っている人５０１、５０２やその周辺の車５０３、家５０４等を含む被写体である。
［第２の筐体の横長状態における撮像モードの制御例］
最初に、第２の筐体１２０を横長状態とした場合における各撮像素子からの画像データの読出方法および読み出された画像データの表示方法について説明する。また、本発明の第１の実施の形態では、第２の筐体１２０を横長状態とした場合における撮像モードとして５種類の撮像モードを示す。
［３眼横長広角画像撮像モードの制御例］
図２８は、本発明の第１の実施の形態における撮像素子１３４乃至１３６における画像データの読出方法の一例（第１の読出方法）を模式的に示す図である。
図２８（ａ）には、撮像素子１３４乃至１３６において、画素データが読み出される画素データ読出領域４０３乃至４０５を示す。この画素データ読出領域４０３乃至４０５は、図４（ｂ）に示す画素データ読出領域４０３乃至４０５と同様である。このため、同一の符号を付して共通する部分についての説明を省略する。また、以下では、撮像素子１３４乃至１３６における画素データ読出領域についてはその輪郭を太線で示す。ここで、画素データ読出領域４０３乃至４０５は、図１３に示すレジスタ３７０および３８０に保持されている設定内容に基づいて決定される領域である。また、この例では、画素データ読出領域４０３乃至４０５に含まれる各画素のうち、全画素を読み出す例について説明する。
ここで、本発明の第１の実施の形態では、例えば、撮像素子１３４として、横１４４０画素×縦１９２０画素の画素数を有し、画素の横対縦比が３：４となる撮像素子を用いる例を示す。また、撮像素子１３５および１３６として、横１９２０画素×縦１４４０画素の画素数を有し、画素の横対縦比が４：３となる撮像素子を用いる例を示す。
この読出し動作を行う場合における撮像素子１３４乃至１３６の画素データの読出に関する各設定値が、図１３に示すレジスタ３７０および３８０に保持されている。具体的には、次の（１１）乃至（１７）の設定値が、複眼全画素読出し撮像時の縦方向撮像領域設定レジスタ３７４および複眼全画素読出し撮像時の横方向撮像領域設定レジスタ３８４に保持されている。
（１１）撮像素子１３４において読み出す領域（画素データ読出領域４０３）の水平方向の画素数Ｈ１０
（１２）撮像素子１３４において読み出す領域（画素データ読出領域４０３）の垂直方向の画素数Ｖ１１
（１３）撮像素子１３５および１３６において読み出す領域（画素データ読出領域４０４および４０５）の水平方向の画素数Ｈ１１
（１４）撮像素子１３５および１３６において読み出す領域（画素データ読出領域４０４および４０５）の垂直方向の画素数Ｖ１１
（１５）撮像素子１３４乃至１３６において、画素が配列されているアレイ端から読出開始位置までの水平方向の画素数および垂直方向までの画素数
（１６）撮像素子１３４乃至１３６において、垂直同期信号から垂直方向の画素読み出し開始までの垂直バックポーチ期間
（１７）撮像素子１３４乃至１３６において、水平同期信号から水平方向の画素読み出し開始までの水平バックポーチ期間
これらの設定値は、予め設定しておくようにしてもよく、ユーザ操作により、信号線Ｌ２を介して、複眼全画素読出し撮像時の縦方向撮像領域設定レジスタ３７４および複眼全画素読出し撮像時の横方向撮像領域設定レジスタ３８４に設定されるようにしてもよい。
図２８（ｂ）には、画素データ読出領域４０３乃至４０５における読出開始位置４１１乃至４１３および読出走査方向を示す。この読出開始位置４１１乃至４１３および読出走査方向は、図６（ａ）に示す読出開始位置４１１乃至４１３および読出走査方向と同様である。このため、同一の符号を付して共通する部分についての説明を省略する。
このように、撮像素子１３４乃至１３６から読み出された画像データについては、上述したように、各画像の重複部分を合成して合成画像を生成する。しかしながら、以下では、説明の容易のため、各画像の重複部分については考慮せずに説明する。この例では、横１４４０画素×縦１９２０画素の撮像素子１３４から、その一部の画像データ（横１４４０画素×縦１４４０画素）が読み出され、横１９２０画素×縦１４４０画素の撮像素子１３５および１３６から、その全部の画像データが読み出される。このように読み出された画像データを合成する場合には、横対縦の比が１１：３の約７６０万画素（横５２８０画素×縦１４４０画素）の画像が生成される。このように生成された合成画像の表示例を図２９に示す。
図２９は、本発明の第１の実施の形態における表示部１４０における画像の表示例を示す図である。図２９に示す例は、図２８に示す第１の読出方法により読み出された画像データを表示する表示例である。
図２９（ａ）には、携帯電話装置１００による撮像処理の撮像対象となる被写体５００を示す。なお、被写体５００は、図２７に示すものと同一である。ここで、被写体５００における撮像範囲５１１乃至５１３は、図４（ａ）に示す撮像素子１３４乃至１３６の画素データ読出可能領域４００乃至４０２に対応する撮像範囲であるものとする。すなわち、撮像範囲５１１は、撮像素子１３４の画素データ読出可能領域４００に対応し、撮像範囲５１２は、撮像素子１３５の画素データ読出可能領域４０１に対応し、撮像範囲５１３は、撮像素子１３６の画素データ読出可能領域４０２に対応するものとする。また、撮像範囲５１１乃至５１３のうち、図２８に示す画素データ読出領域４０３乃至４０４に対応する領域の輪郭を太線で示す。
図２９（ｂ）には、被写体５００を撮像対象とした場合に、図２８に示す第１の読出方法により読み出された画像データを表示部１４０に表示する表示例を示す。なお、図２９（ｂ）には、携帯電話装置１００を構成する第１の筐体１１０および第２の筐体１２０のうち、第１の筐体１１０を省略して示す。また、以下に示す表示例でも、第１の筐体１１０を省略して示す。
上述したように、表示部１４０の横対縦の比は４：３であるため、横対縦の比が１１：３である画像を表示部１４０の全画面に表示させることができない。そこで、表示部１４０における各画素が正方格子である場合には、例えば、図２８に示す第１の読出方法により読み出されて生成された横対縦の比が１１：３の画像を解像度変換して表示させる。例えば、その画像の横方向の画素数が表示部１４０の横方向の画素数と略同一となり、横対縦の比が１１：３となるように、画像を水平方向および垂直方向に解像度変換する。
図２９（ｂ）に示すように、解像度変換がされた合成画像を、表示部１４０における垂直方向の中央部分（撮像画像表示領域５２１）に表示させる。ここで、表示された画像の上下の余白部分（余白画像表示領域５２２および５２３）には、例えば、単一色の画像を表示させることができる。
なお、表示部１４０の各画素が正方格子でない場合には、表示部１４０に表示させた時に画像の形状が異常とならないように、表示部１４０の画素の縦横の長さの比を用いて解像度変換の倍率を変換し、この変換された画像を表示させることができる。
図２９（ｃ）には、撮像素子１３４乃至１３６から読み出された画素データを表示する場合における表示部１４０における走査方向を示す。この走査方向については、図６（ｃ）に示す例と同様であるため、ここでの説明を省略する。
［３眼横長狭角画像撮像モードの制御例］
図３０は、本発明の第１の実施の形態における撮像素子１３４乃至１３６における画像データの読出方法の一例（第２の読出方法）を模式的に示す図である。
図３０（ａ）には、撮像素子１３４乃至１３６において、画素データが読み出される画素データ読出領域４２１乃至４２３を示す。第２の読出方法は、デジタルスチルカメラ等の撮像装置のユーザが広く慣れ親しんでいる横長の画像を読み出す方法であり、例えば、撮像素子１３４の一部の領域を読み出すとともに、撮像素子１３５および１３６の一部の領域を読み出す。
画素データ読出領域４２１は、例えば、図２８に示す画素データ読出領域４０３と同一とする（例えば、横１４４０画素×縦１４４０画素の領域）。また、画素データ読出領域４２２および４２３は、例えば、垂直方向の長さＶ２１を、画素データ読出可能領域４０１および４０２の垂直方向の長さＶ２０と同一とする。また、画素データ読出領域４２２および４２３は、例えば、水平方向の長さＨ２１を、画素データ読出可能領域４０１および４０２の水平方向の長さの１／６とする。すなわち、画素データ読出領域４２２および４２３は、例えば、横２４０画素×縦１４４０画素の領域とする。また、画素データ読出領域４２１乃至４２３は、図１３に示すレジスタ３７０および３８０に保持されている設定内容に基づいて決定される領域である。また、この例では、画素データ読出領域４２１乃至４２３に含まれる各画素のうち、全画素を読み出す例について説明する。ここで、撮像素子１３４乃至１３６には、いわゆる、倒立像が結像されるため、撮像素子１３５および１３６の画素データ読出領域４２２および４２３は、撮像素子１３４の反対側の領域となる。
この読出し動作を行う場合における撮像素子１３４乃至１３６の画素データの読出に関する各設定値が、図１３に示すレジスタ３７０および３８０に保持されている。具体的には、次の（２１）乃至（２７）の設定値が、複眼全画素読出し撮像時の縦方向撮像領域設定レジスタ３７４および複眼全画素読出し撮像時の横方向撮像領域設定レジスタ３８４に保持されている。
（２１）撮像素子１３４において読み出す領域（画素データ読出領域４２１）の水平方向の画素数Ｈ２０
（２２）撮像素子１３４において読み出す領域（画素データ読出領域４２１）の垂直方向の画素数Ｖ２１
（２３）撮像素子１３５および１３６において読み出す領域（画素データ読出領域４２２および４２３）の水平方向の画素数Ｈ２１
（２４）撮像素子１３５および１３６において読み出す領域（画素データ読出領域４２２および４２３）の垂直方向の画素数Ｖ２１
（２５）撮像素子１３４乃至１３６において、画素が配列されているアレイ端から読出開始位置までの水平方向の画素数および垂直方向までの画素数
（２６）撮像素子１３４乃至１３６において、垂直同期信号から垂直方向の画素読み出し開始までの垂直バックポーチ期間
（２７）撮像素子１３４乃至１３６において、水平同期信号から水平方向の画素読み出し開始までの水平バックポーチ期間
これらの設定値は、予め設定しておくようにしてもよく、ユーザ操作により、信号線Ｌ２を介して、複眼全画素読出し撮像時の縦方向撮像領域設定レジスタ３７４および複眼全画素読出し撮像時の横方向撮像領域設定レジスタ３８４に設定されるようにしてもよい。
図３０（ｂ）には、画素データ読出領域４２１乃至４２３における読出開始位置４２４乃至４２６および読出走査方向を示す。この例では、横１４４０画素×縦１９２０画素の撮像素子１３４から、その一部の画像データ（横１４４０画素×縦１４４０画素）が読み出される。また、横１９２０画素×縦１４４０画素の撮像素子１３５および１３６から、その一部の画像データ（横２４０画素×縦１４４０画素）が読み出される。このように読み出された画像データを合成する場合には、横対縦の比が４：３の約２７６万画素（横１９２０画素×縦１４４０画素）の画像が生成される。このように生成された合成画像の表示例を図２９に示す。
このように、画素データ読出領域４２１乃至４２３は、撮像素子１３５および１３６における読出領域の大きさを、第１の読出方法よりも小さくした例である。そして、第２の読出方法により読み出された画像データを合成して生成される合成画像は、横対縦の比が４：３（１６：９等とするようにしてもよい）となる。このため、現在、市販されている撮像装置における記録用画像の横対縦の比と同じ横対縦比の合成画像を生成して表示させることができる。
図３１は、本発明の第１の実施の形態における表示部１４０における画像の表示例を示す図である。図３１に示す例は、図３０に示す第２の読出方法により読み出された画像データを表示する表示例である。
図３１（ａ）には、携帯電話装置１００による撮像処理の撮像対象となる被写体５００を示す。図３１（ａ）に示す例は、画素データ読出領域が変更された点以外は、図２９（ａ）に示す例と略同様である。このため、図２９（ａ）と共通する部分には同一の符号を付して、その部分についての説明を省略する。なお、撮像範囲５１１乃至５１３のうち、図３０に示す画素データ読出領域４２１乃至４２３に対応する領域の輪郭を太線で示す。
図３１（ｂ）には、被写体５００を撮像対象とした場合に、図３０に示す第２の読出方法により読み出された画像データを表示部１４０に表示する表示例を示す。
上述したように、表示部１４０の横対縦の比は４：３であり、横対縦の比が４：３であるため、合成画像を表示部１４０の全画面に表示させることができる。例えば、合成画像のサイズが表示部１４０の画素数と同一となるように解像度変換し、表示部１４０に表示させる。また、この場合には、図２９（ｂ）に示す余白画像表示領域５２２および５２３が不要となる。
なお、図３０に示す第２の読出方法により読み出されて生成された合成画像の横対縦の比が、表示装置の横対縦の比と同じでない場合には、第１の読出方法と同様に表示させることができる。この場合に、例えば、表示された合成画像の上下の余白部分（余白画像表示領域）には、例えば、単一色を表示させる。
図３１（ｃ）には、撮像素子１３４乃至１３６から読み出された画素データを表示する場合における表示部１４０における走査方向を示す。この走査方向については、図６（ｃ）に示す例と同様であるため、ここでの説明を省略する。
［単眼横長画像撮像モードの制御例］
図３２は、本発明の第１の実施の形態における撮像素子１３４乃至１３６における画像データの読出方法の一例（第３の読出方法）を模式的に示す図である。
図３２（ａ）には、撮像素子１３４乃至１３６において、画素データが読み出される画素データ読出領域４３１を示す。第３の読出方法は、デジタルスチルカメラ等の撮像装置のユーザが広く慣れ親しんでいる横長の画像を読み出す方法であり、例えば、撮像素子１３４の横方向の略全ての領域を読み出すとともに、縦方向では横方向よりも画素数の少ない領域を読み出す。なお、撮像素子１３５および１３６からの読出しは行わない。
画素データ読出領域４３１は、例えば、水平方向の長さＨ３０を、画素データ読出可能領域４００の水平方向の長さと同一とし、垂直方向の長さＶ３０を、画素データ読出可能領域４００の垂直方向の長さの半分程度とする。画素データ読出領域４３１は、例えば、横１４４０画素×縦１０８０画素の領域とする。また、画素データ読出領域４３１は、図１３に示すレジスタ３７０および３８０に保持されている設定内容に基づいて決定される領域である。また、この例では、画素データ読出領域４３１に含まれる各画素のうち、全画素を読み出す例について説明する。
この読出し動作を行う場合における撮像素子１３４の画素データの読出に関する各設定値が、図１３に示すレジスタ３７０および３８０に保持されている。具体的には、次の（３１）乃至（３５）の設定値が、単眼全画素読出し撮像時の縦方向撮像領域設定レジスタ３７１および単眼全画素読出し撮像時の横方向撮像領域設定レジスタ３８１に保持されている。
（３１）撮像素子１３４において読み出す領域（画素データ読出領域４３１）の水平方向の画素数Ｈ３０
（３２）撮像素子１３４において読み出す領域（画素データ読出領域４３１）の垂直方向の画素数Ｖ３０
（３３）撮像素子１３４において、画素が配列されているアレイ端から読出開始位置までの水平方向の画素数および垂直方向までの画素数
（３４）撮像素子１３４において、垂直同期信号から垂直方向の画素読み出し開始までの垂直バックポーチ期間
（３５）撮像素子１３４において、水平同期信号から水平方向の画素読み出し開始までの水平バックポーチ期間
これらの設定値は、予め設定しておくようにしてもよく、ユーザ操作により、信号線Ｌ２を介して、単眼全画素読出し撮像時の縦方向撮像領域設定レジスタ３７１および単眼全画素読出し撮像時の横方向撮像領域設定レジスタ３８１に設定されるようにしてもよい。
図３２（ｂ）には、画素データ読出領域４３１における読出開始位置４３２および読出走査方向を示す。この例では、横１４４０画素×縦１９２０画素の撮像素子１３４から、その一部の画像データ（横１４４０画素×縦１０８０画素）が読み出される。また、撮像素子１３５および１３６からの読出は行われない。このように読み出された画像データを用いて、横対縦の比が４：３の約１５６万画素（横１４４０画素×縦１０８０画素）の画像が生成される。このように生成された画像の表示例を図３３に示す。
このように、画素データ読出領域４３１は、撮像素子１３４のみから読出しを行い、撮像素子１３５および１３６からの読出しを行わない例である。そして、第３の読出方法により読み出された画像データに基づいて生成される画像は、第２の読出方法と同様に、横対縦の比が４：３（１６：９等とするようにしてもよい）となる。このため、現在、市販されている撮像装置における記録用画像の横対縦の比と同じ横対縦比の画像を生成して表示させることができる。また、例えば、一般に広く普及しているＶＧＡ（Video Graphics Array）画像（横６４０画素×縦４８０画素）よりも高精細な画像を、撮像素子１３５および１３６を動作させずに生成することができる。これにより、消費電力を低減させることができる。
図３３は、本発明の第１の実施の形態における表示部１４０における画像の表示例を示す図である。図３３に示す例は、図３２に示す第３の読出方法により読み出された画像データを表示する表示例である。
図３３（ａ）には、携帯電話装置１００による撮像処理の撮像対象となる被写体５００を示す。図３３（ａ）に示す例は、画素データ読出領域が変更された点以外は、図２９（ａ）に示す例と略同様である。このため、図２９（ａ）と共通する部分には同一の符号を付して、その部分についての説明を省略する。なお、撮像範囲５１１乃至５１３のうち、図３２に示す画素データ読出領域４３１に対応する領域の輪郭を太線で示す。
図３３（ｂ）には、被写体５００を撮像対象とした場合に、図３０に示す第２の読出方法により読み出された画像データを表示部１４０に表示する表示例を示す。
上述したように、表示部１４０の横対縦の比は４：３であり、生成された画像の横対縦の比が４：３であるため、画像を表示部１４０の全画面に表示させることができる。例えば、画像のサイズが表示部１４０の画素数と同一となるように解像度変換し、表示部１４０に表示させる。また、この場合には、図２９（ｂ）に示す余白画像表示領域５２２および５２３が不要となる。
なお、図３２に示す第３の読出方法により読み出されて生成された画像の横対縦の比が、表示装置の横対縦の比と同じでない場合には、第１の読出方法と同様に表示させることができる。この場合に、例えば、表示された合成画像の上下の余白部分（余白画像表示領域）には、例えば、単一色を表示させる。
図３３（ｃ）には、撮像素子１３４乃至１３６から読み出された画素データを表示する場合における表示部１４０における走査方向を示す。この走査方向については、図６（ｃ）に示す例と同様であるため、ここでの説明を省略する。
［単眼縦長画像撮像モードの制御例］
図３４は、本発明の第１の実施の形態における撮像素子１３４乃至１３６における画像データの読出方法の一例（第４の読出方法）を模式的に示す図である。
図３４（ａ）には、撮像素子１３４乃至１３６において、画素データが読み出される画素データ読出領域４３５を示す。第４の読出方法は、携帯電話装置のユーザが広く慣れ親しんでいる縦長の画像を読み出す方法であり、例えば、撮像素子１３４の全ての領域を読み出す。なお、撮像素子１３５および１３６からの読出しは行わない。
画素データ読出領域４３５は、例えば、水平方向の長さＨ４０を、画素データ読出可能領域４００の水平方向の長さと同一とし、垂直方向の長さＶ４０を、画素データ読出可能領域４００の垂直方向の長さ同一とする。画素データ読出領域４３５は、例えば、横１４４０画素×縦１９２０画素の領域とする。また、画素データ読出領域４３５は、図１３に示すレジスタ３７０および３８０に保持されている設定内容に基づいて決定される領域である。また、この例では、画素データ読出領域４３５に含まれる各画素のうち、全画素を読み出す例について説明する。
この読出し動作を行う場合における撮像素子１３４の画素データの読出に関する各設定値が、図１３に示すレジスタ３７０および３８０に保持されている。具体的には、次の（４１）乃至（４５）の設定値が、単眼全画素読出し撮像時の縦方向撮像領域設定レジスタ３７１および単眼全画素読出し撮像時の横方向撮像領域設定レジスタ３８１に保持されている。
（４１）撮像素子１３４において読み出す領域（画素データ読出領域４３５）の水平方向の画素数Ｈ４０
（４２）撮像素子１３４において読み出す領域（画素データ読出領域４３５）の垂直方向の画素数Ｖ４０
（４３）撮像素子１３４において、画素が配列されているアレイ端から読出開始位置までの水平方向の画素数および垂直方向までの画素数
（４４）撮像素子１３４において、垂直同期信号から垂直方向の画素読み出し開始までの垂直バックポーチ期間
（４５）撮像素子１３４において、水平同期信号から水平方向の画素読み出し開始までの水平バックポーチ期間
これらの設定値は、予め設定しておくようにしてもよく、ユーザ操作により、信号線Ｌ２を介して、単眼全画素読出し撮像時の縦方向撮像領域設定レジスタ３７１および単眼全画素読出し撮像時の横方向撮像領域設定レジスタ３８１に設定されるようにしてもよい。
図３４（ｂ）には、画素データ読出領域４３５における読出開始位置４３６および読出走査方向を示す。この例では、横１４４０画素×縦１９２０画素の撮像素子１３４から、その全部の画像データ（横１４４０画素×縦１９２０画素）が読み出される。また、撮像素子１３５および１３６からの読出は行われない。このように読み出された画像データを用いて、横対縦の比が３：４の約２７６万画素（横１４４０画素×縦１９２０画素）の画像が生成される。このように生成された画像の表示例を図３５に示す。
このように、画素データ読出領域４３５は、撮像素子１３４から読出しを行い、撮像素子１３５および１３６からの読出しを行わない例である。そして、第４の読出方法により読み出された画像データに基づいて生成される画像は、横対縦の比が３：４となる。このため、例えば、一般に広く普及している縦長のＶＧＡ画像（横６４０画素×縦４８０画素）よりも高精細な画像を、撮像素子１３５および１３６を動作させずに生成することができる。これにより、消費電力を低減させることができる。
図３５は、本発明の第１の実施の形態における表示部１４０における画像の表示例を示す図である。図３５に示す例は、図３４に示す第４の読出方法により読み出された画像データを表示する表示例である。
図３５（ａ）には、携帯電話装置１００による撮像処理の撮像対象となる被写体５００を示す。図３５（ａ）に示す例は、画素データ読出領域が変更された点以外は、図２９（ａ）に示す例と略同様である。このため、図２９（ａ）と共通する部分には同一の符号を付して、その部分についての説明を省略する。なお、撮像範囲５１１乃至５１３のうち、図３４に示す画素データ読出領域４３５に対応する領域の輪郭を太線で示す。
図３５（ｂ）には、被写体５００を撮像対象とした場合に、図３４に示す第４の読出方法により読み出された画像データを表示部１４０に表示する表示例を示す。
上述したように、表示部１４０の横対縦の比は４：３であるため、生成された画像の横対縦の比が３：４である画像を表示部１４０の全画面に表示させることができない。そこで、例えば、第１の読出方法と同様に、横対縦の比が３：４の画像を解像度変換して表示させる。例えば、その画像の縦方向の画素数が表示部１４０の縦方向の画素数と略同一となり、横対縦の比が３：４となるように、画像を水平方向および垂直方向に解像度変換する。
図３５（ｂ）に示すように、解像度変換がされた画像を、表示部１４０における水平方向の中央部分（撮像画像表示領域５２７）に表示させる。ここで、表示された画像の左右の余白部分（余白画像表示領域５２８および５２９）には、例えば、単一色の画像を表示させることができる。
なお、第４の読出方法により読み出されて生成された画像の横対縦の比が、表示装置の横対縦の比と同じでない場合には、第１の読出方法と同様に表示させることができる。
図３５（ｃ）には撮像素子１３４乃至１３６から読み出された画素データを表示する場合における表示部１４０における走査方向を示す。この走査方向については、図６（ｃ）に示す例と同様であるため、ここでの説明を省略する。
［単眼縦長小領域画像撮像モードの制御例］
図３６は、本発明の第１の実施の形態における撮像素子１３４乃至１３６における画像データの読出方法の一例（第５の読出方法）を模式的に示す図である。
図３６（ａ）には、撮像素子１３４乃至１３６において、画素データが読み出される画素データ読出領域４３７を示す。第５の読出方法は、携帯電話装置のユーザが広く慣れ親しんでいる縦長の画像を読み出す方法であり、例えば、撮像素子１３４の一部の領域を読み出す。なお、撮像素子１３５および１３６からの読出しは行わない。
画素データ読出領域４３７は、例えば、水平方向の長さＨ５０を、画素データ読出可能領域４００の水平方向の長さよりも短くし、垂直方向の長さＶ５０を、画素データ読出可能領域４００の垂直方向の長さよりも短くする。画素データ読出領域４３７は、例えば、横４８０画素×縦６４０画素の領域とする。また、画素データ読出領域４３７は、図１３に示すレジスタ３７０および３８０に保持されている設定内容に基づいて決定される領域である。また、この例では、画素データ読出領域４３７に含まれる各画素のうち、全画素を読み出す例について説明する。
この読出し動作を行う場合における撮像素子１３４の画素データの読出に関する各設定値が、図１３に示すレジスタ３７０および３８０に保持されている。具体的には、次の（５１）乃至（５５）の設定値が、単眼全画素読出し撮像時の縦方向撮像領域設定レジスタ３７１および単眼全画素読出し撮像時の横方向撮像領域設定レジスタ３８１に保持されている。
（５１）撮像素子１３４において読み出す領域（画素データ読出領域４３７）の水平方向の画素数Ｈ５０
（５２）撮像素子１３４において読み出す領域（画素データ読出領域４３７）の垂直方向の画素数Ｖ５０
（５３）撮像素子１３４において、画素が配列されているアレイ端から読出開始位置までの水平方向の画素数および垂直方向までの画素数
（５４）撮像素子１３４において、垂直同期信号から垂直方向の画素読み出し開始までの垂直バックポーチ期間
（５５）撮像素子１３４において、水平同期信号から水平方向の画素読み出し開始までの水平バックポーチ期間
これらの設定値は、予め設定しておくようにしてもよく、ユーザ操作により、信号線Ｌ２を介して、単眼全画素読出し撮像時の縦方向撮像領域設定レジスタ３７１および単眼全画素読出し撮像時の横方向撮像領域設定レジスタ３８１に設定されるようにしてもよい。
図３６（ｂ）には、画素データ読出領域４３７における読出開始位置４３８および読出走査方向を示す。この例では、横１４４０画素×縦１９２０画素の撮像素子１３４から、その一部の画像データ（横４８０画素×縦６４０画素）が読み出される。また、撮像素子１３５および１３６からの読出は行われない。このように読み出された画像データを用いて、横対縦の比が３：４の約３１万画素（横４８０画素×縦６４０画素）の画像が生成される。このように生成された画像の表示例を図３７に示す。
このように、画素データ読出領域４３７は、撮像素子１３４の一部から読出しを行い、撮像素子１３５および１３６からの読出しを行わない例である。また、第５の読出方法により読み出された画像データに基づいて生成される画像は、例えば、第４の読出方法により生成される画像よりも無線伝送に適する画像（すなわち、データ量が少ない画像）である。
図３７は、本発明の第１の実施の形態における表示部１４０における画像の表示例を示す図である。図３７に示す例は、図３６に示す第５の読出方法により読み出された画像データを表示する表示例である。
図３７（ａ）には、携帯電話装置１００による撮像処理の撮像対象となる被写体５００を示す。図３７（ａ）に示す例は、画素データ読出領域が変更された点以外は、図２９（ａ）に示す例と略同様である。このため、図２９（ａ）と共通する部分には同一の符号を付して、その部分についての説明を省略する。なお、撮像範囲５１１乃至５１３のうち、図３６に示す画素データ読出領域４３７に対応する領域の輪郭を太線で示す。
図３７（ｂ）には、被写体５００を撮像対象とした場合に、図３６に示す第５の読出方法により読み出された画像データを表示部１４０に表示する表示例を示す。
上述したように、表示部１４０の横対縦の比は４：３であるため、横対縦の比が３：４である画像を表示部１４０の全画面に表示させることができない。そこで、例えば、第４の読出方法と同様に、横対縦の比が３：４の画像を解像度変換して表示させる。例えば、その画像の縦方向の画素数が表示部１４０の縦方向の画素数と略同一となり、横対縦の比が３：４となるように、画像を水平方向および垂直方向に解像度変換する。
図３７（ｂ）に示すように、解像度変換がされた画像を、表示部１４０における水平方向の中央部分（撮像画像表示領域５３１）に表示させる。ここで、表示された画像の左右の余白部分（余白画像表示領域５３２および５３３）には、例えば、単一色の画像を表示させることができる。
なお、第５の読出方法により読み出されて生成された画像の横対縦の比が、表示装置の横対縦の比と同じでない場合には、第１の読出方法と同様に表示させることができる。
図３７（ｃ）には、撮像素子１３４乃至１３６から読み出された画素データを表示する場合における表示部１４０における走査方向を示す。この走査方向については、図６（ｃ）に示す例と同様であるため、ここでの説明を省略する。
ここで、撮像素子１３４乃至１３６の画素データの読出に関する各設定値は、上述したように、図１３に示すレジスタ３７０および３８０に保持されるとともに、撮像制御部２０１に保持される。そして、第２の筐体１２０が横長状態である場合には、図１等に示す撮像範囲切替スイッチ１１１がユーザが押下される毎に、第１の読出方法乃至第５の読出方法が切り替えられる。この場合に、撮像範囲切替スイッチ１１１が押下される毎に、撮像制御部２０１がその押下を検出し、第１の読出方法乃至第５の読出方法を順次切り替える。また、例えば、携帯電話装置１００が起動した直後に、第２の筐体１２０が横長状態である場合には、第１の読出方法を設定することができる。
［画素間引きおよび画素加算の例］
以上では、第１の読出方法乃至第５の読出方法として、画素データ読出領域に含まれる全ての画素を読み出す例について説明した。しかしながら、使用目的に応じて、高精細な画像が必要でない場合も想定される。そこで、以下では、画素データ読出領域に含まれる各画素のうちの一部を読み出して消費電力を低減させる例について説明する。
以下で示す第６の読出方法乃至第１０の読出方法は、撮像素子１３４乃至１３６において画素間引き処理を行うことにより、画素データ読出領域に含まれる各画素のうちの一部を読み出す例である。なお、以下での説明は省略するが、撮像素子１３４乃至１３６において画素加算処理を行うことにより、画素データ読出領域に含まれる各画素のうちの一部を読み出すようにしてもよい。
［３眼横長広角画像撮像モードの間引き例］
最初に、第６の読出方法について、図２８および図２９を参照して説明する。第６の読出方法は、第１の読出方法に対応するものであり、図２８に示す画素データ読出領域４０３乃至４０５において、縦方向で１／２の画素間引き読み出しを行い、横方向で１／２の間引き読出しを行う例である。すなわち、横１４４０画素×縦１９２０画素の撮像素子１３４における画素データ読出領域４０３から、縦方向および横方向において１／２に間引きされた画像データ（横７２０画素×縦７２０画素）が読み出される。また、横１９２０画素×縦１４４０画素の撮像素子１３５および１３６における画素データ読出領域４０４および４０５から、縦方向および横方向において１／２に間引きされた画像データ（横９６０画素×縦７２０画素）が読み出される。このように読み出された画像データを合成する場合には、横対縦の比が１１：３の約１９０万画素（横２６４０画素×縦７２０画素）の画像が生成される。この画像は、図２９に示す例と同様に、水平方向に比較的広い画角であり、かつ、ＶＧＡ画像よりも高精細な画像である。また、第１の読出方法よりも少ない消費電力により生成することができる。
この読出し動作を行う場合における撮像素子１３４乃至１３６の画素データの読出に関する各設定値が、図１３に示すレジスタ３７０および３８０に保持されている。具体的には、上述した（１１）乃至（１７）の設定値が、複眼画素間引き読出し撮像時の縦方向撮像領域設定レジスタ３７５および複眼画素間引き読出し撮像時の横方向撮像領域設定レジスタ３８５に保持されている。また、水平方向および垂直方向の間引き間隔が、複眼画素間引き読出し撮像時の縦方向画素間引き間隔設定レジスタ３７６および複眼画素間引き読出し撮像時の横方向画素間引き間隔設定レジスタ３８６に保持されている。
これらの設定値は、予め設定しておくようにしてもよく、ユーザ操作により、信号線Ｌ２を介して設定されるようにしてもよい。
［３眼横長狭角画像撮像モードの間引き例］
次に、第７の読出方法について、図３０および図３１を参照して説明する。第７の読出方法は、第２の読出方法に対応するものであり、図３０に示す画素データ読出領域４２１乃至４２３において、縦方向で１／２の画素間引き読み出しを行い、横方向で１／２の間引き読出しを行う例である。すなわち、横１４４０画素×縦１９２０画素の撮像素子１３４における画素データ読出領域４２１から、縦方向および横方向において１／２に間引きされた画像データ（横７２０画素×縦７２０画素）が読み出される。また、横１９２０画素×縦１４４０画素の撮像素子１３５および１３６における画素データ読出領域４２２および４２３から、縦方向および横方向において１／２に間引きされた画像データ（横２４０画素×縦７２０画素）が読み出される。このように読み出された画像データを合成する場合には、横対縦の比が４：３の約６９万画素（横９６０画素×縦７２０画素）の画像が生成される。この画像は、図３１に示す例と同様に、水平方向に比較的広い画角であり、かつ、ＶＧＡ画像よりも高精細な画像である。また、第２の読出方法よりも少ない消費電力により生成することができる。
この読出し動作を行う場合における撮像素子１３４乃至１３６の画素データの読出に関する各設定値が、図１３に示すレジスタ３７０および３８０に保持されている。具体的には、上述した（１１）乃至（２７）の設定値が、複眼画素間引き読出し撮像時の縦方向撮像領域設定レジスタ３７５および複眼画素間引き読出し撮像時の横方向撮像領域設定レジスタ３８５に保持されている。また、水平方向および垂直方向の間引き間隔が、複眼画素間引き読出し撮像時の縦方向画素間引き間隔設定レジスタ３７６および複眼画素間引き読出し撮像時の横方向画素間引き間隔設定レジスタ３８６に保持されている。
これらの設定値は、予め設定しておくようにしてもよく、ユーザ操作により、信号線Ｌ２を介して設定されるようにしてもよい。
［単眼横長画像撮像モードの間引き例］
次に、第８の読出方法について、図３２および図３３を参照して説明する。第８の読出方法は、第３の読出方法に対応するものであり、図３２に示す画素データ読出領域４３１において、縦方向で１／２の画素間引き読み出しを行い、横方向で１／２の間引き読出しを行う例である。すなわち、横１４４０画素×縦１９２０画素の撮像素子１３４における画素データ読出領域４３１から、縦方向および横方向において１／２に間引きされた画像データ（横７２０画素×縦５４０画素）が読み出される。このように読み出された画像データを合成する場合には、横対縦の比が４：３の約３９万画素（横７２０画素×縦５４０画素）の画像が生成される。この画像は、図３３に示す例と同一の画角であり、かつ、ＶＧＡ画像よりも高精細な画像である。また、第３の読出方法よりも少ない消費電力により生成することができる。
この読出し動作を行う場合における撮像素子１３４の画素データの読出に関する各設定値が、図１３に示すレジスタ３７０および３８０に保持されている。具体的には、上述した（３１）乃至（３５）の設定値が、単眼画素間引き読出し撮像時の縦方向撮像領域設定レジスタ３７２および単眼画素間引き読出し撮像時の横方向撮像領域設定レジスタ３８２に保持されている。また、水平方向および垂直方向の間引き間隔が、単眼画素間引き読出し撮像時の縦方向画素間引き間隔設定レジスタ３７３および単眼画素間引き読出し撮像時の横方向画素間引き間隔設定レジスタ３８３に保持されている。
これらの設定値は、予め設定しておくようにしてもよく、ユーザ操作により、信号線Ｌ２を介して設定されるようにしてもよい。
［単眼縦長画像撮像モードの間引き例］
次に、第９の読出方法について、図３４および図３５を参照して説明する。第９の読出方法は、第４の読出方法に対応するものであり、図３４に示す画素データ読出領域４３５において、縦方向で１／２の画素間引き読み出しを行い、横方向で１／２の間引き読出しを行う例である。すなわち、横１４４０画素×縦１９２０画素の撮像素子１３４における画素データ読出領域４３５から、縦方向および横方向において１／２に間引きされた画像データ（横７２０画素×縦９６０画素）が読み出される。このように読み出された画像データを合成する場合には、横対縦の比が３：４の約６９万画素（横７２０画素×縦９６０画素）の画像が生成される。この画像は、図３５に示す例と同一の画角であり、かつ、ＶＧＡ画像よりも高精細な画像である。また、第４の読出方法よりも少ない消費電力により生成することができる。
この読出し動作を行う場合における撮像素子１３４の画素データの読出に関する各設定値が、図１３に示すレジスタ３７０および３８０に保持されている。具体的には、上述した（３１）乃至（３５）の設定値が、単眼画素間引き読出し撮像時の縦方向撮像領域設定レジスタ３７２および単眼画素間引き読出し撮像時の横方向撮像領域設定レジスタ３８２に保持されている。また、水平方向および垂直方向の間引き間隔が、単眼画素間引き読出し撮像時の縦方向画素間引き間隔設定レジスタ３７３および単眼画素間引き読出し撮像時の横方向画素間引き間隔設定レジスタ３８３に保持されている。
これらの設定値は、予め設定しておくようにしてもよく、ユーザ操作により、信号線Ｌ２を介して設定されるようにしてもよい。
［単眼縦長小領域画像撮像モードの間引き例］
次に、第１０の読出方法について、図３６および図３７を参照して説明する。第１０の読出方法は、第５の読出方法に対応するものであり、図３６に示す画素データ読出領域４３７において、縦方向で１／２の画素間引き読み出しを行い、横方向で１／２の間引き読出しを行う例である。すなわち、横１４４０画素×縦１９２０画素の撮像素子１３４における画素データ読出領域４３７から、縦方向および横方向において１／２に間引きされた画像データ（横２４０画素×縦３２０画素）が読み出される。このように読み出された画像データを合成する場合には、横対縦の比が３：４の約８万画素（横２４０画素×縦３２０画素）の画像が生成される。この画像は、図３７に示す例と同一の画角である。また、第５の読出方法よりも少ない消費電力により生成することができる。
この読出し動作を行う場合における撮像素子１３４の画素データの読出に関する各設定値が、図１３に示すレジスタ３７０および３８０に保持されている。具体的には、上述した（５１）乃至（５５）の設定値が、単眼画素間引き読出し撮像時の縦方向撮像領域設定レジスタ３７２および単眼画素間引き読出し撮像時の横方向撮像領域設定レジスタ３８２に保持されている。また、水平方向および垂直方向の間引き間隔が、単眼画素間引き読出し撮像時の縦方向画素間引き間隔設定レジスタ３７３および単眼画素間引き読出し撮像時の横方向画素間引き間隔設定レジスタ３８３に保持されている。
これらの設定値は、予め設定しておくようにしてもよく、ユーザ操作により、信号線Ｌ２を介して設定されるようにしてもよい。
［第２の筐体の縦長状態における撮像モードの制御例］
次に、第２の筐体１２０を縦長状態とした場合における各撮像素子からの画像データの読出方法および読み出された画像データの表示方法について説明する。また、本発明の第１の実施の形態では、第２の筐体１２０を縦長状態とした場合における撮像モードとして４種類の撮像モードを示す。ここで、例えば、第２の筐体１２０を縦長状態として撮影が行われている場合には、ユーザには横長の広角画像を撮影する意思がないと想定される。そこで、本発明の第１の実施の形態では、第２の筐体１２０を縦長状態とされている場合には、水平方向に比較的狭い範囲の画像を生成する例を示す。
［３眼横長狭角画像撮像の制御例］
第１１の読出方法は、上述した第２の読出方法と同様に、デジタルスチルカメラ等の撮像装置のユーザが広く慣れ親しんでいる横長の画像を読み出す方法である。例えば、撮像素子１３４の一部の領域を読み出すとともに、撮像素子１３５および１３６の一部の領域を読み出す。このため、第１１の読出方法として、上述した第２の読出方法と同様の画素データ読出領域４２１乃至４２３（図３０に示す）において、全画素を読み出す例について説明する。
なお、画素データ読出領域４２１乃至４２３、これに関連する各設定値のレジスタ３７０および３８０の保持内容については、図３０（ａ）に示す例と同様であるため、ここでの説明を省略する。また、画素データ読出領域４２１乃至４２３における読出開始位置４２４乃至４２６および読出走査方向についても、図３０（ｂ）に示す例と同様であるため、ここでの説明を省略する。また、生成された合成画像の表示例を図３８に示す。
図３８は、本発明の第１の実施の形態における表示部１４０における画像の表示例を示す図である。図３８に示す例は、第１１の読出方法により読み出された画像データを表示する表示例である。
図３８（ａ）には、携帯電話装置１００による撮像処理の撮像対象となる被写体５００を示す。図３８（ａ）に示す例は、画素データ読出領域が変更された点以外は、図２９（ａ）に示す例と略同様である。このため、図２９（ａ）と共通する部分には同一の符号を付して、その部分についての説明を省略する。なお、撮像範囲５１１乃至５１３のうち、図３０に示す画素データ読出領域４２１乃至４２３に対応する領域の輪郭を太線で示す。
図３８（ｂ）には、被写体５００を撮像対象とした場合に、第１１の読出方法により読み出された画像データを表示部１４０に表示する表示例を示す。なお、図３８（ｂ）には、第１の筐体１１０を縦長状態にした場合を示す。また、第１の筐体１１０を縦長状態にした場合における表示部１４０の横対縦の比は３：４となる。
上述したように、表示部１４０の横対縦の比は３：４であるため、生成された画像の横対縦の比が４：３である画像を表示部１４０の全画面に表示させることができない。そこで、例えば、第１の読出方法と同様に、横対縦の比が４：３の画像を解像度変換して表示させる。例えば、その画像の横方向の画素数が表示部１４０の横方向の画素数と略同一となり、横対縦の比が４：３となるように、画像を水平方向および垂直方向に解像度変換する。
図３８（ｂ）に示すように、解像度変換がされた画像を、表示部１４０における垂直方向の中央部分（撮像画像表示領域５４１）に表示させる。ここで、表示された画像の上下の余白部分（余白画像表示領域５４２および５４３）には、例えば、単一色の画像を表示させることができる。
図３８（ｃ）には、画像メモリ１７０に書き込まれた撮像画像および余白画像を表示する際の表示部１４０の走査方向を模式的に示す。
［撮像画像の回転処理例］
ここで、第２の筐体１２０が縦長状態である場合において、撮像素子において読み出された画像を、上述した第２の筐体１２０の横長状態と同様に表示部１４０に表示させる場合を想定する。この場合には、第２の筐体１２０が９０度回動しているため、第１の筐体１１０を基準とすると、９０度回動された画像が表示部１４０に表示される。すなわち、ユーザにとっても、表示部１４０に表示された画像に含まれる被写体が、９０度回転された状態となるため、違和感を覚えることになる。そこで、以下では、第２の筐体１２０の回動方向とは反対方向に画像を９０度回転させて表示させる例について説明する。
図３９は、本発明の第１の実施の形態における表示部１４０に表示される画像を回転させる回転処理を模式的に示す図である。この例では、撮像時における被写体の向きと、撮像素子における走査方向と、画像メモリ１７０への画像データの書き込み時および読出し時における方向と、表示部１４０における表示の走査方向と、表示部１４０に表示される被写体の向きとの関係を示す。なお、画像メモリ１７０への画像データの書き込みおよび読出しは、ＤＳＰ２００により行われる。
図３９（ａ）には、撮像素子１３４乃至１３６において、走査方向に読み出された撮像画像５４５が、その走査方向でＤＳＰ２００により画像メモリ１７０に書き込まれた状態を模式的に示す。図３９（ａ）では、撮像素子１３４乃至１３６における走査方向を矢印で示す。
図３９（ｂ）には、画像メモリ１７０に書き込まれた撮像画像５４５について、撮像素子１３４乃至１３６の走査方向と直交する方向に走査しながら読み出す状態を模式的に示す。図３９（ｂ）では、画像メモリ１７０から読み出される撮像画像５４５の走査方向を矢印で示す。
図３９（ｃ）には、図３９（ｂ）に示す走査方向で画像メモリ１７０から読み出された撮像画像５４５について、図３９（ａ）に示す方向と同一の方向で走査しながら画像メモリ１７０へ書き戻す状態を模式的に示す。図３９（ｃ）では、画像メモリ１７０に書き込まれる撮像画像５４５の走査方向を矢印で示す。このように、撮像素子１３４乃至１３６の走査方向と直交する方向に走査しながら画像メモリ１７０から読み出された撮像画像５４５について、この読み出された方向で走査しながら画像メモリ１７０へ書き戻す。これにより、撮像素子１３４乃至１３６から読み出された撮像画像５４５を９０°回転させた状態で、画像メモリ１７０に保持させることができる。
図３９（ｄ）には、図３９（ｃ）に示す走査方向で画像メモリ１７０に書き込まれた撮像画像５４５に余白画像５４６および５４７を付加した状態を模式的に示す。余白画像５４６および５４７は、図３８（ｂ）に示す余白画像表示領域５４２および５４３に表示される画像である。
図３９（ｅ）には、画像メモリ１７０に書き込まれた撮像画像５４５、余白画像５４６および５４７を、最初の書き込み時と同じ方向で走査しながら読み出す状態を模式的に示す。図３９（ｅ）に示す状態で読み出された撮像画像５４５、余白画像５４６および５４７を表示部１４０に表示させることにより、ユーザに違和感を与えない画像を表示させることができる。図３９（ｅ）に示す状態で読み出された撮像画像５４５、余白画像５４６および５４７を表示部１４０に表示させる表示例は、図３８（ｂ）に示す。
［単眼横長画像撮像モードの制御例］
第１２の読出方法は、上述した第１１の読出方法と同様に、デジタルスチルカメラ等の撮像装置のユーザが広く慣れ親しんでいる横長の画像を読み出す方法である。例えば、撮像素子１３４の横方向の略全ての領域を読み出すとともに、縦方向では横方向よりも画素数の少ない領域を読み出す。なお、撮像素子１３５および１３６からの読出しは行わない。このため、第１２の読出方法として、上述した第３の読出方法と同様の画素データ読出領域４３１（図３２に示す）において、全画素を読み出す例について説明する。
なお、画素データ読出領域４３１、および、これに関連する各設定値のレジスタ３７０および３８０の保持内容については、図３２（ａ）に示す例と同様であるため、ここでの説明を省略する。また、画素データ読出領域４３１における読出開始位置４３２および読出走査方向についても、図３２（ｂ）に示す例と同様であるため、ここでの説明を省略する。また、生成された合成画像の表示例を図４０に示す。
図４０は、本発明の第１の実施の形態における表示部１４０における画像の表示例を示す図である。図４０に示す例は、第１２の読出方法により読み出された画像データを表示する表示例である。
図４０（ａ）には、携帯電話装置１００による撮像処理の撮像対象となる被写体５００を示す。図４０（ａ）に示す例は、画素データ読出領域が変更された点以外は、図２９（ａ）に示す例と略同様である。このため、図２９（ａ）と共通する部分には同一の符号を付して、その部分についての説明を省略する。なお、撮像範囲５１１乃至５１３のうち、図３２に示す画素データ読出領域４３１に対応する領域の輪郭を太線で示す。
図４０（ｂ）には、被写体５００を撮像対象とした場合に、第１２の読出方法により読み出された画像データを表示部１４０に表示する表示例を示す。なお、図４０（ｂ）に表示例は、図３９に示す回転処理により回転された撮像画像の表示例である。
上述したように、表示部１４０の横対縦の比は３：４であるため、生成された画像の横対縦の比が４：３である画像を表示部１４０の全画面に表示させることができない。そこで、例えば、第１１の読出方法と同様に、横対縦の比が４：３の画像を解像度変換して表示させる。例えば、その画像の横方向の画素数が表示部１４０の横方向の画素数と略同一となり、横対縦の比が４：３となるように、画像を水平方向および垂直方向に解像度変換する。
図４０（ｂ）に示すように、解像度変換がされた画像を、表示部１４０における垂直方向の中央部分（撮像画像表示領域５５１）に表示させる。ここで、表示された画像の上下の余白部分（余白画像表示領域５５２および５５３）には、例えば、単一色の画像を表示させることができる。
図４０（ｃ）には、撮像素子１３４から読み出された画素データを表示する場合における表示部１４０における走査方向を示す。
［単眼縦長画像撮像モードの制御例］
第１３の読出方法は、携帯電話装置のユーザが広く慣れ親しんでいる縦長の画像を読み出す方法であり、例えば、撮像素子１３４の全ての領域を読み出す。なお、撮像素子１３５および１３６からの読出しは行わない。このため、第１３の読出方法として、上述した第４の読出方法と同様の画素データ読出領域４３５（図３４に示す）において、全画素を読み出す例について説明する。
なお、画素データ読出領域４３５、および、これに関連する各設定値のレジスタ３７０および３８０の保持内容については、図３４（ａ）に示す例と同様であるため、ここでの説明を省略する。また、画素データ読出領域４３５における読出開始位置４３６および読出走査方向についても、図３４（ｂ）に示す例と同様であるため、ここでの説明を省略する。また、生成された合成画像の表示例を図４１に示す。
図４１は、本発明の第１の実施の形態における表示部１４０における画像の表示例を示す図である。図４１に示す例は、第１３の読出方法により読み出された画像データを表示する表示例である。
図４１（ａ）には、携帯電話装置１００による撮像処理の撮像対象となる被写体５００を示す。図４１（ａ）に示す例は、画素データ読出領域が変更された点以外は、図２９（ａ）に示す例と略同様である。このため、図２９（ａ）と共通する部分には同一の符号を付して、その部分についての説明を省略する。なお、撮像範囲５１１乃至５１３のうち、図３２に示す画素データ読出領域４３５に対応する領域の輪郭を太線で示す。
図４１（ｂ）には、被写体５００を撮像対象とした場合に、第１３の読出方法により読み出された画像データを表示部１４０に表示する表示例を示す。なお、図４１（ｂ）に表示例は、図３９に示す回転処理により回転された撮像画像の表示例である。
上述したように、表示部１４０の横対縦の比は３：４であり、生成された画像の横対縦の比が３：４であるため、その画像を表示部１４０の全画面に表示させることができる。例えば、画像のサイズが表示部１４０の画素数と同一となるように解像度変換し、表示部１４０に表示させる。また、この場合には、余白画像表示領域が不要となる。
なお、第１３の読出方法により読み出されて生成された画像の横対縦の比が、表示装置の横対縦の比と同じでない場合には、第１２の読出方法と同様に表示させることができる。この場合に、例えば、表示された合成画像の上下の余白部分（余白画像表示領域）には、例えば、単一色を表示させる。
図４１（ｃ）には、撮像素子１３４から読み出された画素データを表示する場合における表示部１４０における走査方向を示す。
［単眼縦長小領域画像撮像モードの制御例］
第１４の読出方法は、携帯電話装置のユーザが広く慣れ親しんでいる縦長の画像を読み出す方法であり、例えば、撮像素子１３４の一部の領域を読み出す。なお、撮像素子１３５および１３６からの読出しは行わない。このため、第１４の読出方法として、上述した第５の読出方法と同様の画素データ読出領域４３７（図３６に示す）において、全画素を読み出す例について説明する。
なお、画素データ読出領域４３７、および、これに関連する各設定値のレジスタ３７０および３８０の保持内容については、図３６（ａ）に示す例と同様であるため、ここでの説明を省略する。また、画素データ読出領域４３７における読出開始位置４３８および読出走査方向についても、図３６（ｂ）に示す例と同様であるため、ここでの説明を省略する。また、生成された合成画像の表示例を図４２に示す。
図４２は、本発明の第１の実施の形態における表示部１４０における画像の表示例を示す図である。図４２に示す例は、第１４の読出方法により読み出された画像データを表示する表示例である。
図４２（ａ）には、携帯電話装置１００による撮像処理の撮像対象となる被写体５００を示す。図４２（ａ）に示す例は、画素データ読出領域が変更された点以外は、図２９（ａ）に示す例と略同様である。このため、図２９（ａ）と共通する部分には同一の符号を付して、その部分についての説明を省略する。なお、撮像範囲５１１乃至５１３のうち、図３６に示す画素データ読出領域４３７に対応する領域の輪郭を太線で示す。
図４２（ｂ）には、被写体５００を撮像対象とした場合に、第１４の読出方法により読み出された画像データを表示部１４０に表示する表示例を示す。なお、図４２（ｂ）に表示例は、図３９に示す回転処理により回転された撮像画像の表示例である。
上述したように、表示部１４０の横対縦の比は３：４であり、生成された画像の横対縦の比が３：４であるため、その画像を表示部１４０の全画面に表示させることができる。例えば、画像のサイズが表示部１４０の画素数と同一となるように解像度変換し、表示部１４０に表示させる。また、この場合には、余白画像表示領域が不要となる。
なお、第１４の読出方法により読み出されて生成された画像の横対縦の比が、表示装置の横対縦の比と同じでない場合には、第１２の読出方法と同様に表示させることができる。この場合に、例えば、表示された合成画像の上下の余白部分（余白画像表示領域）には、例えば、単一色を表示させる。
図４２（ｃ）には、撮像素子１３４から読み出された画素データを表示する場合における表示部１４０における走査方向を示す。
ここで、撮像素子１３４乃至１３６の画素データの読出に関する各設定値は、上述したように、図１３に示すレジスタ３７０および３８０に保持されるとともに、撮像制御部２０１に保持される。そして、第２の筐体１２０が縦長状態である場合には、図１等に示す撮像範囲切替スイッチ１１１がユーザが押下される毎に、第１１の読出方法乃至第１４の読出方法が切り替えられる。この場合に、撮像範囲切替スイッチ１１１が押下される毎に、撮像制御部２０１がその押下を検出し、第１１の読出方法乃至第１４の読出方法を順次切り替える。また、例えば、携帯電話装置１００が起動した直後に、第２の筐体１２０が縦長状態である場合には、第１４の読出方法を設定することができる。
［画素間引きおよび画素加算の例］
以上では、第１１の読出方法乃至第１４の読出方法として、画素データ読出領域に含まれる全ての画素を読み出す例について説明した。しかしながら、使用目的に応じて、高精細な画像が必要でない場合も想定される。そこで、以下では、画素データ読出領域に含まれる各画素のうちの一部を読み出して消費電力を低減させる例について説明する。
以下で示す第１５の読出方法乃至第１８の読出方法は、撮像素子１３４乃至１３６において画素間引き処理を行うことにより、画素データ読出領域に含まれる各画素のうちの一部を読み出す例である。なお、以下での説明は省略するが、撮像素子１３４乃至１３６において画素加算処理を行うことにより、画素データ読出領域に含まれる各画素のうちの一部を読み出すようにしてもよい。
［３眼横長狭角画像撮像モードの間引き例］
最初に、第１５の読出方法について、図３８を参照して説明する。第１５の読出方法は、第１１の読出方法に対応するものであり、図３０に示す画素データ読出領域４２１乃至４２３において、縦方向で１／２の画素間引き読み出しを行い、横方向で１／２の間引き読出しを行う例である。なお、これらの間引き処理については、第７の読出方法に示す例と同様であるため、ここでの詳細な説明を省略する。また、これらの間引き処理における撮像素子１３４乃至１３６の画素データの読出に関する各設定値のレジスタ３７０および３８０の保持内容についても、第７の読出方法に示す例と同様であるため、ここでの詳細な説明を省略する。
［単眼横長画像撮像モードの間引き例］
次に、第１６の読出方法について、図４０を参照して説明する。第１６の読出方法は、第１２の読出方法に対応するものであり、図３２に示す画素データ読出領域４３１において、縦方向で１／２の画素間引き読み出しを行い、横方向で１／２の間引き読出しを行う例である。なお、これらの間引き処理については、第８の読出方法に示す例と同様であるため、ここでの詳細な説明を省略する。また、これらの間引き処理における撮像素子１３４乃至１３６の画素データの読出に関する各設定値のレジスタ３７０および３８０の保持内容についても、第８の読出方法に示す例と同様であるため、ここでの詳細な説明を省略する。
［単眼縦長画像撮像モードの間引き例］
次に、第１７の読出方法について、図４１を参照して説明する。第１７の読出方法は、第１３の読出方法に対応するものであり、図３４に示す画素データ読出領域４３５において、縦方向で１／２の画素間引き読み出しを行い、横方向で１／２の間引き読出しを行う例である。なお、これらの間引き処理については、第９の読出方法に示す例と同様であるため、ここでの詳細な説明を省略する。また、これらの間引き処理における撮像素子１３４乃至１３６の画素データの読出に関する各設定値のレジスタ３７０および３８０の保持内容についても、第９の読出方法に示す例と同様であるため、ここでの詳細な説明を省略する。
［単眼縦長小領域画像撮像モードの間引き例］
次に、第１８の読出方法について、図４２を参照して説明する。第１８の読出方法は、第１４の読出方法に対応するものであり、図３６に示す画素データ読出領域４３７において、縦方向で１／２の画素間引き読み出しを行い、横方向で１／２の間引き読出しを行う例である。なお、これらの間引き処理については、第１０の読出方法に示す例と同様であるため、ここでの詳細な説明を省略する。また、これらの間引き処理における撮像素子１３４乃至１３６の画素データの読出に関する各設定値のレジスタ３７０および３８０の保持内容についても、第１０の読出方法に示す例と同様であるため、ここでの詳細な説明を省略する。
［モニタリング動作時における読出例］
次に、モニタリング動作が行われている場合における画素データの読出方法について説明する。例えば、静止画を記録するための静止画記録モードが設定されている場合には、静止画の記録指示操作が行われるまでの間、モニタリング動作が行われる。このモニタリング動作は、例えば、静止画の記録指示操作を行う前に、携帯電話装置１００の向きや被写体の大きさが適切であるか否かを確認するためのモニタリング画像を表示部１４０に表示させる動作である。このモニタリング画像は、携帯電話装置１００の向きや被写体の大きさが適切であるか否かをユーザが確認するための画像であり、記録するための画像ではない。このため、記録するための画像と比較して、高精細な画像としなくてもよい。
また、一般に、撮像装置が備える表示装置の画素数は、撮像装置が備える撮像素子の画素数の数十分の一であることが多い。このため、モニタリング動作が行われている場合において、画像の記録動作時よりも撮像素子から読み出す画素数を削減することができる。一方、モニタリング画像は、携帯電話装置１００の向きや被写体の大きさを確認するための画像であるため、モニタリング画像の画角は、記録動作の場合と同一であることが好ましい。そこで、以下では、モニタリング動作が行われている場合において、記録動作の場合と画角を同一とし、読み出す画素数を削減するモニタリング画像の読出し方法について説明する。
例えば、第１の読出方法乃至第５の読出方法の何れかが設定されている場合において、モニタリング動作が行われている場合には、上述した第６の読出方法乃至第１０の読出方法と同様に、画素間引き処理を行うことにより、読み出す画素数を削減する。この場合に、上述した第６の読出方法乃至第１０の読出方法で示した間引き率（１／２）よりも大きい間引き率とすることができる。
また、例えば、第６の読出方法乃至第１０の読出方法の何れかが設定されている場合において、モニタリング動作が行われている場合についても同様に、画素間引き処理を行うことにより、読み出す画素数を削減する。この場合に、上述した間引き率（１／２）よりもさらに大きい間引き率（例えば、１／２に１／Ｍ（：Ｍ＞１（Ｍは整数））を乗算した値）とすることができる。なお、第１１の読出方法乃至第１８の読出方法の何れかが設定され、モニタリング動作が行われている場合についても同様に、読み出す画素数を削減することができる。なお、画素間引き処理の代わりに、画素加算処理を行うことにより、読み出す画素数を削減するようにしてもよい。また、モニタリング画像の表示については、読み出された画素数が異なる以外は、第１の読出方法乃至第５の読出方法の表示例と同様であるため、ここでの説明を省略する。
［画素間引きおよび画素加算の変形例］
以上では、撮像素子１３４乃至１３６において画素間引きおよび画素加算を行うことにより画像データの画素数を少なくする例を示した。この例では、ＤＳＰ２００において画素間引きおよび画素加算を行う例を示す。
図８に示す画素加算処理部２２１は、画素加算処理および画素間引き処理を行うものであり、ＤＳＰ２００内部において、画像バッファ２１１乃至２１９の後段の位置、および、デモザイク処理部２２２の前段の位置に配置されている。なお、画素加算処理部２２１の構成は、撮像素子１３４乃至１３６の加算器３５４乃至３５７、３６６と略同様とすることができる。
画素加算処理部２２１は、例えば、垂直方向の画素加算を行うため、少なくとも画像データの２本以上の水平ラインに含まれる一定量の画像データを保存するデータメモリを有する。また、画素加算処理部２２１は、画像データ上で同一カラムに位置する画像データを画像メモリ１７０から読み出し、読み出された画像データを加算器により加算する加算処理（すなわち、垂直画素の加算処理）を行う。
また、例えば、水平画素の加算処理を行う場合には、画素加算処理部２２１は、複数カラムの画像データをそれぞれ読み出し、読み出された画像データを加算器により加算する加算処理（すなわち、水平画素の加算処理）を行う。
また、例えば、垂直画素の加算処理および水平画素の加算処理の双方を行う場合には、複数カラムにおいて垂直画素の加算処理を行い、この加算処理により得られた画像データについて水平画素の加算処理をさらに行う。
これらの加算処理後に、画素加算処理部２２１は、加算処理後の画像データを後段のデモザイク処理部２２２に出力する。または、画素加算処理部２２１は、加算処理後の画像データを画像メモリ１７０に書き込む。
また、例えば、画素加算処理部２２１は、加算処理において入力される２つの画像データのうちの１つの画像データを加算器に入力するデータ線は選択信号線を備え、このデータ線とこの選択信号線とのＡＮＤ結果が加算器に入力される。また、画素加算処理部２２１は、他の１つの画像データを保持する。例えば、選択信号線が選択されている場合には、データ線の値が加算器に入力されて画素加算処理が行われる。一方、選択信号線が選択されていない場合には、データ線から加算器に入力される値が０となり、画素加算処理が行われない。この場合には、画素間引き処理となり、加算器の選択信号線を備えていない側のデータ線から入力された画像データが出力される。
［画素間引きおよび画素加算の画像データの流れを示す例］
図４３は、本発明の第１の実施の形態における撮像素子１３４により画素間引きおよび画素加算が行われた場合における画像データの流れを模式的に示す図である。図４３に示す太線の矢印付近に配置された添え字は、画像データの画素数を表す。図４３に示す例では、画素数が横１９２０画素×縦１４４０画素の撮像素子１３４を用いて、画素データ数を水平方向において１／２を間引きし、垂直方向において１／２を間引きする例を示す。なお、撮像素子１３４を用いて、画素データ数を水平方向において１／２を画素加算し、垂直方向において１／２を画素加算する場合についても同様に表すことができる。図４３に示すように、撮像素子１３４から出力される画像データの画素数（横９６０画素×縦７２０画素）は、撮像素子１３４が有する画素数（横１９２０画素×縦１４４０画素の）よりも小さくなっている。
図４４は、本発明の第１の実施の形態における画素加算処理部２２１により画素数を変更する場合における画像データの流れを模式的に示す図である。図４４に示す太線の矢印付近に配置された添え字は、画像データの画素数を表す。図４４に示す例では、画素数が横１９２０画素×縦１４４０画素の撮像素子１３４から出力された画像データについて、画素加算処理部２２１が、水平方向における画素データ数を１／２とし、垂直方向における画素データ数を１／２とする例を示す。図４４に示すように、画素加算処理部２２１から出力される画像データの画素数（横９６０画素×縦７２０画素）が、撮像素子１３４が有する画素数および画素加算処理部２２１に入力される画像データの画素数よりも小さくなっている。
図４５は、本発明の第１の実施の形態における画像メモリ１７０から画像データを読み出す際に画素数を変更する場合における画像データの流れを模式的に示す図である。図４５に示す太線の矢印付近に配置された添え字は、画像データの画素数を表す。図４５に示す例では、画像メモリ１７０から画像データを読み出す際に、画像データ上で一定の画素数毎に間隔を開けて画像データを読み出すことにより、画像データの画素数を小さくする例を示す。すなわち、画素数が横１９２０画素×縦１４４０画素の撮像素子１３４から出力された画像データが画像メモリ１７０に保持される。この画像メモリ１７０に保持されている画像データをデモザイク処理部２２２が読み出す際に、水平方向における画素データ数を１／２とし、垂直方向における画素データ数を１／２として、画像データを読み出す。図４５に示すように、画像メモリ１７０から読み出されデモザイク処理部２２２に入力される画像データの画素数が、撮像素子１３４の画素数と画像バッファ２１１乃至２１３から画像メモリ１７０に書き込まれた画像データの画素数よりも小さくなっている。
［画像データの領域を変化させる場合の変形例］
この例では、ＤＳＰ２００を用いて画素データを読み出す領域を変化させ、画像データの画素数を小さくする例を示す。
図４６は、本発明の第１の実施の形態における撮像素子１３４により読出領域を変化させる場合における画像データの流れを模式的に示す図である。図４６に示す太線の矢印付近に配置された添え字は、画像データの画素数を表す。図４６に示す例では、画素数が横１９２０画素×縦１４４０画素の撮像素子１３４を用いて、画素数が横４８０画素×縦６４０画素の画像データを読み出す例を示す。図４６に示すように、撮像素子１３４が有する画素数が横１９２０画素×縦１４４０画素であるのに対し、撮像素子１３４から出力される画像データの画素数が横４８０画素×縦６４０画素となっている。
図４７は、本発明の第１の実施の形態における画像メモリ１７０から画像データを読み出す際に読出領域を変化させる場合における画像データの流れを模式的に示す図である。図４７に示す太線の矢印付近に配置された添え字は、画像データの画素数を表す。図４７に示す例では、画像メモリ１７０から画像データを読み出す際に、画像データ上で一部の領域の画像データを読み出すことにより、画像データの領域を変化させて画像データの画素数を小さくする例を示す。すなわち、画素数が横１９２０画素×縦１４４０画素の撮像素子１３４から出力された画像データが画像メモリ１７０に保持される。この画像メモリ１７０に保持されている画像データをデモザイク処理部２２２が読み出す際に、画素数が横４８０画素×縦６４０画素の領域に対応する画像データを読み出す。図４７に示すように、撮像素子１３４の画素数および画像バッファ２１１乃至２１３から画像メモリ１７０に書き込まれた画像データの画素数が横１９２０画素×縦１４４０画素である。これに対して、画像メモリ１７０から読み出されてデモザイク処理部２２２に入力される画像データの画素数が横４８０画素×縦６４０画素となる。
［単眼撮像動作時における２つの撮像系の停止例］
以上では、３つの撮像系のうち、少なくとも１つの撮像系を用いて撮像画像を生成する例について説明した。ここで、例えば、消費電力を低減させるため、撮像画像を生成しない撮像系については、その動作の停止等を行うことが好ましい。そこで、以下では、撮像画像を生成する場合に、撮像画像を生成しない撮像系についてその動作の停止等を行う例を示す。
［携帯電話装置の構成例］
図４８は、本発明の第１の実施の形態における携帯電話装置１００の機能構成例を示すブロック図である。なお、図４８に示す構成例は、図３に示す構成のうち、第１の撮像系１９１乃至第３の撮像系１９３への電源供給に関する構成以外の構成を省略し、撮像制御部２０１を追加した例である。この例では、撮像系への電源を遮断することにより、撮像系の動作を停止させる例を示す（図５０に示す制御方法１）。なお、電源制御部２０７、電源供給部２０８および電源供給部２０９は、図３に示すものと同一である。このため、以下では、撮像系の動作停止に関する部分を中心に説明し、図３と共通する部分についての説明を省略する。
例えば、撮像制御部２０１は、撮像素子１３４により生成される画像データのみを使用する撮像動作（単眼撮像動作）が選択された場合には、電源供給部２０９に対して、第２の撮像系１９２および第３の撮像系１９３への電源供給の遮断を指示する。これにより、単眼撮像動作が行われている場合には、撮像動作に使用されていない第２の撮像系１９２および第３の撮像系１９３の動作を停止させることができ、消費電力を削減することができる。なお、第２の撮像系１９２および第３の撮像系１９３への電源供給を遮断する場合には、ＤＳＰ２００から第２の撮像系１９２および第３の撮像系１９３へのクロック信号、垂直同期信号、水平同期信号等の出力を停止することが好ましい。これにより、消費電力をさらに削減することができる。
図４９は、本発明の第１の実施の形態における携帯電話装置１００の機能構成例を示すブロック図である。なお、図４９に示す各構成例は、撮像動作の停止処理に関する構成のみを簡略化して示す。すなわち、論理積演算回路８０１乃至８０７と、各信号線のみを示す。ここで、論理積演算回路８０１乃至８０７には、２つの入力信号線が接続され、これらの各入力信号線から「Ｈ」信号が入力されたときに「Ｈ」信号を出力信号線に出力する論理積演算（ＡＮＤ）を行う回路である。また、この例では、撮像系の動作を停止させる場合に、停止対象となる撮像系への電源は遮断せずに、停止対象となる撮像系へのクロック供給等を遮断する例を示す。
図４９（ａ）には、撮像系へのクロック供給を停止させるためのＤＳＰ２００における回路構成例を示す。ここで、信号線８０９は、撮像素子１３４へのクロック信号の信号線であり、信号線８１０は、撮像素子１３５へのクロック信号の信号線であり、信号線８１１は、撮像素子１３６へのクロック信号の信号線である。また、信号線８１２は、撮像素子１３４へのオン／オフ制御信号の信号線であり、信号線８１３は、撮像素子１３５へのオン／オフ制御信号の信号線であり、信号線８１４は、撮像素子１３６へのオン／オフ制御信号の信号線である。また、信号線８１５は、撮像素子１３４へ出力されるクロック信号の信号線であり、信号線８１６は、撮像素子１３５へ出力されるクロック信号の信号線であり、信号線８１７は、撮像素子１３６へ出力されるクロック信号の信号線である。例えば、単眼撮像動作が選択された場合には、撮像制御部２０１が信号線８１２乃至８１４のうち、信号線８１３および８１４の信号を「Ｌ」信号とする。これにより、撮像素子１３５および１３６へのクロック供給が停止される（図５０に示す制御方法２）。
図４９（ｂ）には、撮像系への電源供給およびクロック供給を遮断させずに、撮像素子１３４乃至１３６内のクロックを生成するための回路の動作を停止させる場合における回路構成例を示す。この例では、図１０に示す逓倍器／分周器３９１、３９２のうちの逓倍器８１８を例にして示す。なお、この例で示す逓倍器８１８は、撮像素子１３５および１３６の逓倍器であるものとする。ここで、信号線８１９は、ＤＳＰ２００からのクロック信号の信号線であり、信号線８２０は、ＤＳＰ２００からの撮像オン／オフ信号の信号線である。また、信号線８２１は、逓倍後のクロック信号の信号線である。例えば、単眼撮像動作が選択された場合には、ＤＳＰ２００が信号線８２０の信号を「Ｌ」信号とする。これにより、撮像素子１３５および１３６内の逓倍器が停止される（図５０に示す制御方法３）。
図４９（ｃ）には、撮像系への電源供給およびクロック供給と、撮像素子内でのクロックの逓倍器とを遮断させずに、撮像素子１３４乃至１３６内の垂直走査回路および水平走査回路の動作を停止させる場合における回路構成例を示す。ここで、信号線８２３は、垂直走査回路８２２内部の１ライン目における垂直制御信号の信号線であり、信号線８２４は、垂直走査回路８２２内部の２ライン目における垂直制御信号の信号線である。また、信号線８２５および８３１は、ＤＳＰ２００からの撮像オン／オフ信号の信号線であり、信号線８２８および８３０は、撮像素子内の逓倍器／分周器からのクロック信号の信号線である。また、信号線８２６は、垂直走査回路８２２の外部に出力される１ライン目における垂直制御信号の信号線であり、信号線８２７は、垂直走査回路８２２の外部に出力される２ライン目における垂直制御信号の信号線である。また、信号線８３２は、水平走査回路８２９内部へのクロック信号の信号線である。また、信号線８３３は、水平走査回路８２９の外部に出力される１ライン目における水平制御信号の信号線であり、信号線８３４は、水平走査回路８２９の外部に出力される２ライン目における水平制御信号の信号線である。なお、この例では、１ライン目および２ライン目の信号線のみを示し、他のラインの信号線を省略する。例えば、単眼撮像動作が選択された場合には、ＤＳＰ２００が信号線８２５および８３１の信号を「Ｌ」信号とする。これにより、撮像素子１３５および１３６内の垂直走査回路および水平走査回路において、垂直走査信号および水平走査信号の出力が停止される（図５０に示す制御方法４）。ここで、図４９（ｃ）に示す例では、上述した例と比較して、第２の撮像系１９２および第３の撮像系１９３の内部で動作している回路が多いため、上述した例と比較すると消費電力の削減の効果が少ない。しかしながら、撮像素子にクロックが供給され、撮像素子内部の逓倍器も動作しているため、単眼撮像動作から複眼撮像動作への切替操作が行われた場合には、第２の撮像系１９２および第３の撮像系１９３の動作を迅速に再開させることができる。
また、ＤＳＰ２００から撮像系へ供給する垂直同期信号および水平同期信号を固定することにより、撮像系の動作を停止させるようにしてもよい（図５０に示す制御方法５）。この場合には、各同期信号が入力されないため、撮像素子が画像データの読出動作を行えない状態となる。
図５０は、本発明の第１の実施の形態における撮像系の動作を停止させるための制御方法と、各信号線との関係を示す図である。図５０に示す一覧表は、上述した各制御方法と、各信号線との関係を示すものである。図５０に示す各制御方法を行うことにより、撮像系の動作を停止させることができる。なお、制御方法１に対応する欄のうち斜線が付された欄の信号線は、出力なしにしておくことが好ましい。また、制御方法２乃至５に対応する欄のうち斜線が付された欄の信号線は、「Ｌ」固定または「Ｈ」固定することが好ましい。また、図５０に示す一覧表に記載されていない信号線（ＤＳＰ２００から撮像系への信号線）については、「Ｈ」出力、「Ｌ」出力、出力不足、出力なしの何れの状態とするようにしてもよい。ただし、消費電力を低減させるため、出力なしの状態にしておくことが好ましい。
［撮像系からＤＳＰへの画像データの取り込み例］
図５１は、本発明の第１の実施の形態における撮像素子からの出力タイミングと、画像バッファへの書込みの様子を模式的に表すタイミングチャートである。図５１に示す横軸は、時間軸を示す。また、波形７００は、ＤＳＰ２００から各撮像系への水平同期信号を示す。また、横軸７０１乃至７０３は、各撮像系からＤＳＰ２００に出力される画像データの時間遷移を示す。また、横軸７０４乃至７０６は、画像バッファ２１１乃至２１９の書き込み状態の時間遷移を示す。なお、図５１に示す例では、各撮像系に対応する１組の３つの画像バッファの書き込み状態を同一ライン上に示す。
例えば、第１の撮像系１９１と対向する画像バッファ１Ａ、１Ｂ、１Ｃを例にして説明する。例えば、１個目の画像バッファ１Ａへの撮像素子１３４からの画像データの書込が終了すると、画像バッファ１Ａは、ＤＳＰ２００内部への読み出しを待つ待機状態となる。この画像バッファ１Ａの待機状態の間、２個目の画像バッファ１Ｂへの撮像素子１３４からの画像データの書込が行われる。そして、２個目の画像バッファ１Ｂへの撮像素子１３４からの画像データの書込が終了すると、画像バッファ１Ｂは、ＤＳＰ２００内部への読み出しを待つ待機状態となる。また、２個目の画像バッファ１Ｂへの画像データの書込が終了すると、１個目の画像バッファ１Ａから、ＤＳＰ２００内部への画像データの読出しが行われる。そして、画像バッファ１Ｃの書込みが完了する前に、画像バッファ１Ａからの画像データの読出しが終了し、画像バッファ１Ａについては画像データを書き込める状態となる。続いて、これらの一連の動作が繰り返し行われる。また、画像バッファ２Ａ乃至２Ｃ、画像バッファ３Ａ乃至３Ｃについても同様に行われる。
ここで、３個の画像バッファに書き込まれたデータを１本のデータバス２０４を用いて読み出す場合には、撮像素子が画像バッファへ書き込んだ時間の少なくとも１／３以下の時間で画像バッファ内の画像データを読み取ることが必要である。
以下では、撮像素子が各画素の画像データを読み出し、かつ、画像バッファ２１１乃至２１９に書き込むクロック周波数と、画像バッファ２１１乃至２１９の画像データをＤＳＰ２００が読み出すためのクロック周波数との関係について説明する。また、複眼撮像動作の際に画像バッファ２１１乃至２１９の画像データをＤＳＰ２００が読み出すためのクロック周波数と、単眼撮像記録の際に画像バッファ２１１乃至２１９の画像データをＤＳＰ２００が読み出すためのクロック周波数との関係について説明する。
図５２乃至図５４は、本発明の第１の実施の形態における撮像素子における各画素の読み出しおよび画像バッファへの書き込むためのクロック周波数と、画像バッファから画像データを読み出すためのクロック周波数との関係を示す図である。ここで、図５２乃至図５４に示す横軸の関係は、１ライン中の時間経過を示すものとし、縦軸の関係は、１フレーム中のライン毎の時間経過を示すものとする。なお、図５２に示す例は、図２８に示す第１の読出方法に対応する例（３眼横長広角画像撮像モード）である。また、図５３に示す例は、図３２に示す第３の読出方法に対応する例（単眼横長画像撮像モード）である。また、図５４に示す例は、図３６に示す第５の読出方法に対応する例（単眼縦長小領域画像撮像モード）である。
図５２（ａ）には、３眼横長広角画像撮像モードが設定されている場合において、撮像素子におけるクロック周波数と、撮像素子からの画像データの出力タイミングとの関係を示す。波形７１０は、３眼横長広角画像撮像モードが設定されている場合において、撮像素子１３４乃至１３６における全領域から全画素を読み出す際に用いられるクロックを示す。また、横軸７１３乃至７１８は、撮像素子１３４乃至１３６から読み出され、画像バッファ２１１乃至２１９に出力される画像データの時間遷移を矩形で模式的に示す。なお、ライン７１９には、画像バッファ２１１に出力される画像データを示し、ライン７２０には、画像バッファ２１２に出力される画像データを示し、ライン７２１には、画像バッファ２１３に出力される画像データを示す。この例では、横軸７１５においてのみ矩形内に異なる符号（Ｄ１１乃至Ｄ１Ｃ等）を付し、他の横軸では矩形内における符号を省略する。また、横軸７１３に示す大きい破線の丸は垂直同期信号のタイミングを示し、横軸７１３乃至７１８に示す小さい点線の丸は水平同期信号のタイミングを示す。なお、以下の図５２乃至図５４に示す横軸についても、同様に、大きい破線の丸および小さい点線の丸を付して、垂直同期信号のタイミングおよび水平同期信号のタイミングを示すものとする。
図５２（ｂ）には、３眼横長広角画像撮像モードが設定されている場合において、ＤＳＰ２００におけるクロック周波数と、画像バッファからの画像データの読出しタイミングとの関係を示す。波形７２２は、３眼横長広角画像撮像モードが設定されている場合において、ＤＳＰ２００が画像バッファ２１１乃至２１９から画像データを読み出す際に用いられるクロックを示す。また、横軸７２５乃至７３２は、画像バッファ２１１乃至２１９から読み出される画像データの時間遷移を矩形で模式的に示す。この例では、横軸７２９においてのみ矩形に異なる符号（Ｄ１１乃至Ｄ１Ｃ等）を矢印で関連付けし、他の横軸では矩形における符号を省略する。なお、これらの各符号は、図５２（ａ）に示す符号に対応する。また、区間７３３は、撮像素子１３４の読出し区間であり、区間７３４は、撮像素子１３５の読出し区間であり、区間７３５は、撮像素子１３６の読出し区間である。
ここで、３個の撮像素子１３４乃至１３６から３枚の画像データがＤＳＰ２００に入力されると、この入力された画像データが画像バッファ２１１乃至２１９に書き込まれる。そして、画像バッファ２１１乃至２１９に書き込まれた画像データは、ＤＳＰ２００内の１本のデータバス２０４を介して読み出され、画像メモリとのＩ／Ｆ２０６を介して画像メモリ１７０へ書き込まれる。例えば、３眼横長広角画像撮像モードの設定されている場合を想定する。この場合には、図５２（ａ）および（ｂ）に示すように、撮像素子１３４乃至１３６が画像バッファ２１１乃至２１９へ画像データを書き込んだ時間の１／３以下の時間で各画像バッファ２１１乃至２１９の画像データを読み出す必要がある。
図５３（ａ）には、単眼横長画像撮像モードが設定されている場合において、撮像素子におけるクロック周波数と、撮像素子からの画像データの出力タイミングとの関係を示す。図５３（ｂ）には、単眼横長画像撮像モードが設定されている場合において、ＤＳＰ２００におけるクロック周波数と、画像バッファからの画像データの読出しタイミングとの関係を示す。波形７３６は、単眼横長画像撮像モードが設定されている場合において、ＤＳＰ２００が画像バッファ２１１乃至２１９から画像データを読み出す際に用いられるクロックを示す。なお、区間７３７は、撮像素子１３４の読出し区間である。また、図５２に示す例と共通する部分には、同一の符号を付す。
ここで、図５２および図５３を比較すると、３眼横長広角画像撮像モードが設定されている場合には、単眼横長画像撮像モードが設定されている場合と比較して画像データ量が３倍であることが把握できる。このため、３眼横長広角画像撮像モードが設定されている場合には、画像バッファ２１１乃至２１９の画像データを読み出すためのクロック周波数として、３眼横長撮像動作の３倍のクロック周波数が必要となる。また、同様に、３眼横長広角画像撮像モードが設定されている場合に、ＤＳＰ２００内部の画像信号処理を行う場合には、単眼横長画像撮像モードが設定されている場合と比較して３倍のクロック周波数が必要となる。
図５４（ａ）には、単眼縦長小領域画像撮像モードが設定されている場合において、撮像素子におけるクロック周波数と、撮像素子からの画像データの出力タイミングとの関係を示す。波形７３８は、単眼縦長小領域画像撮像モードが設定されている場合において、撮像素子１３４乃至１３６における特定領域からのみ全画素を読み出す際に用いられるクロックを示す。図５４（ｂ）には、単眼縦長小領域画像撮像モードが設定されている場合において、ＤＳＰ２００におけるクロック周波数と、画像バッファからの画像データの読出しタイミングとの関係を示す。波形７３９は、単眼縦長小領域画像撮像モードが設定されている場合において、ＤＳＰ２００が画像バッファ２１１乃至２１９から画像データを読み出す際に用いられるクロックを示す。なお、区間７４０は、撮像素子１３４の読出し区間である。なお、図５２に示す例と共通する部分には、同一の符号を付す。
ここで、図５３および図５４を比較すると、単眼縦長小領域画像撮像モードが設定されている場合には、受光面の全画素を読み出す場合と比較して画像データのデータ量が少ないことが把握できる。このため、単眼縦長小領域画像撮像モードが設定されている場合には、画像バッファ２１１の画像データを読み出すためのクロック周波数として、全画素を読み出す場合と比較して小さいクロック周波数が必要となる。また、同様に、ＤＳＰ２００内部の画像信号処理を行う場合には、全画素を読み出す場合と比較して小さいクロック周波数とすることができる。
［ＤＳＰのデータバスに要求される動作周波数例］
図５５は、本発明の第１の実施の形態における撮像素子１３４により生成された画像データの流れを模式的に示す図である。図５５に示す構成は、図４３に示す構成例と同一であり、各部がデータバス２０４を経由して伝送する画像データのデータフォーマットを追記した点のみが異なる。また、この例では、ＤＳＰ２００における画素加算処理部２２１を使用しないものとし、画像出力は表示部１４０への出力のみとし、外部表示装置への出力は行わないものとする。
撮像素子１３４から画像バッファ２１１乃至２１３に書き込まれる画像データは、ベイヤーデータ７５０である。また、ＤＳＰ２００に入力された画像データは、ベイヤーデータをＲＧＢ（Ｒ（Red：赤）、Ｇ（Green：緑）、Ｂ（Blue：青））データへ補間するデモザイク処理部２２２の前段までは、ベイヤーデータフォーマットで伝送される。すなわち、画像バッファ２１１乃至２１３から画像メモリ１７０への画像データの書き込みと、デモザイク処理部２２２への画像データの読出しについては、画像データがベイヤーデータフォーマットで伝送される。
ここで、デモザイク処理部２２２によりデモザイク処理された画像データについては、解像度変換処理を行う前までの間、各処理部間を直接受け渡しされる。信号処理の際に扱うデータ量が大きい解像度変換の際には、所望の画像データを所望のタイミングで入力しやすいように画像データをデータバス２０４経由で画像メモリ１７０へ書き込んでおく。そして、解像度変換部２３１および２５１は、画像メモリ１７０から解像度変換処理に必要な画像データを読み込む。
これにより、記録用画像の解像度変換前にＲＧＢデータフォーマットの画像データがデータバス２０４経由で画像メモリ１７０に書き込まれる。また、画像記録用の解像度変換の際にＲＧＢデータフォーマットの画像データがデータバス２０４経由で画像メモリ１７０から読み出される。
また、表示部１４０に画像を表示させる場合には、一般的にＹＣｂＣｒフォーマットで画像データを表示部１４０から要求される。このため、表示装置用の解像度変換の前にＹＣｂＣｒデータフォーマットの画像データをデータバス２０４経由で画像メモリ１７０に書き込む。また、画像表示用の解像度変換の際にＹＣｂＣｒデータフォーマットの画像データをデータバス２０４経由で画像メモリ１７０から読み出す。
ここで、データバス２０４経由で伝送される１枚の画像データのデータ量について説明する。例えば、１枚の画像データが撮像素子１３４からＤＳＰ２００に入力された場合に、この入力された画像データを記録媒体１８０に１枚の画像ファイルとして記録するとともに表示部１４０に表示させる場合を想定して説明する。この場合には、ベイヤーデータの画像データが２枚分と、ＹＣｂＣｒデータの画像データが２枚分と、ＲＧＢデータの画像データが２枚分とがデータバス２０４を経由して伝送される。すなわち、画像バッファ２１１乃至２１３からデモザイク処理部２２２までの間の２枚分の画像データがベイヤーデータフォーマットで伝送される（ベイヤー７５１および７５２）。また、色調整処理部２２６から解像度変換部２３１までの間の２枚分の画像データがＹＣｂＣｒデータフォーマットで伝送される（ＹＣｂＣｒ７５３および７５６）。また、ＲＧＢ変換処理部２２７から解像度変換部２５１までの間の２枚分の画像データがＲＧＢデータフォーマットで伝送される（ＲＧＢ７５４および７５５）。
ここで、ＹＣｂＣｒデータフォーマットの画像データの１枚分のデータ量は、同一画像サイズのベイヤーフォーマットの画像データの略２倍である。また、ＲＧＢデータフォーマットの画像データの１枚分のデータ量は、同一画像サイズのベイヤーフォーマットの画像データの略３倍である。例えば、１枚分の画像データを、記録媒体１８０に１枚の画像ファイルとして記録するとともに表示部１４０に表示させる場合には、ベイヤーデータフォーマット換算で略１２枚分の画像データをデータバス２０４経由で伝送する必要がある。この画像データの伝送に関する処理を図５６に示す。
図５６は、本発明の第１の実施の形態におけるデータバス２０４を占有する処理と時間との関係を模式的に示す図である。図５６（ａ）には、上述した撮像素子１３４からＤＳＰ２００に入力された１枚分の画像データを、記録媒体１８０に１枚の画像ファイルとして記録するとともに表示部１４０に表示させる場合におけるデータバス２０４を占有する処理と時間との関係を示す。図５６では横軸を時間軸とし、１フレームを処理する場合における関係を示す。なお、図５５に示す例において、対応する各処理については図５５に示す符号と同一のものを付す。
図５６（ｂ）には、撮像素子１３４からＤＳＰ２００に入力された１枚分の画像データを、記録媒体１８０に記録せずに、表示部１４０に表示させる場合におけるデータバス２０４を占有する処理と時間との関係を示す。この例は、いわゆるモニタリング画像の表示動作が行われる場合の例である。ここで、モニタリング画像の表示動作が行われる場合には、画像を表示部１４０に表示するが、記録用の画像データを生成しない。すなわち、記録画像の解像度変換の前段で、ＲＧＢデータを画像メモリ１７０へ書き込む処理７５４と、記録画像の解像度変換の際にＲＧＢデータを画像メモリ１７０から読み出す処理７５５とが不要となる。このため、モニタリング画像の表示動作において、撮像素子１３４からＤＳＰ２００に入力された１枚分の画像データを表示部１４０に表示させる場合には、ベイヤーデータフォーマット換算で略６枚分の画像データをデータバス２０４経由で伝送するのみでよい。
以上で示したように、データバス２０４経由で伝送される画像データのデータ量が算出することができる。以下では、データバス２０４に要求される動作周波数について説明する。
ここでは、データバス２０４に要求される動作周波数の算出に用いられる変数を示す。
Ｈ：撮像素子において画素データ読出しを行う領域の横方向画素数。
Ｖ：撮像素子において画素データ読出しを行う領域の縦方向画素数。
Ｒ：撮像素子において画素データ読出しを行う際に画素間引き読出しを行う場合の間引き率。
Ｂ：画像の各画素データのビット幅。
Ｆ：撮像素子から入力された画像をＤＳＰ２００において１秒間に画像信号処理できる画像の枚数。
Ｋｂ：撮像素子から入力された１枚の画像を記録媒体１８０へ記録および表示部１４０へ表示するまで間にＤＳＰ２００のデータバス２０４上をベイヤーデータ形式で伝送する必要がある画像の枚数。
Ｋｙ：撮像素子から入力された１枚の画像を記録媒体１８０へ記録および表示部１４０へ表示するまで間にＤＳＰ２００のデータバス２０４上をＹＣｂＣｒデータ形式で伝送する必要がある画像の枚数。
Ｋｒ：撮像素子から入力された１枚の画像を記録媒体１８０へ記録および表示部１４０へ表示するまで間にＤＳＰ２００のデータバス２０４上をＲＧＢデータ形式で伝送する必要がある画像の枚数。
Ｋ：撮像素子から入力された１枚の画像を記録媒体１８０へ記録および表示部１４０へ表示するまで間にＤＳＰ２００のデータバス２０４上を伝送させる画像の枚数をベイヤー画像データ換算で換算した値。
なお、Ｋは次式で求められる。
Ｋ＝Ｋｂ×１＋Ｋｙ×２＋Ｋｒ×３
Ｄ：ＤＳＰ２００のデータバス２０４のビット幅
これらの変数を用いて、１秒間にＤＳＰ２００へ入力されるデータ量（単位：ビット）ＤＤ１は、式１３により求められる。
ＤＤ１＝Ｈ×Ｖ×Ｒ×Ｂ×Ｆ …式１３
また、１秒間にデータバス２０４で伝送すべきデータ量（単位：ビット）ＤＤ２は、式１４により求められる。
ＤＤ２＝Ｈ×Ｖ×Ｒ×Ｂ×Ｆ×Ｋ …式１４
また、画像データを伝送させるために必要なデータバス２０４のクロック周波数（単位：Ｈｚ）Ｆｃｌｋは、式１５により求められる。
Ｆｃｌｋ＝Ｈ×Ｖ×Ｒ×Ｂ×Ｆ×Ｋ／（Ｄ−ＤｍｏｄＢ） …式１５
ここで、クロック周波数Ｆｃｌｋの好ましい範囲の下限値Ｆｃｌｋ ｍｉｎは、式１６により求めることができる。
Ｆｃｌｋ ｍｉｎ＝（Ｈ×Ｖ×Ｒ×Ｂ×Ｆ×Ｋ×１．０）／（Ｄ−ＤｍｏｄＢ） …式１６
ここで、データバス２０４上では、データ間に一切の隙間が無く絶えずデータが伝送されているわけではない。このため、データバス２０４を使って伝送する必要があるデータ量に基づいて、データバス２０４の動作周波数を求める場合には、データバス２０４の転送能力に数十％の余裕を持たせておくことが当業者間では広く知られている。
例えば、数％の余裕を持たせた場合には、持たせた余裕の量が少なすぎるおそれがある。一方、百数十％の余裕を持たせた場合には、余裕を持たせすぎである。これらについても当業者間では広く知られている。例えば、データバス２０４上のデータ伝送の間隔が空いてしまい、データバス２０４の伝送量が低下してしまうのは、数１０％である。このため、データバス２０４の伝送能力として、最大で１００％の余裕を持たせておけば、十分である。このため、クロック周波数Ｆｃｌｋの好ましい範囲の上限値は、以下のようになる。
ここで、クロック周波数Ｆｃｌｋの好ましい範囲の上限値Ｆｃｌｋ ｍａｘは、式１７により求めることができる。
Ｆｃｌｋ ｍａｘ＝（Ｈ×Ｖ×Ｒ×Ｂ×Ｆ×Ｋ×２．０）／（Ｄ−ＤｍｏｄＢ） …式１７
このように、クロック周波数Ｆｃｌｋの好ましい範囲の下限値Ｆｃｌｋ ｍｉｎおよび上限値Ｆｃｌｋ ｍａｘを求めることができるため、データバス２０４のクロック周波数Ｆｃｌｋの好ましい範囲については、式１８により定義することができる。
（Ｈ×Ｖ×Ｒ×Ｂ×Ｆ×Ｋ×１．０）／（Ｄ−ＤｍｏｄＢ）≦Ｆｃｌｋ≦（Ｈ×Ｖ×Ｒ×Ｂ×Ｆ×Ｋ×２．０）／（Ｄ−ＤｍｏｄＢ） …式１８
ここで、式１６乃至式１８に示す「Ｄ−ＤｍｏｄＢ」について説明する。
データバス２０４のビット幅が撮像素子の各画素のビット幅の整数倍になっていない場合には、画像メモリ１７０への書込み動作に無駄が生じる。例えば、データバス２０４のビット幅が１２８ビットであり、撮像素子の各画素のビット幅が１２ビットである場合には、１２ビットの画素データを１１画素分転送することはできず、１０画素分しか転送できない。このため、書込み動作として８ビット分の無駄が生じる。この無駄を示す量が、ＤｍｏｄＢである。すなわち、データバス２０４のビット幅から、この無駄を示す量を減算した値（実効的なデータバス幅）が「Ｄ−ＤｍｏｄＢ」である。
上述した式１６乃至式１８に示すように、データバス２０４の好ましい動作周波数の範囲を算出する場合には、Ｈ、Ｖ、Ｒ、Ｂ、Ｆ、Ｋ、Ｄにより算出することができる。しかしながら、Ｈ、Ｖ、Ｒ、Ｂ、Ｆ、Ｋ、Ｄの各値は、携帯電話装置１００により行われる撮像動作の内容に応じて変化する。このため、各撮像動作において設定されているＨ、Ｖ、Ｒ、Ｂ、Ｆ、Ｋ、Ｄの各値に応じて、データバス２０４の動作周波数を変化させることが好ましい。このように、データバス２０４の動作周波数を変化させることにより、ＤＳＰ２００において、データバス２０４の動作周波数を必要十分な値にまで低減させることができ、消費電力を低減させることができる。
図５７は、本発明の第１の実施の形態における携帯電話装置１００の各撮像動作についてデータバス２０４の動作周波数を決定するためのパラメータを示す図である。図５７に示す各パラメータ（Ｈ１ｓｒ、Ｖ１ｓｒ等）を設定しておくことにより、携帯電話装置１００の各撮像動作についてデータバス２０４の動作周波数を決定することができる。これらの各パラメータの一例を図５８に示す。
図５８は、本発明の第１の実施の形態における携帯電話装置１００の各撮像動作についてデータバス２０４の動作周波数を決定するためのパラメータの一例を示す図である。この例では、静止画記録動作を行う場合を例にして示す。また、各パラメータに基づいて、データバス２０４の動作周波数の下限値Ｆｃｌｋ＿ｍｉｎおよび上限値Ｆｃｌｋ＿ｍａｘが予め算出することができる。なお、図５８に示す例では、１秒間に静止画記録処理を行う画像の枚数、および、１秒間にモニタリング動作を行う画像の枚数を、３０枚とする場合を示す。
［静止画記録動作の時分割処理例］
次に、静止画記録動作に関する時分割処理について説明する。この時分割処理は、例えば、静止画の撮像記録処理について、１フレームの期間内（すなわち、画像信号処理部２２０に供給される垂直同期信号１期間内）に終了させず、数フレームの期間に跨って各処理を行うことを意味するものとする。
例えば、近年、広く普及しているカメラ付き携帯電話装置を用いて、ユーザが比較的多くの静止画撮影を行う場合でも、数秒間に１枚程度であることが多い。このため、静止画記録動作を行う場合には、例えば、１枚の静止画の画像信号処理および記録処理等については、約１秒間かけて行うようにしても、ユーザの利便性を損なうおそれは少ないことが想定される。また、このように、１枚の静止画の画像信号処理および記録処理等を行うことにより、ＤＳＰ２００のデータバス２０４の動作周波数を低減させることができ、消費電力を削減させることができる。
なお、静止画を１枚記録した後に、その画像信号処理および記録処理等が終了するまでの間は、表示部１４０には「しばらくお待ちください」等のメッセージを表示して、静止画撮像処理を実行中であることを通知することができる。また、メッセージ以外に、静止画撮像処理を実行中であることを示すアイコンや標識を表示するようにしてもよく、モニタリング動作を並行して行い、モニタリング画像を表示するようにしてもよい。
図５９および図６０は、本発明の第１の実施の形態における画像信号処理部２２０により行われる時分割処理を模式的に示す図である。図５９および図６０に示す例は、モニタリング動作が行われている間に、静止画の記録指示操作が行われた場合における時分割処理を示す。図５９に示す横軸は時間軸を示す。また、波形７６０は垂直同期信号を示す。また、横軸７９５は、データバス２０４を占有する処理と時間との関係を示す。横軸７９５に示す白抜きの矩形は、各フレームのモニタリング処理に必要なデータバス２０４を占有する処理を表す。また、横軸７９５に示す内部に斜線を付した矩形は、静止画の記録処理に必要なデータバス２０４を占有する処理（時分割処理）を表す。
上述したように、モニタリング動作が行われている場合には、静止画の撮像動作が行われている場合と比較して、データバス２０４を経由して伝送させることが必要なデータ量が少ない。ここで、例えば、区間７９６の何れかの時刻において、静止画の記録指示操作が行われた場合を想定する。この場合には、矢印７９７に示すフレーム３について静止画の記録動作が行われる。例えば、ユーザから記録指示操作が受け付けられた場合には、ＤＳＰ２００が、記録指示操作のタイミングに対応するフレーム（例えば、フレーム３）およびこれに続く複数フレーム（例えば、フレーム４乃至８）に跨って画像信号処理および記録処理を行う。この画像信号処理および記録処理が行われている間、撮像素子とＤＳＰ２００は、モニタリング動作を並行して行う。そして、記録動作が終了した場合には（例えば、矢印７９８に示す時刻）、撮像素子とＤＳＰ２００はモニタリング動作のみを行う。
なお、静止画の記録処理の時分割処理を行う場合に、時分割処理が行われている間はモニタリング動作を行わず、表示部１４０に単一色、または、予め用意されている画像を表示するようにしてもよい。また、これらの画像と、ユーザに画像記録処理中であることを知らせるメッセージ等とを表示するようにしてもよい。
図６０には、上述した時分割処理において、垂直同期信号の期間内にモニタリング動作および記録処理の時分割処理を行うために、ＤＳＰ２００のデータバス２０４を経由して伝送させることが必要なデータ量を示す。なお、図６０に示す例は、図５６に示す例の一部を変形したものであり、図６０（ｂ）において記録動作時分割処理７５９を追加した点が異なる。なお、図６０に示す例と共通する部分には、同一の符号を付す。
例えば、図６０（ａ）に示す記録処理を１２分割する。そして、図６０（ｂ）に示すように、モニタリング動作においては、１フレームについてベイヤー画像２枚分のデータ伝送を伴う量だけ各信号処理（例えば、記録動作時分割処理７５９）を行う。そして、記録処理が開始されたフレーム以降では、記録動作開始後のモニタリング動作を行いながら、記録処理のための信号処理を行う。ただし、最初の１つ目の処理は、画像メモリ１７０への画像データの書込みを完了させるため、必ずベイヤー画像１枚分と同等以上にする。なお、図６０（ｂ）に示す矩形７５１乃至７５３、７５６は、図５９に示す横軸７９５における白抜きの矩形に対応し、図６０（ｂ）に示す矩形７５９は、図５９に示す横軸７９５における内部に斜線を付した矩形に対応する。
図６１は、本発明の第１の実施の形態における携帯電話装置１００の静止画記録動作についてデータバス２０４の動作周波数を決定するためのパラメータの一例を示す図である。図６１に示す例は、１秒間に静止画記録処理を行う画像の枚数を１枚とした点およびこれに関連する値を変更した点以外は、図５８と同様である。このように、１秒間に静止画記録処理を行う画像の枚数を１枚とすることにより、データバス２０４の動作周波数の下限値Ｆｃｌｋ＿ｍｉｎおよび上限値Ｆｃｌｋ＿ｍａｘを低減させることができる。また、ＤＳＰ２００の消費電力を削減させることができる。
ここで、上述したように、モニタリング動作において生成される画像は、観賞用の画像でないため、画素データを間引きして消費電力を削減することが好ましい。そこで、図５８および図６１に示す例でも、モニタリング動作の場合には、画素データの間引き率として１よりも小さい値を用いている。このため、ＤＳＰ２００のデータバス２０４に必要とされる動作周波数が、図５８および図６１に示す静止画記録動作において、データバス２０４に必要とされる動作周波数よりも小さくすることができ、消費電力を削減することができる。
図６２は、本発明の第１の実施の形態における携帯電話装置１００の動画記録動作についてデータバス２０４の動作周波数を決定するためのパラメータの一例を示す図である。図６２に示す例は、図５７に示す各パラメータとして、動画記録動作の一例を示す。
ここで、３眼横長広角画像撮像モードが設定されている場合には、単眼横長画像撮像モードが設定されている場合と比較して画像データ量が約３倍となる。このため、例えば、静止画記録動作を行う場合には、垂直同期信号の数個分の時間をかけて（すなわち、数フレーム分の時間をかけて）、大きな画像の信号処理を行うことができる。これにより、データバス２０４に必要とされる動作周波数が大きくなり過ぎることを抑制することができる。しかしながら、動画記録動作を行う場合には、フレーム毎に新たな画像が入力されるため、１フレームの期間内で３眼の画像データを信号処理することが必要となる。そこで、データバス２０４に必要とされる動作周波数が大きくなり過ぎることを抑制するため、図６２に示すように、画像の間引き処理を行い、データ量を低減することが好ましい。
［画像データの取り込み遅延の対策例］
本発明の第１の実施の形態では、３個の撮像素子からＤＳＰ２００へ同時に入力される３枚の画像データをリングバッファ構造の画像バッファに一時的に保持させる。このリングバッファ構造の画像バッファを用いることにより、３個の撮像素子からＤＳＰ２００へ同時に入力される３枚の画像データを、１本のデータバス２０４および画像メモリとのＩ／Ｆ２０５を介して、最小１個の画像メモリ１７０に書き込むことができる。しかしながら、リングバッファ構造の画像バッファ２１１乃至２１９を用いる場合には、以下で示すように、画像バッファ２１１乃至２１９から読み出されてＤＳＰ２００内部へ取り込まれるまでに画像データの遅延が発生する。そこで、このように発生する遅延に対する処理を行うことが必要となる。
図６３は、本発明の第１の実施の形態における画像バッファ２１１乃至２１９への書き込みタイミングと、ＤＳＰ２００内部へ取り込みタイミングとの様子を模式的に表すタイミングチャートである。図６３に示す横軸は時間軸を示す。また、波形７６１は、ＤＳＰ２００から各撮像系への垂直同期信号を示し、波形７６２は、ＤＳＰ２００から各撮像系への水平同期信号を示す。なお、波形７６２におけるＢＰ１は、２ライン分の垂直バックポーチを示す。なお、図６３に示す例では、画像バッファ２１１乃至２１９の１つの容量が、撮像素子１３４乃至１３６からＤＳＰ２００へ入力される画像データの１ライン分のデータ量と同じ場合を想定する。
横軸７６３には、第１の撮像系１９１からＤＳＰ２００に入力される画像データの時間遷移を示し、横軸７６４には、第２の撮像系１９２からＤＳＰ２００に入力される画像データの時間遷移を示す。また、横軸７６５には、第３の撮像系１９３からＤＳＰ２００に入力される画像データの時間遷移を示す。
また、横軸７６６には、画像バッファ２１１乃至２１３の書き込み状態の時間遷移を示し、横軸７６７には、画像バッファ２１４乃至２１６の書き込み状態の時間遷移を示し、横軸７６８には、画像バッファ２１７乃至２１９の書き込み状態の時間遷移を示す。なお、図６３に示す例では、各撮像系に対応する１組の３つの画像バッファの書き込み状態を同一ライン上に示す。
また、横軸７６９には、ＤＳＰ２００の画像バッファ２１１乃至２１９からのデータ読出し、および、ＤＳＰ２００内部へのデータ送出の対象となる画像データを示す。
また、波形７７０は、ＤＳＰ２００から各撮像系へ入力した垂直同期信号と同じタイミングの垂直同期信号を示し、波形７７１は、ＤＳＰ２００内部へ供給するために遅延させた垂直同期信号を示す。また、波形７７０におけるＢＰ２は、４ライン分の垂直バックポーチを示し、波形７７１におけるＢＰ３は、２ライン分の垂直バックポーチを示す。
図６３に示すように、画像バッファ２１１乃至２１９への画像の有効データの書込みが開始されてから、このデータが画像バッファから読み出されてＤＳＰ２００内部へ取り込まれるまでに、２ライン分の遅延が発生する。
図６４は、本発明の第１の実施の形態における画像バッファ２１１乃至２１９への書き込みタイミングと、ＤＳＰ２００内部へ取り込みタイミングとの様子を模式的に表すタイミングチャートである。図６４に示す横軸は時間軸を示す。また、波形７８１は、ＤＳＰ２００から各撮像系への水平同期信号を示す。なお、波形７８１におけるＢＰ４は、撮像素子１３４乃至１３６により生成された画像における水平バックポーチを示す。なお、図６３に示す例では、画像バッファ２１１乃至２１９の１つの容量が、撮像素子１３４乃至１３６からＤＳＰ２００へ入力される画像データの１ライン分のデータ量の１／３と同じ場合を想定する。
横軸７８２には、第１の撮像系１９１からＤＳＰ２００に入力される画像データの時間遷移を示し、横軸７８３には、第２の撮像系１９２からＤＳＰ２００に入力される画像データの時間遷移を示す。また、横軸７８４には、第３の撮像系１９３からＤＳＰ２００に入力される画像データの時間遷移を示す。
また、横軸７８５には、画像バッファ２１１乃至２１３の書き込み状態の時間遷移を示し、横軸７８６には、画像バッファ２１４乃至２１６の書き込み状態の時間遷移を示し、横軸７８７には、画像バッファ２１７乃至２１９の書き込み状態の時間遷移を示す。なお、図６４に示す例では、各撮像系に対応する１組の３つの画像バッファの書き込み状態を同一ライン上に示す。
また、横軸７８９には、ＤＳＰ２００の画像バッファ２１１乃至２１９からのデータ読出し、および、ＤＳＰ２００内部へのデータ送出の対象となる画像データを示す。
また、波形７９０は、ＤＳＰ２００から各撮像系へ入力した水平同期信号と同じタイミングの水平同期信号を示し、波形７９１は、ＤＳＰ２００内部へ供給するために遅延させた水平同期信号を示す。また、波形７９０におけるＢＰ５は、水平バックポーチを示し、波形７９１におけるＢＰ６は、水平バックポーチを示す。
図６４に示すように、画像バッファ２１１乃至２１９への画像の有効データの書込みが開始されてから、このデータが画像バッファから読み出されてＤＳＰ２００内部へ取り込まれるまでに、画像の有効データ領域の２／３ライン分の遅延が発生する。
これらの遅延を取り除き、垂直同期信号と画像の有効データとの間隔、および、水平同期信号と画像の有効データとの間隔を、撮像素子１３４乃至１３６において画像データが生成された際の間隔と同じにすることが必要である。このために、本発明の第１の実施の形態では、少なくともＤＳＰ２００内部の画像信号処理部２２０の一部には、ＤＳＰ２００から撮像素子１３４乃至１３６へ入力した同期信号と周期が同じで位相が遅れた信号を使用する。また、ＤＳＰ２００の撮像制御部２０１が、ＤＳＰ２００から撮像素子１３４乃至１３６へ入力する同期信号を生成して供給するとともに、撮像素子１３４乃至１３６へ入力した同期信号と周期が同じで位相が遅れた信号も生成する。そして、この生成された同期信号をＤＳＰ２００内の各部に供給する。
［撮像装置の動作例］
図６５は、本発明の第１の実施の形態における携帯電話装置１００による撮像制御処理の処理手順を示すフローチャートである。
最初に、携帯電話装置１００において電源が投入される（ステップＳ９０１）。続いて、撮像動作の開始指示操作が受け付けられたか否かが判断される（ステップＳ９０２）。例えば、ユーザが、表示部１４０におけるメニュー画面において、撮像動作の開始を指示する指示操作を行うことにより、撮像動作を開始させることができる。撮像動作の開始指示操作が受け付けられていない場合には（ステップＳ９０２）、撮像動作の開始指示操作が受け付けられるまで、監視を継続する。
撮像動作の開始指示操作が受け付けられた場合には（ステップＳ９０２）、回動状態検出部１５０が、第２の筐体１２０の回動状態を検出する（ステップＳ９０３）。なお、ステップＳ９０３は、特許請求の範囲に記載の検出手順の一例である。続いて、撮像制御部２０１が、第２の筐体１２０の回動状態が横長状態であるか否かを判断し（ステップＳ９０４）、第２の筐体１２０の回動状態が横長状態である場合には、横長状態撮像処理が行われる（ステップＳ９１０）。なお、横長状態撮像処理については、図６６を参照して詳細に説明する。一方、第２の筐体１２０の回動状態が縦長状態である場合には、縦長状態撮像処理が行われる（ステップＳ９５０）。なお、横長状態撮像処理については、図６９を参照して詳細に説明する。また、ステップＳ９０４、Ｓ９１０およびＳ９５０は、特許請求の範囲に記載の制御手順の一例である。
続いて、撮像動作の終了指示操作が受け付けられたか否かが判断される（ステップＳ９０５）。撮像動作の終了指示操作が受け付けられていない場合には（ステップＳ９０５）、ステップＳ９０３に戻る。一方、撮像動作の終了指示操作が受け付けられた場合には（ステップＳ９０５）、撮像制御処理の動作を終了する。
図６６は、本発明の第１の実施の形態における携帯電話装置１００による撮像制御処理の処理手順のうちの横長状態撮像処理（図６５に示すステップＳ９１０の処理手順）を示すフローチャートである。
最初に、撮像制御部２０１が、初期設定として３眼横長広角画像撮像モードを設定する（ステップＳ９１１）。続いて、撮像制御部２０１が、静止画／動画撮像モードのうちの何れの撮像モードが設定されているかを判断する（ステップＳ９１２）。静止画撮像モードが設定されている場合には（ステップＳ９１２）、静止画撮像処理が行われる（ステップＳ９２０）。なお、静止画撮像処理については、図６７を参照して詳細に説明する。一方、動画撮像モードが設定されている場合には（ステップＳ９１２）、動画撮像処理が行われる（ステップＳ９３０）。なお、動画撮像処理については、図６８を参照して詳細に説明する。
続いて、撮像範囲切替指示操作が受け付けられたか否かが判断される（ステップＳ９１３）。例えば、図１等に示す撮像範囲切替スイッチ１１１が押下されたか否かが判断される。撮像範囲切替指示操作が受け付けられていない場合には（ステップＳ９１３）、ステップＳ９１５に進む。一方、撮像範囲切替指示操作が受け付けられた場合には（ステップＳ９１３）、撮像制御部２０１が、受け付けられた撮像範囲切替指示操作に応じて撮像モードを切り替える（ステップＳ９１４）。例えば、撮像範囲切替スイッチ１１１が押下される毎に、（１）３眼横長広角画像撮像モード、（２）３眼横長狭角画像撮像モード、（３）単眼横長画像撮像モード、（４）単眼縦長画像撮像モード、（５）単眼縦長小領域画像撮像モードの順序で切替が行われる。
続いて、第２の筐体１２０の回動状態に変化があったか否かが判断され（ステップＳ９１５）、第２の筐体１２０の回動状態に変化がない場合には、ステップＳ９１２に戻る。一方、第２の筐体１２０の回動状態に変化があった場合には（ステップＳ９１５）、横長状態撮像処理の動作を終了する。
図６７は、本発明の第１の実施の形態における携帯電話装置１００による撮像制御処理の処理手順のうちの静止画撮像処理（図６６に示すステップＳ９２０の処理手順）を示すフローチャートである。
最初に、設定された撮像モードに応じて、モニタリング処理が行なわれる（ステップＳ９２１）。例えば、３眼横長広角画像撮像モードが設定されている場合には、図２９（ａ）に示す太線の範囲内の画像が、図２９（ｂ）に示すように、モニタリング画像として表示部１４０に表示される。また、上述したように、モニタリング処理時には、画素間引き処理や画素加算処理を行うようにしてもよい。
続いて、静止画の記録指示操作が受け付けられたか否かが判断される（ステップＳ９２２）。例えば、モニタリング画像が表示部１４０に表示されている状態で、決定キー１１４が押下されたか否かが判断される。静止画の記録指示操作が受け付けられていない場合には（ステップＳ９２２）、ステップＳ９２４に進む。一方、静止画の記録指示操作が受け付けられた場合には（ステップＳ９２２）、設定された撮像モードに応じて、静止画記録処理が行われる（ステップＳ９２３）。例えば、３眼横長広角画像撮像モードが設定されている場合には、図２９（ａ）に示す太線の範囲内の画像が、記録媒体１８０に記録される。
続いて、撮像範囲切替指示操作が受け付けられたか否かが判断される（ステップＳ９２４）。撮像範囲切替指示操作が受け付けられていない場合には（ステップＳ９２４）、第２の筐体１２０の回動状態に変化があったか否かが判断される（ステップＳ９２５）。第２の筐体１２０の回動状態に変化がない場合には（ステップＳ９２５）、静止画撮像モードから動画撮像モードへの切替操作が受け付けられたか否かが判断される（ステップＳ９２６）。例えば、静止画撮像モードが設定されている状態で、静止画／動画切替スイッチ１１２が押下されたか否かが判断される。撮像範囲切替指示操作の受け付け、第２の筐体１２０の回動状態変化、静止画撮像モードから動画撮像モードへの切替操作の受け付けの何れかがあった場合には（ステップＳ９２４乃至Ｓ９２６）、静止画撮像処理の動作を終了する。一方、撮像範囲切替指示操作の受け付け、第２の筐体１２０の回動状態変化、静止画撮像モードから動画撮像モードへの切替操作の受け付けの何れもなかった場合には（ステップＳ９２４乃至Ｓ９２６）、ステップＳ９２１に戻る。
図６８は、本発明の第１の実施の形態における携帯電話装置１００による撮像制御処理の処理手順のうちの動画撮像処理（図６６に示すステップＳ９３０の処理手順）を示すフローチャートである。
最初に、設定された撮像モードに応じて、モニタリング処理が行われる（ステップＳ９３１）。
続いて、動画の記録開始指示操作が受け付けられたか否かが判断される（ステップＳ９３２）。例えば、モニタリング画像が表示部１４０に表示されている状態で、決定キー１１４が押下されたか否かが判断される。動画の記録開始指示操作が受け付けられていない場合には（ステップＳ９３２）、ステップＳ９３５に進む。一方、動画の記録開始指示操作が受け付けられた場合には（ステップＳ９３２）、設定された撮像モードに応じて、動画記録処理が行われる（ステップＳ９３３）。続いて、動画の記録終了指示操作が受け付けられたか否かが判断される（ステップＳ９３４）。例えば、動画記録処理が行われている状態で、決定キー１１４が再押下されたか否かが判断される。動画の記録終了指示操作が受け付けられていない場合には（ステップＳ９３４）、動画記録処理が継続して行われる（ステップＳ９３３）。一方、動画の記録終了指示操作が受け付けられた場合には（ステップＳ９３４）、動画記録処理を終了してステップＳ９３５に進む。
続いて、撮像範囲切替指示操作が受け付けられたか否かが判断される（ステップＳ９３５）。撮像範囲切替指示操作が受け付けられていない場合には（ステップＳ９３５）、第２の筐体１２０の回動状態に変化があったか否かが判断される（ステップＳ９３６）。第２の筐体１２０の回動状態に変化がない場合には（ステップＳ９３６）、動画撮像モードから静止画撮像モードへの切替操作が受け付けられたか否かが判断される（ステップＳ９３７）。撮像範囲切替指示操作の受け付け、第２の筐体１２０の回動状態変化、動画撮像モードから静止画撮像モードへの切替操作の受け付けの何れかがあった場合には（ステップＳ９３５乃至Ｓ９３７）、動画撮像処理の動作を終了する。一方、撮像範囲切替指示操作の受け付け、第２の筐体１２０の回動状態変化、動画撮像モードから静止画撮像モードへの切替操作の受け付けの何れもなかった場合には（ステップＳ９３５乃至Ｓ９３７）、ステップＳ９３１に戻る。なお、動画撮像モードが設定されている場合には、静止画撮像モードよりも間引き率を上げて動画記録処理を行うようにしてもよい。
図６９は、本発明の第１の実施の形態における携帯電話装置１００による撮像制御処理の処理手順のうちの縦長状態撮像処理（図６５に示すステップＳ９５０の処理手順）を示すフローチャートである。
最初に、撮像制御部２０１が、初期設定として単眼縦長画像撮像モードを設定する（ステップＳ９５１）。続いて、撮像制御部２０１が、静止画／動画撮像モードのうちの何れの撮像モードが設定されているかを判断する（ステップＳ９５２）。静止画撮像モードが設定されている場合には（ステップＳ９５２）、静止画撮像処理が行われる（ステップＳ９６０）。なお、静止画撮像処理については、表示部１４０に表示される画像が異なる点以外は、図６７に示す処理手順と略同一である。このため、以下での説明を省略する。一方、動画撮像モードが設定されている場合には（ステップＳ９５２）、動画撮像処理が行われる（ステップＳ９７０）。なお、動画撮像処理については、表示部１４０に表示される画像が異なる点以外は、図６８に示す処理手順と略同一である。このため、以下での説明を省略する。
続いて、撮像範囲切替指示操作が受け付けられたか否かが判断される（ステップＳ９５３）。撮像範囲切替指示操作が受け付けられていない場合には（ステップＳ９５３）、ステップＳ９５５に進む。一方、撮像範囲切替指示操作が受け付けられた場合には（ステップＳ９５３）、撮像制御部２０１が、受け付けられた撮像範囲切替指示操作に応じて撮像モードを切り替える（ステップＳ９５４）。例えば、撮像範囲切替スイッチ１１１が押下される毎に、（１）単眼縦長画像撮像モード、（２）単眼縦長小領域画像撮像モード、（３）単眼横長画像撮像モード、（４）３眼横長狭角画像撮像モードの順序で切替が行われる。
続いて、第２の筐体１２０の回動状態に変化があったか否かが判断され（ステップＳ９５５）、第２の筐体１２０の回動状態に変化がない場合には、ステップＳ９５２に戻る。一方、第２の筐体１２０の回動状態に変化があった場合には（ステップＳ９５５）、縦長状態撮像処理の動作を終了する。
以上で示したように、本発明の第１の実施の形態では、複数の撮像モードの切替を容易に行うことができる。ここで、例えば、携帯電話装置の通話操作、電子メールの文章作成や文章読み取り等の操作を行う場合には、筐体を縦長にして使用することが多い。このため、例えば、カメラ付き携帯電話装置を用いて撮影が行われる場合にも、筐体および表示装置を縦長の状態にして撮影し、縦長の画像を記録することが多い。また、このように記録された縦長の画像について、例えば、携帯電話装置のユーザの間で再生または伝送等が行われることも多い。
しかしながら、人間の視野は横方向にもっと広い。このため、横縦比が大きい画像を記録することにより、人間の視野に入る領域に近い撮像範囲の画像を記録することができ、ユーザに与える違和感を軽減させることができると想定される。そこで、本発明の第１の実施の形態では、カメラ付き携帯電話装置のユーザが広く慣れ親しんでいる縦長画像と、人間の視野に比較的近い画角の大きな画像（例えば、パノラマ画像）との切替を第２の筐体１２０の回動操作のみで行うことができる。このように、比較的容易な操作により、縦長画像と画角の大きな画像とを切り替えることができるため、撮影タイミングを逃してしまうことを防止することができる。また、ユーザ好みの画像を容易に撮影することができる。
また、カメラ付き携帯電話装置のユーザが広く慣れ親しんでいる縦長画像については、単眼縦長画像撮像モードまたは単眼縦長小領域画像撮像モードにおいて表示または記録することができる。また、人間の視野に比較的近い画角の大きな画像（例えば、パノラマ画像）については、３眼横長広角撮像モード、３眼横長狭角撮像モード、単眼縦長画像撮像モードにおいて表示または記録することができる。また、これらの切替についても、撮像範囲切替スイッチ１１１により容易に行うことができる。このように、比較的容易な操作により、複数種類の画像を切り替えることができるため、撮影タイミングを逃してしまうことを防止することができる。また、ユーザ好みの画像を容易に撮影することができる。
［携帯電話装置の変形例］
図７０および図７１は、本発明の第１の実施の形態における携帯電話装置１００の変形例を示す図である。
図７０には、表示部および撮像部が同一の筐体に備えられている携帯電話装置１０４０を示す。図７０（ａ）には、携帯電話装置１０４０を使用する際における一態様の正面側を示し、図７０（ｂ）には、その態様における背面側を示す。また、図７０（ｃ）には、携帯電話装置１０４０を使用する際における他の態様の正面側を示し、図７０（ｄ）には、その態様における背面側を示す。
携帯電話装置１０４０は、第１の筐体１１０および第２の筐体１２０を備える。また、第２の筐体１２０は、表示部１４０および撮像部１０４１を備える。なお、携帯電話装置１０４０は、表示部および撮像部が同一の筐体に備えられている点以外は、携帯電話装置１００と略同一である。このため、携帯電話装置１００と共通する部分には、同一の符号を付して、その説明を省略する。
撮像部１０４１は、配置されている位置が異なる点以外は、携帯電話装置１００に備えられている撮像部１３０と略同一である。すなわち、撮像部１０４１において、３個の撮像系が所定の規則に従って並べて配置され、中央の撮像素子が縦長状態とされ、左右の撮像素子が横長状態とされて配置されている。
図７１には、１つの筐体により構成されている携帯電話装置１０５０を示す。図７１（ａ）には、携帯電話装置１０５０を使用する際における一態様の正面側を示し、図７１（ｂ）には、その態様における背面側を示す。また、図７１（ｃ）には、携帯電話装置１０５０を使用する際における他の態様の正面側を示す。
携帯電話装置１０５０は、１つの筐体により構成され、表示部１４０、撮像部１０５１および姿勢検出部１０５２を備える。なお、携帯電話装置１０５０は、１つの筐体により構成されている点、回動状態検出部１５０の代わりに姿勢検出部１０５２を備える点、および、撮像部が配置されている位置が異なる点以外は、携帯電話装置１００と略同一である。このため、携帯電話装置１００と共通する部分には、同一の符号を付して、その説明を省略する。
撮像部１０５１は、配置されている位置が異なる以外の点は、携帯電話装置１００に備えられている撮像部１３０と略同一である。すなわち、撮像部１０５１において、３個の撮像系が所定の規則に従って並べて配置され、中央の撮像素子が縦長状態とされ、左右の撮像素子が横長状態とされて配置されている。
姿勢検出部１０５２は、回動状態検出部１５０の代わりに、携帯電話装置１０５０に内蔵されているものであり、携帯電話装置１０５０に加えられた加速度、動き、傾き等を検出するものである。姿勢検出部は、例えば、ジャイロセンサ、転倒センサ、重力センサ等により実現される。そして、検出された各情報を姿勢情報として撮像制御部２０１に出力する。撮像制御部２０１は、検出された姿勢情報に基づいて、携帯電話装置１０５０が横長状態であるか縦長状態であるかを検出する。そして、検出された状態に基づいて、撮像動作の制御を行う。例えば、携帯電話装置１００の第２の筐体が横長状態であるか、縦長状態であるかに応じて行われた制御と同様の撮像制御を行うことができる。また、所定の操作部材を用いた操作入力に応じて撮像範囲を変更する撮像制御を行うようにしてもよい。この操作入力として、例えば、操作ボタンやタッチパネルによる操作入力を想定することができる。なお、姿勢検出部１０５２は、特許請求の範囲に記載の検出部の一例である。
このように、各態様の携帯電話装置に本発明の第１の実施の形態を適用することができる。
＜２．第２の実施の形態＞
本発明の第１の実施の形態では、複数の撮像系を備える携帯電話装置を例にして説明した。本発明の第２の実施の形態では、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置について説明する。
［撮像装置の外観構成例］
図７２は、本発明の第２の実施の形態における撮像装置１０００の外観構成を示す図である。図７２（ａ）には、撮像装置１０００の正面側（被写体側）の斜視図を示し、図１（ｂ）および（ｃ）には、撮像装置１０００の背面側（撮影者側）の斜視図を示す。撮像装置１０００は、第１の筐体１０１０および第２の筐体１０２０が回動部材１００１により回動可能に連結されて構成される。撮像装置１０００は、例えば、３つの撮像系を備えるデジタルスチルカメラにより実現される。なお、図７２では、説明の容易のため、撮像装置１０００を簡略化して示し、撮像装置１０００の外側面に備えられている電源スイッチ等の図示を省略する。
第１の筐体１０１０は、撮像範囲切替スイッチ１０１１と、静止画／動画切替スイッチ１０１２と、シャッターボタン１０１３と、撮像部１０３０とを備える。撮像範囲切替スイッチ１０１１、静止画／動画切替スイッチ１０１２および撮像部１０３０については、図１等に示す撮像範囲切替スイッチ１１１、静止画／動画切替スイッチ１１２および撮像部１３０と略同一であるため、ここでの説明を省略する。なお、撮像範囲切替スイッチ１０１１は、特許請求の範囲に記載の操作受付部の一例である。
シャッターボタン１０１３は、画像の記録開始を指示する操作部材である。例えば、静止画撮像モードが設定されている場合に、撮像部１０３０により生成された画像データを静止画ファイルとして記録媒体に記録する際に押下される。
第２の筐体１０２０は、表示部１０２１を備える。表示部１０２１については、図１等に示す表示部１４０と略同一であるため、ここでの説明を省略する。また、撮像装置１０００は、第１の筐体１０１０および第２の筐体１０２０が回動可能に接続されている。すなわち、回動部材１００１（点線で示す）を回動基準として、第１の筐体１０１０に対して第２の筐体１０２０を回動させることができる。これにより、第１の筐体１０１０に対する第２の筐体１０２０の相対的な位置関係を変化させることができる。例えば、図７２（ｂ）に示す矢印１００２方向に第２の筐体１０２０を９０度回動させた場合における形態を図７２（ｃ）に示す。そして、本発明の第１の実施の形態と同様に、第２の筐体１０２０が横長状態であるか縦長状態であるかに基づいて、撮像動作の制御が行われる。
なお、本発明の実施の形態では、３つの撮像系を備える携帯電話装置および撮像装置を例にして説明したが、例えば、５つ以上の奇数個の撮像系を備える携帯電話装置および撮像装置等に本発明の実施の形態を適用することができる。すなわち、５つ以上の奇数個の撮像系を一定の規則で並べて配置し、中央の撮像素子を縦長状態とし、他の左右の撮像素子を横長状態として構成することにより、本発明の実施の形態を適用することができる。
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、本発明の実施の形態において明示したように、本発明の実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本発明の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。
１１ アプリケーションプロセッサ
１２ デジタルベースバンド処理部
１３ アナログベースバンド処理部
１４ ＲＦ処理部
１５ 電池
１６ マイクロフォン
１７ スピーカ
１８ アンテナ
１００、１０４０、１０５０ 携帯電話装置
１０１、１００１ 回動部材
１１０、１０１０ 第１の筐体
１１１、１０１１ 撮像範囲切替スイッチ
１１２、１０１２ 静止画／動画切替スイッチ
１１３ テンキー
１１４ 決定キー
１１５ 十字キー
１２０、１０２０ 第２の筐体
１３０、１０３０、１０４１、１０５１ 撮像部
１３１〜１３３ 光学系
１３４〜１３６ 撮像素子
１３７〜１３９ ＤＳＰとのＩ／Ｆ
１４０、１０２１ 表示部
１５０ 回動状態検出部
１６０ プログラムメモリ
１７０ 画像メモリ
１８０ 記録媒体
１９１ 第１の撮像系
１９２ 第２の撮像系
１９３ 第３の撮像系
２０１ 撮像制御部
２０２ ＣＰＵ
２０３ ＤＭＡコントローラ
２０４ データバス
２０５ プログラムメモリとのＩ／Ｆ
２０６ 画像メモリとのＩ／Ｆ
２０７ 電源制御部
２０８ 電源供給部
２０９ 電源供給部
２１０ 撮像素子とのＩ／Ｆ
２１１〜２１９ 画像バッファ
２２０ 画像信号処理部
２２１ 画素加算処理部
２２２ デモザイク処理部
２２３ ＹＣ変換処理部
２２４ 画像合成処理部
２２５ シャープネス処理部
２２６ 色調整処理部
２２７ ＲＧＢ変換処理部
２３１、２４１、２５１ 解像度変換部
２３２、２４２ 画像回転処理部
２３３ 表示部とのＩ／Ｆ
２４３ 外部表示装置とのＩ／Ｆ
２４５ 外部表示装置
２５２ 符号化部
２５３ 記録媒体とのＩ／Ｆ
２６１〜２６３ 発振子
２６４〜２６６ 発振回路
２７０ クロック生成回路
３４０ 垂直走査回路
３４５ 水平走査回路
１０００ 撮像装置
１０１３ シャッターボタン
１０５２ 姿勢検出部

Claims (17)

  1. 被写体の特定方向を長手方向とする第１の撮像画像と、前記特定方向に直交する直交方向を長手方向とする撮像画像であって前記第１の撮像画像に含まれる被写体の前記直交方向の一方に隣接する被写体を含む第２の撮像画像と、前記直交方向を長手方向とする撮像画像であって前記第１の撮像画像に含まれる被写体の前記直交方向の他方に隣接する被写体を含む第３の撮像画像とのそれぞれを互いに異なる撮像素子により生成する撮像部と、
    撮像装置の状態を検出する検出部と、
    前記撮像部により生成される前記第１乃至３の撮像画像のうち表示または記録の対象となる対象画像の範囲を前記検出された状態に基づいて決定する制御部と
    を具備する撮像装置。
  2. 前記撮像部を備える第１の筐体と、
    前記対象画像を表示する表示部を備える第２の筐体と、
    前記第１の筐体と前記第２の筐体とを回動可能に連結する回動部材とをさらに具備し、
    前記検出部は、前記撮像装置の状態として前記第１の筐体に対する前記第２の筐体の回動状態を検出する
    請求項１記載の撮像装置。
  3. 前記検出部は、前記撮像装置の状態として前記表示部の長手方向と前記第１の撮像画像を生成する第１の撮像素子の長手方向とが略平行となる第１の特定状態を検出し、
    前記制御部は、前記第１の特定状態が検出された場合には前記第１の撮像画像のみを前記対象画像として用いることを決定する
    請求項２記載の撮像装置。
  4. 前記制御部は、前記第１の特定状態が検出された場合には前記第１の撮像画像の全てを前記対象画像として用いることを決定する請求項３記載の撮像装置。
  5. 前記検出部は、前記撮像装置の状態として前記表示部の長手方向と直交する直交方向と前記第１の撮像画像を生成する第１の撮像素子の長手方向とが略平行となる第２の特定状態を検出し、
    前記制御部は、前記第２の特定状態が検出された場合には前記第１乃至３の撮像画像を前記対象画像として用いることを決定する
    請求項２記載の撮像装置。
  6. 前記制御部は、前記第２の特定状態が検出された場合には前記第１の撮像画像の一部と前記第２および３の撮像画像とを合成して生成される合成画像を前記対象画像として用いることを決定する請求項５記載の撮像装置。
  7. 前記回動部材は、前記第１の筐体の一の面と前記第２の筐体の一の面とが対向するように連結し、
    前記第１の筐体の一の面の反対側の面には、前記撮像部を構成する各撮像素子のそれぞれに対応するレンズ群が並べて配置され、
    前記第２の筐体の一の面の反対側の面には、前記表示部が備えられている
    請求項２記載の撮像装置。
  8. 前記回動部材は、前記表示部における表示面と前記第１の撮像画像を生成する第１の撮像素子に対応する前記レンズ群に係る光軸方向とが略垂直となるように前記第１の筐体および前記第２の筐体を連結する請求項７記載の撮像装置。
  9. 前記第１の撮像画像の一部と前記第２および３の撮像画像とを合成して合成画像を生成する画像合成部をさらに具備し、
    前記制御部は、前記検出された状態が特定状態である場合には前記対象画像として前記合成画像を用いることを決定する
    請求項１記載の撮像装置。
  10. 前記画像合成部は、前記合成画像として略長方形の画像を生成する請求項９記載の撮像装置。
  11. 前記制御部は、前記検出された状態に基づいて前記撮像部を構成する複数の撮像素子を用いて行う複眼撮像動作と前記第１の撮像画像を生成する第１の撮像素子のみを用いて行う単眼撮像動作とを切り替えて前記対象画像の範囲を決定する請求項１記載の撮像装置。
  12. 前記制御部は、前記単眼撮像動作に切り替えた場合には前記第２および３の撮像画像を生成する撮像素子の動作を停止させる請求項１１記載の撮像装置。
  13. 前記制御部は、前記複眼撮像動作に切り替えた場合には前記複眼撮像動作に所定の周波数のクロックを使用し、前記単眼撮像動作に切り替えた場合には前記単眼撮像動作に前記所定の周波数よりも低い周波数のクロックを使用することを決定する請求項１１記載の撮像装置。
  14. 前記制御部は、前記第１の筐体に対する前記第２の筐体の回動状態が特定状態である場合には前記対象画像を回転処理させて前記表示部に表示させる請求項２記載の撮像装置。
  15. 被写体の特定方向を長手方向とする第１の撮像画像と、前記特定方向に直交する直交方向を長手方向とする撮像画像であって前記第１の撮像画像に含まれる被写体の前記直交方向の一方に隣接する被写体を含む第２の撮像画像と、前記直交方向を長手方向とする撮像画像であって前記第１の撮像画像に含まれる被写体の前記直交方向の他方に隣接する被写体を含む第３の撮像画像とのそれぞれを互いに異なる撮像素子により生成する撮像部と、
    撮像範囲の変更を指示する指示操作を受け付ける操作受付部と、
    前記撮像部により生成される前記第１乃至３の撮像画像のうち表示または記録の対象となる対象画像の範囲を前記受け付けられた指示操作に基づいて決定する制御部と
    を具備する撮像装置。
  16. 撮像装置の状態を検出する検出手順と、
    被写体の特定方向を長手方向として第１の撮像素子により生成される第１の撮像画像と、前記特定方向に直交する直交方向を長手方向とする撮像画像であって前記第１の撮像画像に含まれる被写体の前記直交方向の一方に隣接する被写体を含むように第２の撮像素子により生成される第２の撮像画像と、前記直交方向を長手方向とする撮像画像であって前記第１の撮像画像に含まれる被写体の前記直交方向の他方に隣接する被写体を含むように第３の撮像素子により生成される第３の撮像画像とのうち表示または記録の対象となる対象画像の範囲を前記検出された状態に基づいて決定する制御手順と
    を具備する撮像装置の制御方法。
  17. 撮像装置の状態を検出する検出手順と、
    被写体の特定方向を長手方向として第１の撮像素子により生成される第１の撮像画像と、前記特定方向に直交する直交方向を長手方向とする撮像画像であって前記第１の撮像画像に含まれる被写体の前記直交方向の一方に隣接する被写体を含むように第２の撮像素子により生成される第２の撮像画像と、前記直交方向を長手方向とする撮像画像であって前記第１の撮像画像に含まれる被写体の前記直交方向の他方に隣接する被写体を含むように第３の撮像素子により生成される第３の撮像画像とのうち表示または記録の対象となる対象画像の範囲を前記検出された状態に基づいて決定する制御手順と
    をコンピュータに実行させるプログラム。
JP2009190659A 2009-08-20 2009-08-20 撮像装置 Expired - Fee Related JP5423235B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2009190659A JP5423235B2 (ja) 2009-08-20 2009-08-20 撮像装置
CN201410147988.4A CN104023169A (zh) 2009-08-20 2010-08-16 成像设备、控制该成像设备的方法和计算机程序
CN201010256083.2A CN101998041B (zh) 2009-08-20 2010-08-16 成像设备和控制该成像设备的方法
US12/858,062 US8576321B2 (en) 2009-08-20 2010-08-17 Imaging apparatus, method of controlling the same, and computer program
US14/036,741 US9071753B2 (en) 2009-08-20 2013-09-25 Imaging apparatus including a first imaging system and a second imaging system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009190659A JP5423235B2 (ja) 2009-08-20 2009-08-20 撮像装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2013244927A Division JP2014082768A (ja) 2013-11-27 2013-11-27 撮像装置およびその制御方法

Publications (3)

Publication Number Publication Date
JP2011044837A true JP2011044837A (ja) 2011-03-03
JP2011044837A5 JP2011044837A5 (ja) 2012-09-20
JP5423235B2 JP5423235B2 (ja) 2014-02-19

Family

ID=43605061

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009190659A Expired - Fee Related JP5423235B2 (ja) 2009-08-20 2009-08-20 撮像装置

Country Status (3)

Country Link
US (2) US8576321B2 (ja)
JP (1) JP5423235B2 (ja)
CN (2) CN101998041B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013015024A1 (ja) * 2011-07-22 2013-01-31 富士フイルム株式会社 パノラマ画像生成方法及び撮像装置
JP2015050498A (ja) * 2013-08-30 2015-03-16 株式会社リコー 撮像装置、撮像方法および記録媒体
US9386218B2 (en) 2013-05-22 2016-07-05 Sony Corporation Information processing apparatus, information processing method, and program

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5672862B2 (ja) * 2010-08-27 2015-02-18 ソニー株式会社 撮像装置、撮像システム及び撮像方法
US8908054B1 (en) * 2011-04-28 2014-12-09 Rockwell Collins, Inc. Optics apparatus for hands-free focus
US8553129B2 (en) * 2011-05-10 2013-10-08 Htc Corporation Handheld electronic device with two lens modules, dual image capturing method applying for the handheld electronic device, and computer program product for load into the handheld electronic device
TWI469615B (zh) * 2011-05-10 2015-01-11 Htc Corp 手持式電子裝置、適用於其之雙重影像擷取方法以及用以載入於其之電腦程式產品
RU2614015C1 (ru) * 2013-03-29 2017-03-22 Нек Корпорейшн Система мониторинга объектов, способ мониторинга объектов и программа выделения цели мониторинга
KR102120764B1 (ko) * 2013-09-16 2020-06-09 엘지전자 주식회사 포터블 디바이스 및 그 제어 방법
IN2014CH00115A (ja) * 2014-01-09 2015-07-10 Samsung R & D Inst India Bangalore Private Ltd
EP3123226B1 (en) * 2014-03-27 2019-02-20 Intel Corporation Apparatus and method for capturing multiple sub-images to generate an image
CN104243821B (zh) * 2014-09-10 2018-07-03 广东欧珀移动通信有限公司 一种大视角照片的获取方法及装置
JP6702821B2 (ja) * 2016-07-28 2020-06-03 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
US10282074B2 (en) * 2017-03-10 2019-05-07 GM Global Technology Operations LLC Method and apparatus for enhancing top view image
EP3866455A1 (en) * 2020-02-14 2021-08-18 InterDigital CE Patent Holdings Device and method for capturing images or video
US11245845B2 (en) 2020-06-04 2022-02-08 Hand Held Products, Inc. Systems and methods for operating an imaging device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002232754A (ja) * 2001-01-31 2002-08-16 Canon Inc 撮像装置
JP2006338566A (ja) * 2005-06-06 2006-12-14 Alpine Electronics Inc 画像合成装置および合成方法
JP2008249782A (ja) * 2007-03-29 2008-10-16 Fujifilm Corp 複眼撮像装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6330344B1 (en) * 1997-02-14 2001-12-11 Sony Corporation Image processing device and method employing motion detection to generate improved quality image from low resolution image
US6693524B1 (en) * 1998-06-02 2004-02-17 George R. Payne Vehicle backup monitoring and alarm system
JP4131052B2 (ja) * 1998-07-17 2008-08-13 ソニー株式会社 撮像装置
JP2000209469A (ja) 1999-01-18 2000-07-28 Fuji Photo Film Co Ltd 電子スチルカメラ
JP2003333425A (ja) 2002-05-15 2003-11-21 Fuji Photo Film Co Ltd カメラ
JP3931768B2 (ja) 2002-08-29 2007-06-20 オムロン株式会社 画像撮影装置および画像撮影システム
JP2004145291A (ja) * 2002-10-03 2004-05-20 Casio Comput Co Ltd 画像表示装置、画像表示方法及びプログラム
JP2004159014A (ja) 2002-11-05 2004-06-03 Nec Corp デジタルカメラ付き携帯通信端末
JP2004320363A (ja) * 2003-04-15 2004-11-11 Alps Electric Co Ltd 画像データ処理機能付き装置および画像データ処理方法
JP2005141527A (ja) * 2003-11-07 2005-06-02 Sony Corp 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
WO2006090660A1 (ja) * 2005-02-22 2006-08-31 Matsushita Electric Industrial Co., Ltd. ズームレンズ系、撮像装置及びカメラ
JP4297111B2 (ja) 2005-12-14 2009-07-15 ソニー株式会社 撮像装置、画像処理方法及びそのプログラム
JP5071380B2 (ja) * 2006-03-31 2012-11-14 株式会社ニコン 撮像装置、撮像方法、高変倍ズームレンズ
JP4232794B2 (ja) * 2006-05-31 2009-03-04 アイシン・エィ・ダブリュ株式会社 運転支援方法及び運転支援装置
EP2042920B1 (en) * 2006-08-01 2010-05-12 Panasonic Corporation Camera device, liquid lens and image pickup method
JP4278675B2 (ja) * 2006-10-30 2009-06-17 シャープ株式会社 携帯情報端末
CN101378559A (zh) * 2007-08-30 2009-03-04 联想移动通信科技有限公司 采用摄像头组合全景拍的手机
US8416282B2 (en) * 2008-10-16 2013-04-09 Spatial Cam Llc Camera for creating a panoramic image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002232754A (ja) * 2001-01-31 2002-08-16 Canon Inc 撮像装置
JP2006338566A (ja) * 2005-06-06 2006-12-14 Alpine Electronics Inc 画像合成装置および合成方法
JP2008249782A (ja) * 2007-03-29 2008-10-16 Fujifilm Corp 複眼撮像装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013015024A1 (ja) * 2011-07-22 2013-01-31 富士フイルム株式会社 パノラマ画像生成方法及び撮像装置
US9973691B2 (en) 2011-07-22 2018-05-15 Fujifilm Corporation Panoramic image generation method and image capturing apparatus
US9386218B2 (en) 2013-05-22 2016-07-05 Sony Corporation Information processing apparatus, information processing method, and program
US9807303B2 (en) 2013-05-22 2017-10-31 Sony Semiconductor Solutions Corporation Information processing apparatus, information processing method, and program
JP2015050498A (ja) * 2013-08-30 2015-03-16 株式会社リコー 撮像装置、撮像方法および記録媒体

Also Published As

Publication number Publication date
US9071753B2 (en) 2015-06-30
CN101998041A (zh) 2011-03-30
CN104023169A (zh) 2014-09-03
US8576321B2 (en) 2013-11-05
US20110043669A1 (en) 2011-02-24
JP5423235B2 (ja) 2014-02-19
US20140028790A1 (en) 2014-01-30
CN101998041B (zh) 2014-05-14

Similar Documents

Publication Publication Date Title
JP5423235B2 (ja) 撮像装置
JP5526921B2 (ja) 撮像装置、電子機器および表示制御方法
JP5593772B2 (ja) 画像処理装置、画像処理方法およびプログラム
US20140160233A1 (en) Information processing apparatus, information processing method, and program
US9807303B2 (en) Information processing apparatus, information processing method, and program
JP5435104B2 (ja) 情報処理装置、表示装置および情報処理装置の制御方法
JP5775977B2 (ja) 画像処理装置、撮像装置、画像処理方法、及び画像処理プログラム
JP2014082768A (ja) 撮像装置およびその制御方法
JP6032912B2 (ja) 撮像装置、その制御方法及びプログラム
WO2015076055A1 (ja) 撮像モジュール、電子機器及び撮像モジュールの駆動方法
JP2009033385A (ja) 画像処理装置、画像処理方法、画像処理プログラム及び撮像装置
JP5637298B2 (ja) 情報処理装置、電子機器および表示制御方法
US8804014B2 (en) Imaging device for reducing color moire
JP2010251882A (ja) 撮像装置及び画像再生装置
JP4905080B2 (ja) 転送回路、転送制御方法、撮像装置、制御プログラム
WO2017086021A1 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
JP2012090212A (ja) 画像処理装置、携帯情報端末装置、画像処理方法、及びプログラム
JP2019110372A (ja) カメラ
JP2004282444A (ja) 画像処理装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120802

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120802

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130716

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130913

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131029

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131111

LAPS Cancellation because of no payment of annual fees