JP2013085239A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2013085239A
JP2013085239A JP2012216992A JP2012216992A JP2013085239A JP 2013085239 A JP2013085239 A JP 2013085239A JP 2012216992 A JP2012216992 A JP 2012216992A JP 2012216992 A JP2012216992 A JP 2012216992A JP 2013085239 A JP2013085239 A JP 2013085239A
Authority
JP
Japan
Prior art keywords
image
imaging
unit
imaging unit
focal length
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012216992A
Other languages
English (en)
Inventor
Mikio Sakurai
幹夫 櫻井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2012216992A priority Critical patent/JP2013085239A/ja
Publication of JP2013085239A publication Critical patent/JP2013085239A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • G03B35/10Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/08Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted to co-operate with a remote control mechanism
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00Cameras
    • G03B19/02Still-picture cameras
    • G03B19/04Roll-film cameras
    • G03B19/07Roll-film cameras having more than one objective
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/286Image signal generators having separate monoscopic and stereoscopic modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Cameras In General (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Lens Barrels (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Automatic Focus Adjustment (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】複数の光学系を備えた撮像装置において、各光学系について好適に露光動作又はフォーカス動作を行うことができる撮像装置を提供する。
【解決手段】
撮像装置は、第一の画像を生成する第一の撮像部と、第二の画像を生成する第二の撮像部と、第一の画像及び第二の画像のうちのいずれか一方に基づいて、撮影開始のトリガー情報を検出する検出部と、検出部がトリガー情報を検出すると、第一の撮像部および第二の撮像部の両者に対して撮像処理を実行する処理部とを備える。
【選択図】図1

Description

本開示は、2眼撮像装置における露光動作又はフォーカス動作に関する。
2つの光学系を有し、両眼視差をもって左右の画像を撮影し、3次元(3D)画像を記録できる2眼撮像装置が知られている。
例えば、特許文献1は、被写体の笑顔を検出できる2眼撮像装置を開示している。また、2眼撮像装置において、左右の光学系それぞれで独立して焦点距離や画角等の調節ができ、左右それぞれで2D画像を撮像可能なものもある。
特開2010−252046号公報
2眼撮像装置により撮像された左右の画像は視差を有する。このため、一方の画像では被写体の顔を検出できても、他方の画像では被写体が隠れてしまい被写体の顔を検出できない場合がある。このような場合、画像から人物の笑顔を検出して、露光動作やフォーカス動作などを実行しようとしても、左右の画像それぞれについて好適に処理を行なうことができないという課題があった。
また、左右の光学系それぞれを独立して画角の調節が可能な撮像装置において左右それぞれで画角が設定される場合、前述の問題は特に顕著な問題となる。
本開示は、複数の光学系を備えた撮像装置において、各光学系について好適に撮像動作又はフォーカス動作を行うことができる撮像装置を提供する。
本開示における第1の撮像装置は、第一の画像を生成する第一の撮像部と、第二の画像を生成する第二の撮像部と、第一の画像及び第二の画像のうちのいずれか一方に基づいて、撮影開始のトリガー情報を検出する検出部と、検出部がトリガー情報を検出すると、第一の撮像部および第二の撮像部の両者に対して撮像処理を実行する処理部とを備える。
本開示における第2の撮像装置は、第一の画像を生成する第一の撮像部と、第二の画像を生成する第二の撮像部と、第一の画像及び第二の画像のうちのいずれか一方の画像情報に基づいて、所定のフォーカス検出処理によりフォーカス対象を検出するフォーカス検出部と、フォーカス対象の検出結果に基づいて、第一の撮像部および第二の撮像部の両者に対してオートフォーカス処理を行う処理部と、を備える。
上記構成により本開示の撮像装置は、複数の光学系のうちの少なくとも一つの光学系において撮影開始のトリガー情報またはフォーカス対象を検出したときに、撮像動作またはフォーカス動作を実行できる。これにより、撮像装置は、全ての光学系においてトリガー情報またはフォーカス対象を検出できない場合であっても、少なくとも一つの光学系においてトリガー情報またはフォーカス対象を検出できれば、複数の光学系それぞれについて好適に撮像動作又はフォーカス動作を行うことができる。
実施の形態1におけるデジタルカメラの電気的構成を示すブロック図 実施の形態1におけるデジタルカメラの露光動作のフローチャート 実施の形態1におけるデジタルカメラの顔検出および笑顔判定を説明するための図 実施の形態1におけるデジタルカメラの露光動作のタイムチャート 実施の形態2におけるデジタルカメラのAF動作のフローチャート 実施の形態2におけるデジタルカメラの顔検出を説明するための図
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、発明者(ら)は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
(実施の形態1)
以下、実施の形態1について図面を参照しながら説明する。
〔1.デジタルカメラの構成〕
図1は、本実施の形態におけるデジタルカメラ1の電気的構成を示すブロック図である。
デジタルカメラ1は、光学系110(a)及び110(b)、ズームモータ120(a)及び120(b)、シャッタモータ130(a)及び130(b)、フォーカスモータ140(a)及び140(b)、CCDイメージセンサ150(a)及び150(b)、画像処理部160、メモリ200、コントローラ210、カードスロット230、操作部材250、液晶モニタ270、内部メモリ280を備える。
光学系110(a)は、ズームレンズ111(a)、絞り兼用レンズシャッタ112(a)、フォーカスレンズ113(a)を含む。また、光学系110(b)は、ズームレンズ111(b)、絞り兼用レンズシャッタ112(b)、フォーカスレンズ113(b)を含む。なお、光学系110(a)は、第1視点における被写体像を形成し、光学系110(b)は、第1視点とは異なる第2視点における被写体像を形成する。なお、3D撮影モード(後述)においては、光学系110(a)により形成された被写体像から左眼用の画像が生成され、光学系110(b)により形成された被写体像から右眼用の画像が形成される。
ズームレンズ111(a)及び111(b)の各々は、光学系の光軸に沿って移動することにより、それぞれCCDイメージセンサ150(a)および150(b)に結像する被写体像を拡大又は縮小することを可能とする。ズームレンズ111(a)及び111(b)は、それぞれズームモータ120(a)および120(b)によって制御され、別々の焦点距離での撮影が可能である。絞り兼用シャッタ112(a)及び112(b)は、それぞれ光量を調整する絞り機構を兼ねたレンズシャッタを有する。絞り兼用シャッタ112(a)及び112(b)は、それぞれ絞り兼用シャッタモータ130(a)および130(b)によって制御される。
フォーカスレンズ113(a)及び113(b)は、光学系の光軸に沿って移動することにより、それぞれCCDイメージセンサ150(a)および150(b)に結像する被写体像のピントを調整する。フォーカスレンズ113(a)及び113(b)は、それぞれフォーカスモータ140(a)および140(b)によって制御される。
以下では、光学系110(a)及び110(b)を総称して単に光学系110と記載することがある。ズームレンズ111、絞り兼用レンズシャッタ112、フォーカスレンズ113、ズームモータ120、絞り兼用シャッタモータ130、フォーカスモータ140、CCDイメージセンサ150についても同様である。
ズームモータ120(a)および120(b)は、それぞれズームレンズ111(a)及び111(b)を駆動制御する。ズームモータ120(a)および120(b)は、パルスモータやDCモータ、リニアモータ、サーボモータなどで実現してもよい。ズームモータ120(a)および120(b)は、カム機構やボールネジなどの機構を介してズームレンズ111(a)及び111(b)を駆動するようにしてもよい。また、ズームレンズ111(a)と、ズームレンズ111(b)と、を同じ動作で制御する構成にしても良い。
絞り兼用シャッタモータ130(a)および130(b)は、それぞれ絞り兼用シャッタ112(a)及び112(b)を駆動制御する。絞り兼用シャッタモータ130(a)および130(b)は、パルスモータやDCモータ、リニアモータ、サーボモータなどで実現してもよい。絞り兼用シャッタモータ130(a)および130(b)は、カム機構などの機構を介して絞り兼用シャッタ112(a)及び112(b)を駆動するようにしてもよい。また、絞り兼用シャッタ112(a)と、絞り兼用シャッタ112(b)と、を同じ動作で制御しても良い。
フォーカスモータ140(a)および140(b)は、フォーカスレンズ113(a)及び113(b)を駆動制御する。フォーカスモータ140(a)および140(b)は、パルスモータやDCモータ、リニアモータ、サーボモータなどで実現してもよい。フォーカスモータ140(a)および140(b)は、カム機構やボールネジなどの機構を介してフォーカスレンズ113(a)及び113(b)を駆動するようにしてもよい。
ドライバ275は、コントローラ210から指示された駆動信号に従って、実際にズームモータ120、絞り兼用シャッタモータ130、フォーカスモータ140を駆動する信号を生成し、出力する。
CCDイメージセンサ150(a)及び150(b)は、それぞれ光学系110(a)及び110(b)で形成された被写体像を撮影して、第1視点信号及び第2視点信号を生成する。CCDイメージセンサ150(a)及び150(b)は、露光、転送、電子シャッタなどの各種動作を行う。
画像処理部160は、CCDイメージセンサ150(a)及び150(b)で生成された第1視点信号及び第2視点信号に対して各種の処理を施す。画像処理部160は、第1視点信号及び第2視点信号に対して処理を施し、液晶モニタ270に表示するための画像データ(以下「スルー画像」と称す)を生成したり、メモリカード240に格納するための画像信号を生成したりする。例えば、画像処理部160は、第1視点信号及び第2視点信号に対してガンマ補正やホワイトバランス補正、傷補正などの各種画像処理を行う。
また、画像処理部160は、3D画像の処理時に、第1視点信号及び第2視点信号に対して切り出し処理を行う。3D画像において第1視点信号と第2視点信号の間に垂直方向のずれが存在すると、観察者に違和感を与えてしまうが、垂直方向の切り出し位置を補正することにより、このずれを軽減することが出来る。
さらに、画像処理部160は、上記の処理が施された第1視点信号及び第2視点信号に対して、それぞれ所定のファイルシステム規格に準拠した圧縮形式等により画像信号を圧縮する。第1視点信号及び第2視点信号を圧縮して得られるそれぞれの圧縮画像信号は、互いに関連付けられて、メモリカード240に記録される。圧縮する画像信号が動画の場合、H.264/MPEG4 AVC等の動画圧縮規格が適用される。なお、MPOファイルフォーマットと、JPEG画像若しくはMPEG動画と、を同時に記録するようにしても構わない。
画像処理部160は、DSPやマイコンなどで実現可能である。なお、スルー画像の解像度(画素数)は、液晶モニタ270の画面解像度に設定してもよい。または、JPEG規格に準拠した圧縮形式等により圧縮されて形成される画像データの解像度に設定してもよい。
メモリ200は、画像処理部160及びコントローラ210のワークメモリとして機能する。メモリ200は、例えば、画像処理部160で処理された画像信号若しくは画像処理部160で処理される前のCCDイメージセンサ150から入力される画像データを一時的に蓄積する。また、メモリ200は、撮影時における光学系110、CCDイメージセンサ150の撮影条件を一時的に蓄積する。撮影条件とは、被写体距離、画角情報、ISO感度、シャッタスピード、EV値、F値、レンズ間距離、撮影時刻、OISシフト量等を示す。メモリ200は、例えば、DRAM、強誘電体メモリなどで実現できる。
内部メモリ280は、フラッシュメモリや強誘電体メモリなどで構成される。内部メモリ280は、デジタルカメラ1全体を制御するための制御プログラム等を記憶している。
コントローラ210は、デジタルカメラ1の全体を制御する制御手段である。コントローラ210は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。コントローラ210は、マイコンなどで実現できる。
カードスロット230は、メモリカード240を装着可能である。カードスロット230は機械的及び電気的にメモリカード240と接続可能である。
メモリカード240は、フラッシュメモリや強誘電体メモリなどを内部に含み、データを格納可能である。
操作部材250は、使用者からの操作を受け付けるユーザーインターフェースの総称である。例えば、操作部材250は、使用者からの操作を受け付ける操作ダイヤル及び記録開始ボタンを備える。
液晶モニタ270は、CCDイメージセンサ150で生成した第1視点信号及び第2視点信号や、メモリカード240から読み出した第1視点信号及び第2視点信号を、2D表示若しくは3D表示可能な表示デバイスである。また、液晶モニタ270は、デジタルカメラ100の各種の設定情報を表示可能である。例えば、液晶モニタ270は、撮影時における撮影条件である、EV値、F値、シャッタスピード、ISO感度等を表示可能である。
〔2.デジタルカメラの動作〕
以下、図を用いて、本実施の形態1におけるデジタルカメラ1の動作を説明する。図2は、実施の形態1におけるデジタルカメラ1の露光動作のフローチャートである。なお、図2のフローチャートが示す処理の開始時点において、デジタルカメラ1は、電源オン等の撮影準備を完了済みであるとする。
画像処理部160は、CCDイメージセンサ150(a、b)により生成される画像に基づいて、スルー画像の生成を開始し、コントローラ210は、このスルー画像の液晶モニタ270への表示を開始する。これにより、デジタルカメラ1は撮影モードに入る(S200)。
撮影モードに入ると(S200)、ユーザは、液晶モニタ270に表示されるメニュー画面にて、各種撮影モードの中のいずれを採用するかを決定することができる。各種撮影モードには、3D撮影モード、2D画像のTELE/WIDE同時撮影モード、動画/静止画の同時撮影モードなどが含まれる。
3D撮影モードは、立体視を可能とする3D画像を撮像するモードであり、光学系110(a)により左眼用画像を、光学系110(b)により右眼用画像を撮像して3D画像を生成する。
2D画像のTELE/WIDE同時撮影モードは、左右の光学系110(a、b)を介して、同時に2つの2D画像を撮像するモードである。2D画像のTELE/WIDE同時撮影モードでは、左右の光学系110(a、b)の焦点距離(ズーム倍率)は、それぞれ独立して調節されることができる。例えば、一方の光学系110(a)の焦点距離を100mm、他方の光学系110(b)の焦点距離を25mmというように、互いに独立して調節することができる。また、2D画像のTELE/WIDE同時撮影モードでは、左右の光学系110(a、b)をそれぞれに対して独立してオートフォーカス(AF)動作が可能である。
動画/静止画の同時撮影モードは、同一被写体に対して動画像および静止画像(2D画像)を同時に撮影することができるモードである。動画/静止画の同時撮影モードでは、CCDイメージセンサ150(a)を、動画撮影用の駆動モードにて駆動する一方、CCDイメージセンサ150(b)を、静止画撮影用の駆動モードにて駆動する。
以下の説明では、ユーザにより、2D画像のTELE/WIDE同時撮影モードが選択されているとする。このとき、デジタルカメラ1における左右の光学系110(a)、110(b)の焦点距離はそれぞれTELE端(例えば、焦点距離100mm)、WIDE端(例えば、焦点距離25mm)にそれぞれ設定されているとする。
また、撮影モードに入ると、上記各種撮影モードの設定の他に、ユーザは、液晶モニタ270に表示されるメニュー画面にて、各種シャッタ設定を行なうことができる。各種シャッタ設定には、笑顔検出シャッタモードや、瞬き検出シャッタモードや、顔検出後の所定時間経過後にレリーズを切るモードなどが含まれる。笑顔検出シャッタモードは、撮影画像に含まれる人物が笑顔であると判定されたときに、シャッタを切るモードである。瞬き検出シャッタモードは、レリーズを押された後、撮影画像に含まれる人物が瞬きにより眼を閉じていないと判定できたときに、シャッタを切るモードである。ここでは、笑顔検出シャッタモードが選択されたとして説明する。
なお、以下では、説明の便宜上、光学系110(a)及びCCD150(a)を「左の光学系」及び「左のCCD」といい、光学系110(b)及びCCD150(b)を「右の光学系」及び「右のCCD」という。また、左の光学系110(a)及び左のCCD150(a)を介して生成される画像を「左画像」と、右の光学系110(b)及び右のCCD150(b)を介して生成される画像を「右画像」という。
デジタルカメラ1が撮影可能な状態であるとき、画像処理部160はCCDイメージセンサ150(a)150(b)から出力される画像データに基づいて左右それぞれの画像に対して、リアルタイムに顔検出動作を実行している(S201)。左右の画像のいずれにおいても顔検出ができなかった場合(S201におけるNO)、画像処理部160は顔検出処理を継続する。
一方、左右の画像のうちの少なくとも一方で顔検出が可能であると判断した場合(S201におけるYES)、コントローラ210は、笑顔判定処理に進む(S202)。画像処理部160は、検出された顔画像に対して笑顔検出動作を実行する(S202)。笑顔が検出できなかった場合(S202におけるNO)、再度顔検出処理を行う(S201)。
一方、検出された顔画像において笑顔が検出されたと判断した場合(S202におけるYES)、コントローラ210は露光動作を実行する(S203)。
具体的には、左右の画像の少なくともいずれかで笑顔情報が検出されたことをトリガーとして、左右両方のCCD150(a、b)に対して撮像動作を行う(S203)。例えば、右の光学系110(b)を介して撮影された画像からは笑顔はおろか、顔の検出さえもできなかった場合であっても、左の光学系110(a)を介して撮影された画像において、顔及び笑顔が検出できた場合、コントローラ210は、左右両方のCCD150(a、b)に対して撮像動作を実行する。すなわち、この場合、右画像では笑顔が検出されていないが、左画像で笑顔が検出されたことに基づき、左右の光学系において同期した撮影を行うことが可能となる。このタイミングチャートに関しては後述する(図4)。
露光動作が完了すると、画像処理部160は、左右のCCDイメージセンサ150(a、b)により生成された画像に対して、γ補正、ホワイトバランス補正、圧縮処理等の処理を行う(S204)。そして、コントローラ210は、圧縮処理された左右の画像データをメモリカード240等に記録する(S205)。
図3は、本実施の形態1におけるデジタルカメラ1の顔検出および笑顔判定を説明するための図である。特に、左右の光学系110(a、b)の焦点距離が異なった状態で撮像された2D画像における顔検出動作および笑顔判定動作を説明するための図である。
図3(A1)は左画像であり、焦点距離はTELE端(100mm)に設定されている。図3(A2)は、図3(A1)に示す画像と同時に撮影された右画像であり、焦点距離はWIDE端(25mm)に設定されている。ここで示すように、同じ被写体を撮影した場合であっても、左画像(A1)はTELE端で撮影されたので被写体像が大きく、顔検出が容易である。この場合、コントローラ210は、左画像に対して、顔検出枠300を設定することが可能である。
しかしながら、右画像(A2)では、WIDE端で撮影されたために、被写体像が小さくなり、顔検出がTELE端で撮影された場合に比べて困難となる。この場合、コントローラ210は右画像に対して顔検出枠300を設定することができない。本実施形態では、このように焦点距離の異なる2D撮影において、顔検出枠300が不可能な右画像について、顔検出が可能な左画像(A1)の顔検出信号をトリガーとして、左画像と略同時に撮影を開始することができる。
図3(B1)は、図3(A1)と同じ撮像条件での撮影において、被写体の笑顔を検出した場合の図である。図3(B1)に示す左画像はTELE端での撮影であるために顔検出可能であり、更には検出された顔情報に基づいた笑顔検出が可能である。しかしながら図3(B2)においては、WIDE端での撮像であるために、被写体が笑顔となった場合でも、被写体の顔の様子を分析することが困難であるため、笑顔検出をすることができない。
ここで本実施形態では、左画像(B1)で検出された笑顔情報を元に、左画像(B1)及び右画像(B2)の双方に対して、略同時に撮影を開始するように制御を行う。これにより、顔検出がなされなかったWIDE端での撮影画像(B2)に対しても笑顔情報に基づき撮像開始のトリガを与えることができ、TELE端、WIDE端の双方の焦点距離での撮影において同期した撮影を行うことが可能となる。
図4は、本実施の形態1におけるデジタルカメラ1の露光動作のタイムチャートである。
図4では、前述と同様に、左画像をTELE端で撮像し、右画像をWIDE端で撮像するとする。時間軸については、図中左から右へと時間が経過していくものとする。また、笑顔に同期した、露光動作を行う笑顔検出シャッタモードが設定されているとする。
時刻t1において、コントローラ210は、左画像に基づいて顔情報を検出したとする。このとき、右画像では顔情報の検出はできていないものとする。
時刻t2において、コントローラ210は、顔情報が検出された左画像に基づいて笑顔情報が検出できたとする。この笑顔情報の検出により撮影動作が実行される。
デジタルカメラ1は、撮影動作に入るために、時刻t3、t4において、左右それぞれの画像情報に基づいて露出やシャッタ速度等を設定する。ここで、露出、シャッタ速度等は、左右それぞれの画像に基づいて設定を行ったが、笑顔情報が検出された側の情報を他方に適用してもよいし、その逆としてもよい(言い換えると、左右で露出条件は同じにしてもよいし、左右間で変えても良い)。
時刻t5において、露光を開始するために左右それぞれのCCD150(a、b)の電子先幕をスタートさせる。ここで、左右とも同じタイミングの被写体を撮像するために、左右の撮影は略同時となるように同期して行なう。
時刻t6において、コントローラ210は、左の光学系110(a)について設定されたシャッタ速度経過に合わせて、左のレンズシャッタ112(a)を閉じるよう制御する。同様に、時間t7において、コントローラ210は、右画像について設定されたシャッタ速度経過に合わせて、右のレンズシャッタ112(b)を閉じるよう制御する。これにより、笑顔検出できた左画像での笑顔検出情報をトリガーとして、左右の画像の撮影を略同時に行うことができる。
ここで、露光に関しては、左右同時に開始することが望ましいが、露光時間に影響のない程度の時間差、例えばシャッタ速度の1/2程度以内の時間差の範囲であれば、略同時の範囲として考えてよい。
〔3.効果等〕
以上のように、実施の形態1のデジタルカメラ1は、左画像を生成する光学系110(a)及びCCD150(a)と、右画像を生成する光学系110(b)及びCCD150(b)と、左画像及び右画像のうちのいずれか一方に基づいて、撮影開始のトリガー情報(顔検出)を検出するコントローラ210とを備える。コントローラ210は、トリガー情報を検出すると、左右の光学系110(a、b)及びCCD150(a、b)の両者に対して撮像処理(露光動作、シャッタ速度設定、撮像動作等)を実行する。
このように、本実施形態では、左右の画像のいずれか一方において撮影開始のトリガー情報が得られたときに、左右の双方の画像に対する撮影処理を実施する。これにより、左右の光学系等をそれぞれ独立して駆動する場合に、撮影開始のトリガー情報に基づき確実に、左右双方の画像の撮影動作を開始することができる。
(実施の形態2)
実施の形態2では、デジタルカメラ1の左右の光学系110(a)、110(b)をそれぞれ独立してオートフォーカス(AF)動作を行う場合のAF動作について説明する。
実施の形態2にかかるデジタルカメラ1の電気的構成は、図1を用いて説明した実施の形態1のものと同様であるため、説明を省略する。
図5は、実施の形態2におけるデジタルカメラ1のAF動作のフローチャートである。
図5の処理の開始時点において、デジタルカメラ1は、電源オン等の撮影準備を完了しているとする。そして、画像処理部160は、CCDイメージセンサ150(a、b)により生成されている画像に基づいて、スルー画像の生成を開始し、コントローラ210は、このスルー画像の液晶モニタ270への表示を開始する。これにより、デジタルカメラ1は、撮影モードに入る。
撮影モードに入ると(S300)、ユーザは、液晶モニタ270に表示されるメニュー画面にて、各種撮影モードのいずれを採用するかを決定することができる。以下の説明では、ユーザにより、2DのTELE/WIDE同時撮影モードが選択されているとする。このとき、デジタルカメラ1における左右の光学系110(a、b)の焦点距離はそれぞれTELE端(例えば、焦点距離 100 mm)、WIDE端(例えば、焦点距離 25mm)に設定されているとする。
デジタルカメラ1が撮影可能な状態であるとき、画像処理部160は、CCDイメージセンサ150(a、b)から出力される画像データに基づいて左右それぞれの画像に対して、リアルタイムに顔検出動作を実行している(S301)。
左右の画像のいずれにおいても顔検出ができなかった場合(S301におけるNO)、画像処理部160は、顔検出処理を継続する。
一方、左右の画像の少なくとも一方で顔検出が可能であると判断した場合(S301におけるYES)、画像処理部160は、検出された画像について顔検出枠設定処理を行う(S302)。顔検出枠設定処理は、液晶モニタ270上に表示されるスルー画像に重畳させて、検出した顔を囲むように検出枠(「顔検出枠」または「フォーカス枠」ともいう)を描画する処理である。顔検出枠を参照することで、ユーザは顔検出がなされていることを確認できる。
具体的には、左右の画像の双方において顔が検出されたか否かを判断する(S302)。左右の画像の双方において顔が検出された場合(S302でYES)、画像処理部160は、左右双方の画像において、検出された顔の領域に基づき顔検出枠の設定を行う(S306)。
一方、左右の画像のいずれか一方においてのみ、顔が検出された場合(S302でNO)、画像処理部160は、顔検出がされた方の画像において顔検出枠の設定を行う(S303)。さらに、画像処理部160は、顔検出がなされなかった方の画像においても顔検出枠の設定を行う(S304)。このステップS304における顔検出枠設定処理に関しては、図6を用いて後で詳細に説明する。これにより、左右どちらか一方の顔検出情報に基づいて、顔検出できなかった画像についても顔検出枠の表示が可能となる。すなわち、左右同時に顔検出枠の表示が可能となる。
続いて、コントローラ210は、設定した顔検出枠の画像領域に対して、左右それぞれでAF動作を行う(S305)。具体的には、フォーカスレンズ113(a、b)を至近側から望遠側或いは、望遠側から至近側へと移動させながら、左右それぞれで設定した顔検出枠の示す画像領域についてのコントラスト値の変化に基づき、そのコントラスト値のピーク位置を判定することでAF動作を行う。尚、ここでは、左右それぞれ独立してAF動作を行うとしたが、左右どちらか一方のAF情報に基づいて(一方のAF情報に追従して)、他方のAF動作を行うようにしてもよい。
図6を用いて、左右いずれか一方の顔検出結果に基づき他方の画像において顔検出枠を設定する方法(S304)について説明する。ここでは、一例として、右画像で顔が検出できなかった場合に、左画像における顔検出結果に基づいて、右画像に顔検出枠を設定する動作を説明する。図6は、本実施の形態におけるデジタルカメラ1の顔検出を説明するための図である。
図6(A)はTELE端、例えば焦点距離100mm相当での画角における撮影画像を示す図である。図6(B)はWIDE端、例えば焦点距離25mm相当での画角おける撮影画像を示す図である。図6(B)中の破線は図6(A)に示す画像全体の領域に対応する領域を表している。
図6(A)に示す画像では、被写体像が大きく、画像処理部160による顔検出が可能であるとする。このとき、コントローラ210は、検出した顔(又は顔検出枠)の、表示領域における位置を把握している。そして、コントローラ210は、顔検出枠600を、検出した顔を囲むように左画像に関するスルー画像に重畳して表示する。
図6(A)で得られた情報を元に、図6(B)での顔検出枠表示する際、コントローラ210は、左右それぞれの焦点距離情報を把握しているので、図6(B)に示すWIDE端での画像における、TELE端での画像である図6(A)の画角に対応する領域の位置を検出し(破線で示す領域)、その中での顔検出枠の相対位置を算出する。そして、コントローラ210は、顔検出枠300を、算出した位置に表示されるよう、右画像に関するスルー画像に重畳して描画する。
この際、TELE端の焦点距離とWIDE端の焦点距離の比に応じて、顔検出枠のサイズも変更する。
たとえば、本実施形態のように、左画像の焦点距離が100mmで右画像の焦点距離が25mmの場合、右画像(焦点距離25mm)に関するスルー画像中に表示される顔検出枠のサイズは、右画像(焦点距離100mm)に関するスルー画像中に表示される顔検出枠の約1/16となる。
以上のように、実施の形態2のデジタルカメラ1は、左画像を生成する光学系110(a)及びCCD150(a)と、右画像を生成する光学系110(b)及びCCD150(b)と、左画像及び右画像のうちのいずれか一方の画像情報に基づいて、所定のフォーカス検出処理によりフォーカス対象を検出するコントローラ210とを備える。コントローラ210は、フォーカス対象の検出結果に基づいて、左右の光学系110(a、b)及びCCD150(a、b)の両者に対してオートフォーカス処理を行う。
このように、本実施形態では、左右の画像のいずれか一方におけるフォーカス対象の検出結果に基づいて、左右双方の光学系に対してオートフォーカス処理を実施する。これにより、左右の光学系等をそれぞれ独立して駆動する場合に、左右の画像のいずれか一方においてのみフォーカス対象が検出できなかった場合でも、左右双方の光学系において確実にオートフォーカス処理を実施することができる。
(他の実施の形態)
以上のように、本出願において開示する技術の例示として、実施の形態1〜2を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態1〜2で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
上記実施の形態1を説明する図1において、撮像素子はCCDを示したが、MOSセンサ等のその他の撮像素子を用いて撮像を行っても良い。
上記実施の形態1を説明する図2において、焦点距離はTELE端、WIDE端に設定としたが、焦点距離はこれらに限られない。左右の光学系それぞれにおいて任意の焦点距離を設定してもよい。また、左右の光学系でTELE側、WIDE側の関係が入れ替わっても良い。
上記実施の形態2を説明する図5において、コントローラ210は、左右それぞれの顔検出枠の演算後に、それぞれ独立して設定を行ったが、これに限定されない。すなわち、コントローラ210は、左右の演算がともに終了したのを待ってから、左右それぞれについて顔検出枠の表示を行っても良い。
上記実施の形態では、撮影開始のトリガー情報を検出又は、フォーカス対象の検出を、人物の顔検出結果に基づいて行う例を示したが、これに限定されない。すなわち、犬や猫などのペット検出、人物の中でも赤ちゃんの検出等他の検出機能などにも適用することは可能である。
上記実施の形態では、四角形顔検出枠を表示する例を示したが、これに限定されず、四角形以外の形状の顔表示枠を表示してもよく、または、顔表示枠を表示しなくてもかまわない。
上記実施の形態では、人物の笑顔検出を撮影開始のトリガー情報とした露光機能について説明を行ったが、瞬き検出、赤ちゃん、ペットがこちらを向いたときに自動的にシャッタを切る赤ちゃん検出、ペット検出といったその他の映像信号をトリガー信号としても良い。また、露光に用いるトリガー信号は映像信号に限らず、レリーズ釦以外の信号、例えば片側のライブビュー画像に対するタッチシャッター信号等を用いてもよい。
以上のように、本開示のデジタルカメラ1によれば、左右の光学系等それぞれについて好適に撮像動作又はフォーカス動作を行うことができる。以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
本開示の思想は、デジタルカメラへの適用に限定されない。すなわち、レンズ交換式カメラ、デジタルビデオカメラ、または、カメラ機能つき携帯電話、スマートフォン等の携帯機器に用いてもよい。
110(a)、110(b) 光学系
120(a)、120(b) ズームモータ
130(a)、130(b) 絞り兼用レンズシャッタモータ
140(a)、140(b) フォーカスモータ
150(a)、150(b) CCDイメージセンサ
160 画像処理部
200 メモリ
210 コントローラ
230 カードスロット
240 メモリカード
250 操作部材
270 液晶モニタ
280 内部メモリ

Claims (6)

  1. 第一の画像を生成する第一の撮像部と、
    第二の画像を生成する第二の撮像部と、
    前記第一の画像及び前記第二の画像のうちのいずれか一方に基づいて、撮影開始のトリガー情報を検出する検出部と、
    前記検出部が前記トリガー情報を検出すると、前記第一の撮像部および前記第二の撮像部の両者に対して撮像処理を実行する処理部と、
    を備える撮像装置。
  2. 前記第一の撮像部と前記第二の撮像部とに対して、それぞれ独立して焦点距離を調節できる調節部を更に備え、
    前記検出部は、前記第一の画像および前記第二の画像のうち、より焦点距離の長い撮像部にて生成処理された方の画像に基づいて前記トリガー情報を検出する、
    請求項1に記載の撮像装置。
  3. 前記処理部は、前記撮像処理を実行するとき、前記第一の撮像部と前記第二の撮像部の露光を略同時に行なう、
    請求項1に記載の撮像装置。
  4. 第一の画像を生成する第一の撮像部と、
    第二の画像を生成する第二の撮像部と、
    前記第一の画像及び前記第二の画像のうちのいずれか一方の画像情報に基づいて、所定のフォーカス検出処理によりフォーカス対象を検出するフォーカス検出部と、
    前記フォーカス対象の検出結果に基づいて、前記第一の撮像部および前記第二の撮像部の両者に対してオートフォーカス処理を行う処理部と、
    を備える、撮像装置。
  5. 前記第一の撮像部に対して焦点距離を調節できる第一の調節部と、
    前記第二の撮像部に対して、前記第一の撮像部と独立して焦点距離を調節できる第二の調節部と、を更に備え、
    前記検出部は、前記第一の画像および前記第二の画像のうち、より焦点距離の長い撮像部にて生成処理された方の画像情報に基づいて、所定のフォーカス検出処理によりフォーカス対象を検出する、
    請求項4に記載の撮像装置。
  6. 前記検出部は、前記第一の画像および前記第二の画像のうち、より焦点距離の長い撮像部にて生成処理された画像から検出されたフォーカス対象に基づいて、前記第一の画像および前記第二の画像のうち、より焦点距離の短い撮像部にて生成処理された方の画像についてのフォーカス対象を検出する、
    請求項5に記載の撮像装置。
JP2012216992A 2011-09-28 2012-09-28 撮像装置 Pending JP2013085239A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012216992A JP2013085239A (ja) 2011-09-28 2012-09-28 撮像装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011212097 2011-09-28
JP2011212097 2011-09-28
JP2012216992A JP2013085239A (ja) 2011-09-28 2012-09-28 撮像装置

Publications (1)

Publication Number Publication Date
JP2013085239A true JP2013085239A (ja) 2013-05-09

Family

ID=47910860

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012216992A Pending JP2013085239A (ja) 2011-09-28 2012-09-28 撮像装置

Country Status (2)

Country Link
US (1) US20130076867A1 (ja)
JP (1) JP2013085239A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220002226A (ko) * 2014-05-16 2022-01-06 가부시키가이샤 한도오따이 에네루기 켄큐쇼 촬상 장치, 감시 장치, 및 전자 기기

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10681257B2 (en) * 2015-08-26 2020-06-09 Zhejiang Dahua Technology Co., Ltd. Methods and systems for traffic monitoring
KR102611056B1 (ko) * 2017-01-16 2023-12-07 엘지전자 주식회사 이동 단말기 및 그 제어 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4198449B2 (ja) * 2002-02-22 2008-12-17 富士フイルム株式会社 デジタルカメラ
WO2005008593A1 (ja) * 2003-07-18 2005-01-27 Canon Kabushiki Kaisha 画像処理装置、撮像装置、画像処理方法
JP2006115406A (ja) * 2004-10-18 2006-04-27 Omron Corp 撮像装置
US7676146B2 (en) * 2007-03-09 2010-03-09 Eastman Kodak Company Camera using multiple lenses and image sensors to provide improved focusing capability
JP5230376B2 (ja) * 2008-11-28 2013-07-10 三星電子株式会社 撮像装置及び撮像方法
JP2011205374A (ja) * 2010-03-25 2011-10-13 Fujifilm Corp 表示装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220002226A (ko) * 2014-05-16 2022-01-06 가부시키가이샤 한도오따이 에네루기 켄큐쇼 촬상 장치, 감시 장치, 및 전자 기기
US11430311B2 (en) 2014-05-16 2022-08-30 Semiconductor Energy Laboratory Co., Ltd. Imaging device, monitoring device, and electronic appliance
KR102472507B1 (ko) * 2014-05-16 2022-12-01 가부시키가이샤 한도오따이 에네루기 켄큐쇼 촬상 장치, 감시 장치, 및 전자 기기

Also Published As

Publication number Publication date
US20130076867A1 (en) 2013-03-28

Similar Documents

Publication Publication Date Title
US9491439B2 (en) Three-dimensional image capture device, lens control device and program
JP5371845B2 (ja) 撮影装置及びその表示制御方法並びに3次元情報取得装置
JP5595499B2 (ja) 単眼立体撮像装置
JP5474234B2 (ja) 単眼立体撮像装置及びその制御方法
JP2011077900A (ja) 画像処理装置、カメラ及び画像処理方法
JP2010252046A (ja) 撮像装置
JP2012085258A (ja) カメラ本体、撮像装置、カメラ本体の制御方法、プログラムおよびプログラムを記録した記録媒体
JP5874192B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2011142632A (ja) カメラ装置、カメラシステムおよびカメラ構成方法
JP6432038B2 (ja) 撮像装置
JP2015139020A (ja) 電子機器及び制御プログラム
JP6155471B2 (ja) 画像生成装置、撮像装置および画像生成方法
US8994793B2 (en) Image capture device, controller and computer program
JP5611469B2 (ja) 立体撮像装置および方法
JP2013085239A (ja) 撮像装置
JP5580486B2 (ja) 画像出力装置、方法およびプログラム
JP5366693B2 (ja) 撮像装置、撮像装置の制御方法、及びコンピュータプログラム
WO2011086898A1 (ja) 3d画像撮影装置及びその制御方法
JP6147081B2 (ja) 撮像装置、その制御方法、及びプログラム
JP2015139018A (ja) 電子機器及び制御プログラム
JP2016036081A (ja) 画像処理装置、方法及びプログラム並びに記録媒体
JP2012220603A (ja) 3d映像信号撮影装置
JP2012075079A (ja) シェーディング補正装置、シェーディング補正方法、シェーディング補正プログラム、及び撮影装置
JP2016178632A (ja) 撮像装置、画像処理装置および画像処理方法
KR20150016871A (ko) 촬상 장치, 표시 장치, 촬상 방법 및 촬상 프로그램

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20141003

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20141008