JP2017034569A

JP2017034569A - 撮像装置及びその制御方法

Info

Publication number: JP2017034569A
Application number: JP2015154639A
Authority: JP
Inventors: 文彦相川; Fumihiko Aikawa
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-08-05
Filing date: 2015-08-05
Publication date: 2017-02-09

Abstract

【課題】撮像装置において、オートフォーカスモードの選択を簡単に、撮影者の意図通りに行うこと。
【解決手段】撮像素子により撮像した画像データを表示する表示手段と、所望の被写体に合焦するようレンズ駆動手段を制御するオートフォーカス制御手段と、表示部上の撮影者の視線位置を検出する視線検出手段と、画像データに含まれる被写体を検出する被写体検出手段を有し、前記視線検出手段で検出した撮影者の視線の軌跡と、前記被写体検出手段で検出した被写体の軌跡が一致した場合はオートフォーカスモードをコンティニュアスＡＦに、視線が所定時間１点に定まっている場合はワンショットＡＦに設定するようオートフォーカスモードを可変するオートフォーカスモード切り替え手段を有することを特徴とする。
【選択図】図１

Description

本発明は、視線検出機能を備えた撮像装置の撮影設定方法に関する。

撮像装置において、主被写体を認識する被写体認識機能をもつ装置が知られている。この種の装置は、人物の顔等を主被写体として認識し、フォーカス、自動露出制御、カラーバランス等を主被写体に応じて制御する。また、近年視線検出機能を用いてユーザが被写体を選択する技術が知られている。

特許文献１には、視線検知機能によって、表示装置上の撮影者の視点の位置を検出し、撮影した画像の画像処理に活用する技術が開示されている。特許文献２には、視線検出機能の出力に応答して、複数の測距データの中から１つの測距データを選択することを特徴とする撮像装置が開示されている。

また、特にオートフォーカス（ＡＦ）機能では、一度オートフォーカスすると焦点の位置が固定されるワンショットＡＦと、選択した被写体に継続的に焦点を合わせ続けるコンティニュアスＡＦの２つのオートフォーカスモードがある。従来、オートフォーカスモードの選択は図７のようにメニュー画面から行う必要があり、モード選択に時間がかかるという課題がある。

その課題に対し、特許文献３には、自動で動作する被写体追尾機能が起動すると、ワンショットＡＦモードが選択されていてもコンティニュアスＡＦモードに切り替える撮像装置が開示されている。

特開２００５−１０９７５６号公報特開平８−０９４９１５号公報特開平６−１６０９４４号公報

上述の特許文献２に開示された従来技術は、被写体追尾機能が自動で動作すると機械的にコンティニュアスＡＦモードに切り替わるため、撮影者が意図しない場合にもＡＦモード切り替えが行われることがある。

そこで、本発明の目的は、オートフォーカスモードの選択を簡単に、撮影者の意図通りに行うことである。

上記の目的を達成するために、本発明に係る撮像装置は、
撮像素子により撮像した画像データを表示する表示手段と、所望の被写体に合焦するようレンズ駆動手段を制御するオートフォーカス制御手段と、表示部上の撮影者の視線位置を検出する視線検出手段と、画像データに含まれる被写体を検出する被写体検出手段を有し、
前記視線検出手段で検出した撮影者の視線の軌跡と、前記被写体検出手段で検出した被写体の軌跡が一致した場合はオートフォーカスモードをコンティニュアスＡＦに、視線が所定時間１点に定まっている場合はワンショットＡＦに設定するようオートフォーカスモードを可変するオートフォーカスモード切り替え手段を有することを特徴とする。

本発明に係る撮像装置によれば、視線検出手段で検出した撮影者の視線の軌跡と、被写体検出手段で検出した被写体の軌跡が一致した場合はオートフォーカスモードをコンティニュアスＡＦに、視線が所定時間１点に定まっている場合はワンショットＡＦに設定するようオートフォーカスモードを可変することで、オートフォーカスモードの選択を簡単に、撮影者の意図通りに行うことが可能となる。また、一度オートフォーカスモード選択を行った後に、別の対象物への視線検知が確認された場合は、オートフォーカスモード選択を一旦キャンセルして再取得することで、オートフォーカスモードの選択を簡単に、より撮影者の意図通りに行うことが可能となる。

本発明の実施例１における撮像装置の構成を示す図である。本発明の実施例１における制御処理を示すフローチャートである。本発明の実施例１におけるコンティニュアスＡＦが設定される例を示す説明図である。本発明の実施例１におけるワンショットＡＦが設定される例を示す説明図である。本発明の実施例２における制御処理を示すフローチャートである。本発明の実施例２におけるキャンセル動作が実行される例を示す説明図である。従来例におけるオートフォーカスモード設定方法例である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

図１は本発明の実施形態にかかわる撮像装置の構造を示す図である。図１において、１００はカメラ本体、１５０は交換レンズである。カメラ本体１００はマイコン１０１、視線検出部１０５、表示制御部１０６、ディスプレイ１０７、撮像素子１０８、レンズ接続部１０９から構成される。

マイコン１０１は、被写体検出部１０２、オートフォーカス制御部１０３、オートフォーカスモード切り替え部１０４から構成される。

被写体検出部１０２は、入力画像の画像データから入力画像に含まれる被写体を検出する被写体検出処理を実行する。

オートフォーカス制御部１０３は、所望の被写体に合焦するようレンズ駆動部１５２を制御する。

オートフォーカスモード切り替え部１０４は、被写体検出部１０２で検出した被写体の軌跡と視線検出部１０５で検出した撮影者の視線の軌跡に応じて、オートフォーカスモードを可変する。

視線検出部１０５は、赤外線ＬＥＤなどの光源で撮影者の顔を照射し、赤外線対応の撮像素子で眼球の状態を監視する。眼球の角膜反射の位置に対する瞳孔の位置に基づいて、撮影者の視線方向を検出し、ディスプレイ１０７に表示されたどの部分を撮影者が注視しているかを検出する。

表示制御部１０６は、撮像素子により撮像した画像データに応じて、ディスプレイ１０７に反映する動作を決定する。

ディスプレイ１０７は、表示制御部１０６によって制御され、撮像素子１０８により撮像した画像データを表示するものである。

撮像素子１０８は、ＣＭＯＳセンサ等で構成され、レンズ１５０を通った被写体からの光を電気信号に変換する。

レンズ接続部１０９は、撮像装置と交換レンズの接続を行う。

また、交換レンズ１５０はレンズマイコン１５１、レンズ駆動部１５２、カメラ接続部１５３から構成される。

レンズマイコン１５１は、カメラ本体１００からのレンズ制御命令に従いレンズ駆動１５２の制御を行う。

レンズ駆動１５２はレンズマイコン１５１からの制御命令でオートフォーカス駆動、絞り駆動等を行う。

カメラ接続部１５３は、交換レンズ１５０と撮像装置１００の接続を行う。

実施例１では、視線検出手段で検出した撮影者の視線の軌跡と、被写体検出手段で検出した被写体の軌跡が一致した場合はオートフォーカスモードをコンティニュアスＡＦに、視線が所定時間１点に定まっている場合はワンショットＡＦに設定するようオートフォーカスモードを可変する撮像装置の例を述べる。

以下、図２のフローチャートと図３、図４の説明図を参照して、本発明の実施例１の動作について説明する。

図２のステップＳ１０１では、撮像素子１０８にてライブビュー撮影（ディスプレイ１０７に撮像した画像をリアルタイムに反映させながら撮影を行う動作）が開始されたかどうかを判定する。開始された場合はステップＳ１０２に進み、そうでなければステップＳ１０１を繰り返す。

ステップＳ１０２では、視線検出部１０５を使用して撮影者の視線から、ディスプレイ１０７に表示されたどの部分を撮影者が注視しているか座標（Ｘ１１，Ｙ１１）を検出する。

ステップＳ１０３では、被写体検出部１０２にて入力画像の画像データから入力画像に含まれる被写体を検出する被写体検出処理を実行する。本実施例の被写体検出においては、フレーム単位の画像を解析し、人物等の顔を主被写体として認識する顔検出を行う。

具体的には、被写体検出部１０２は、入力画像の画像データからパターンマッチングを行い、目及び鼻、口、耳の候補群を抽出する。そして、抽出された目の候補群の中から、予め設定された条件（例えば２つの目の距離、傾き等）を満たすものを、目の対と判断し、目の対があるもののみ目の候補群として絞り込む。そして、被写体検出部１０２は、絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ（鼻、口、耳）を対応付け、また、予め設定した非顔条件フィルタを通すことで、顔を検出する。被写体検出部１０２は、顔の検出結果に応じて上記顔情報を出力し、処理を終了する。

本実施例では被写体情報として顔情報を例に挙げたが、被写体情報には他にも赤目判定や目の検出、目つむり検出、笑顔検出等の様々な情報がある。さらには、パターンマッチングによって入力画像上にある顔だけでなく、動物、車、山、木、花なども検出が可能である。

上記の被写体検出により、画像データに含まれる被写体の座標（Ｘ２１，Ｙ２１）を算出する。

ステップＳ１０４では、所定時間後に撮影者の視線注視点の座標（Ｘ１２，Ｙ１２）を検出する。検出方法はステップＳ１０２と同様のため、説明を省略する。

ステップＳ１０５では、ステップＳ１０４と同タイミングにて画像データに含まれる被写体の座標（Ｘ２２，Ｙ２２）を算出する。検出方法はステップＳ１０３と同様のため、説明を省略する。

ステップＳ１０６では、以下の式（１）、（２）より（Ｘ１１，Ｙ１１）と（Ｘ２１，Ｙ２１）の距離Ｄ１、（Ｘ１２，Ｙ１２）と（Ｘ２２，Ｙ２２）の距離Ｄ２を算出し、それぞれが所定値以内かどうかの判定を行う。

結果が所定値以内であれば、図３のように視線の軌跡と被写体の軌跡が一致しているためステップＳ１０７に、そうでなければステップＳ１０８に進む。

ステップＳ１０７では、ステップＳ１０６にて「撮影者が視線で追っている被写体にオートフォーカスしたい場合」と判断されているため、オートフォーカス制御１０３を使用しステップＳ１０３にて検出された被写体にコンティニュアスＡＦを実行し追尾にてオートフォーカスさせる。

ステップＳ１０８では、以下の式（３）より（Ｘ１１，Ｙ１１）と（Ｘ１２，Ｙ１２）の距離Ｄ３を算出し、所定値以内かどうかの判定を行う。

結果が所定値以内であれば、図４のように撮影者が同一点を注視しているため、ステップＳ１０９に、そうでなければステップＳ１０２からの処理を繰り返す。

ステップＳ１０９では、ステップＳ１０８にて「撮影者が注視している点にオートフォーカスしたい場合」と判断されているため、オートフォーカス制御１０３を使用し撮影者が注視している点にワンショットＡＦを設定させる。

ステップＳ１１０にてシャッターボタンが半押しされると、ステップＳ１１１にてオートフォーカス制御１０３を使用しステップＳ１０７、Ｓ１０９で設定したＡＦモードでオートフォーカスを実行する。

以上のように、実施例１によれば、視線検出手段で検出した撮影者の視線の軌跡と、被写体検出手段で検出した被写体の軌跡が一致した場合はオートフォーカスモードをコンティニュアスＡＦに、視線が所定時間１点に定まっている場合はワンショットＡＦに設定するようオートフォーカスモードを可変する撮像装置が可能となる。

なお、図２ステップＳ１０２〜Ｓ１０５にて、視線の軌跡と被写体の軌跡の一致を確認する箇所を２点としたが、必ずしも２点である必要はなく、一致確認箇所の数に指定はない。

また、図２ステップＳ１０２〜Ｓ１０８にて、視線の軌跡と被写体の軌跡の一致を確認する方法を座標の距離を算出する方法としたが、動きベクトル等の別の方法から一致を確認することとしてもよい。

また、図２ステップＳ１０６、Ｓ１０８にて選択できるオートフォーカスモードをワンショットＡＦとコンティニュアスＡＦとしたが、それ以外のオートフォーカスモードとしてもよい。

以上で実施例１の説明を終了する。

実施例２では、一度オートフォーカスモード選択を行った後に、別の対象物への視線検知が確認された場合は、オートフォーカスモード選択を一旦キャンセルして再取得する撮像装置の例を述べる。

以下、図５のフローチャートと図６の説明図を参照して、本発明の実施例２の動作について説明する。本発明の実施例２にかかわる撮像装置の構成は図１と同様のため、説明を省略する。

図５のステップＳ２０１〜Ｓ２０９、Ｓ２１４〜Ｓ２１５は実施例１における図２のステップＳ１０１〜Ｓ１１１と同様のため、説明を省略する。

ステップＳ２１０では、ステップＳ２０７、Ｓ２０９でのＡＦモード設定から所定時間後に撮影者の視線注視点の座標（Ｘ１３，Ｙ１３）を検出する。検出方法は実施例１のステップＳ１０２と同様のため、説明を省略する。

ステップＳ２１１では、ステップＳ２１０と同タイミングにて画像データに含まれる被写体の座標（Ｘ２３，Ｙ２３）を算出する。検出方法は実施例１のステップＳ１０３と同様のため、説明を省略する。

ステップＳ２１２では、以下の式（４）より（Ｘ１３，Ｙ１３）と（Ｘ２３，Ｙ２３）の距離Ｄ４を算出し、所定値以上かどうかの判定を行う。

結果が所定値以上であれば、図６のように撮影者が別の対象物への視線を移動した場合であるためステップＳ２１３に進み、そうでなければステップＳ２１０から処理を繰り返す。

ステップＳ２１３では、ステップＳ２１２にて「撮影者が別の対象物にオートフォーカスしたい場合」と判断されているため、ステップＳ２０７、Ｓ２０９で設定したオートフォーカスモード設定を初期設定に戻す。

以上のように、実施例２によれば、一度オートフォーカスモード選択を行った後に、別の対象物への視線検知が確認された場合は、オートフォーカスモード選択を一旦キャンセルして再取得する撮像装置が可能となる。

なお、図２ステップＳ２０２〜Ｓ２０５にて、視線の軌跡と被写体の軌跡の一致を確認する箇所を２点としたが、必ずしも２点である必要はなく、一致確認箇所の数に指定はない。

また、図２ステップＳ２０２〜Ｓ２０８にて、視線の軌跡と被写体の軌跡の一致を確認する方法を座標の距離を算出する方法としたが、動きベクトル等の別の方法から一致を確認することとしてもよい。

また、図５ステップＳ２０６、Ｓ２０８にて選択できるオートフォーカスモードをワンショットＡＦとコンティニュアスＡＦとしたが、それ以外のオートフォーカスモードとしてもよい。

また、図５ステップＳ２１０〜Ｓ２１３にてオートフォーカスモードをキャンセルして初期設定に戻す検知動作を別の被写体への視線検知としたが、撮影者の瞬き検知など等の別の動作としてもよい。

以上で実施例２の説明を終了する。

以上説明したように、本発明によれば、撮像装置において、視線検出手段で検出した撮影者の視線の軌跡と、被写体検出手段で検出した被写体の軌跡が一致した場合はオートフォーカスモードをコンティニュアスＡＦに、視線が所定時間１点に定まっている場合はワンショットＡＦに設定するようオートフォーカスモードを可変することで、オートフォーカスモードの選択を簡単に、撮影者の意図通りに行うことが可能となる。

また、一度オートフォーカスモード選択を行った後に、別の対象物への視線検知が確認された場合は、オートフォーカスモード選択を一旦キャンセルして再取得することで、オートフォーカスモードの選択を簡単に、より撮影者の意図通りに行うことが可能となる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
例えば、図２ステップＳ１０２〜Ｓ１０５にて、視線の軌跡と被写体の軌跡の一致を確認する箇所を２点としたが、必ずしも２点である必要はなく、一致確認箇所の数に指定はない。

１００カメラ本体、１０１マイコン、１０２被写体検出部、
１０３オートフォーカス制御部、１０４オートフォーカスモード切り替え部、
１０５視線検出部、１０６表示制御部、１０７ディスプレイ、１０８撮像素子、
１０９レンズ接続部、１５０交換レンズ、１５１レンズマイコン、
１５２レンズ駆動部、１５３カメラ接続部

Claims

撮像素子（１０８）により撮像した画像データを表示する表示手段（１０６）と、
所定の被写体に合焦するようレンズ駆動手段（１５２）を制御するオートフォーカス制御手段（１０３）と、
表示部上の撮影者の視線位置を検出する視線検出手段（１０５）と、
画像データに含まれる被写体を検出する被写体検出手段（１０２）を有し、
前記視線検出手段（１０５）で検出した撮影者の視線の軌跡と、前記被写体検出手段（１０２）で検出した被写体の軌跡が一致した場合はオートフォーカスモードをコンティニュアスＡＦに、視線が所定時間１点に定まっている場合はワンショットＡＦに設定するようオートフォーカスモードを可変するオートフォーカスモード切り替え手段（１０４）を有することを特徴とする撮像装置。
前記視線検出手段（１０５）にて、前記オートフォーカス制御手段（１０３）のＡＦエリアの選択を行うことを特徴とする請求項１に記載の撮像装置。
前記オートフォーカスモード切り替え手段（１０４）にて一度オートフォーカスモード選択を行った後に、前記視線検出手段（１０５）にて別の対象物への視線検知が確認された場合は、オートフォーカスモード選択を一旦キャンセルして再取得することを特徴とする請求項１に記載の撮像装置。
撮像素子（１０８）により撮像した画像データを表示する表示手段（１０６）と、
所定の被写体に合焦するようレンズ駆動手段（１５２）を制御するオートフォーカス制御手段（１０３）と、
表示部上の撮影者の視線位置を検出する視線検出手段（１０５）と、
画像データに含まれる被写体を検出する被写体検出手段（１０２）を有し、
前記視線検出手段（１０５）で検出した撮影者の視線の軌跡と、前記被写体検出手段（１０２）で検出した被写体の軌跡が一致した場合はオートフォーカスモードをコンティニュアスＡＦに、視線が所定時間１点に定まっている場合はワンショットＡＦに設定するようオートフォーカスモードを可変するオートフォーカスモード切り替え手段（１０４）を有することを特徴とする撮像装置の制御方法。