JP2007088611A

JP2007088611A - 撮像装置及び撮像方法

Info

Publication number: JP2007088611A
Application number: JP2005272399A
Authority: JP
Inventors: Masaharu Nagata; 政晴永田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2005-09-20
Filing date: 2005-09-20
Publication date: 2007-04-05
Anticipated expiration: 2025-09-20
Also published as: US20070064977A1; US8072499B2; JP5061444B2

Abstract

【課題】撮影した画像から動きベクトルを検出し、その動きベクトルにより被写体がフレームから外れてしまうか否かを判断し、フレームから外れてしまうと判断した場合に警告を発する撮像装置及び撮像方法を提供する。
【解決手段】動きベクトル検出部３０が、メモリ２０に記憶された画像データを基に動きベクトルを検出し、検出した動きベクトルを基に、制御部５０がフレーム外れの可能性があるか否かを判断し、あると判断した場合には警告部６０が、制御部５０の判断結果を撮影者に警告する。
【選択図】図１

Description

本発明は、撮影した画像から動きベクトルを検出する機能を有する撮像装置及び撮像方法に関する。

従来のカメラでは、撮影者の手の疲労や足場の不安定等の原因によりシャッターを切る瞬間にカメラ本体が動いてしまい、人物等の被写体を意図通りには撮影できず、被写体がフレームから外れてしまったり、被写体が中心からずれてしまう等の不利益があった。特許文献１では撮影結果から被写体候補を抽出して、撮影結果内の被写体候補の占有率や配置等から撮影結果の良否を判断し、撮影失敗を未然に防ぐ画像撮影装置により上述の不利益を解消している。

しかし特許文献１の方法は、デジタルスチルカメラのような処理時間を多く取ることができるシステムでは有用であるが、ビデオカメラのように決められた時間内で処理をするシステムにおいては処理が複雑になり実装が困難である。更に、ビデオカメラにおいては撮影失敗と判断されても同じシーンを取り直すことが一般的には困難であるため、上述の特許文献１に開示された技術を用いることができない。
ビデオカメラにおいても被写体がフレームから外れてしまうことを防ぐ技術としては、特許文献２、特許文献３及び特許文献４に開示された技術等が挙げられる。

特許文献２には、画面上の正確な被写体領域を指定及び追跡し、被写体が画面から外れたと判断したときに警告を発する警告手段を有する撮像装置が開示されている。
特許文献３には、被写体が表示画面内に存在するか否かを検出し、被写体が「不存在」であった場合には被写体を捕捉するように自動追尾する追尾手段を有するビデオカメラシステムが開示されている。
特許文献４には、主要被写体を自動追尾し、主要被写体が撮影フレームの外部に出た場合には出たことを告知するカメラのぶれ防止装置について開示されている。
特開２００５−２０１９６号公報特開２００４−１１２５５０号公報特開平０７−３０７９５号公報特開平０５−６１０９２号公報

上記特許文献２〜４において開示された技術では、被写体を追跡することにより、被写体が表示画面内にあるか否かの判定を行っているため、例えば操作ミスによりカメラが大きく被写体の方向から外れてしまった場合等には、被写体を追跡すること自体不可能になるため、上述した判定ができなくなってしまうという不利益があった。なお、特許文献３においては、被写体が表示フレームから外れてしまった場合に被写体を追跡するモードについて記載されているが、完全に被写体を見失ってから改めてパン及びチルトの操作により周辺をスキャンしなおすので、効率が悪いという不利益があった。
また、上記特許文献３及び４において、ランプやＬＥＤで撮影者に対して被写体がフレームから外れてしまったことを通知しているため、ランプやＬＥＤの光が撮影に影響を及ぼしてしまう不利益もある。

上述した不利益を解消するために、第１の観点の発明の撮像装置は、複数の連続した画像の動きベクトルを検出する動きベクトル検出手段と、前記動きベクトル検出手段の検出した前記動きベクトルが一定の方向への所定量以上の動きベクトルであるか否かを判断する判断手段と、前記判断手段が前記動きベクトルは一定の方向への所定量以上の動きベクトルであると判断した場合に、警告を発する警告手段とを有する。

好適には、前記動きベクトル検出手段は、前記画像全体の動きベクトルを検出する。

好適には、前記警告手段は、少なくとも光、音及び振動のうち少なくとも１つの手段で警告を発する。

好適には、前記複数の連続した画像を順次表示する表示手段と、前記表示手段に表示された前記画像の特定の領域を指定可能な領域指定手段とを有し、前記動きベクトル検出手段は、前記領域指定手段が指定した前記特定の領域のみの動きベクトルを検出する。

更に好適には、複数の連続した第１の画像を撮影する撮像手段を更に有し、前記判断手段は、前記特定の領域が前記撮像手段の撮影した前記第１の画像から外れた場合に、前記動きベクトル検出手段が検出した当該第１の画像の直前の第２の画像の動きベクトルに基づいて、前記特定の領域の前記画像に対する動き量を判断し、前記表示手段は前記判断手段の判断を基に、前記特定の領域が前記第２の画像から動いた方向と動き量とを示す表示体を表示する。

好適には、前記警告手段は、無線によって前記撮像装置と通信を行う。

好適には、前記警告手段は、前記判断手段の判断に係わらず警告を発しない設定を有する。

好適には、前記動きベクトル検出部の検出した画像全体の動きベクトルのうち、最も多い第１の動きベクトルと、２番目に多い第２の動きベクトルとを求め、前記第２の動きベクトルを手ぶれによる動きと判定し、前記連続した複数の画像と、該当複数の画像に対応した前記第２の動きベクトルとを基に手ぶれ補正を行う手ぶれ補正部を更に有する。

第２の観点の発明の撮像装置は、複数の連続した画像を撮影する撮像手段と、前記撮像手段の動きを検出する動き検出手段と、前記動き検出手段が検出した前記撮像手段の動きを基に、前記撮像手段が所定量動いているか否かを判断する判断手段と、前記判断手段が、前記撮像手段は所定量動いていると判断した場合に、警告を発する警告手段とを有する。

好適には、前記動き検出手段は、角速度センサにより前記撮像手段の動きを検出する。

好適には、前記警告手段は、前記判断手段の判断にかかわらず警告を発しない設定を有する。

第３の観点の発明の撮像方法は、連続した複数の画像の動きベクトルを検出する第１の工程と、前記第１の工程において検出した前記動きベクトルが一定の方向への所定量以上の動きベクトルであるか否かを判断する第２の工程と、前記第２の工程において前記動きベクトルは一定の方向への所定量以上の動きベクトルであると判断された場合に、警告を発する第３の工程とを有する。

第４の観点の方法の撮像方法は、連続した複数の画像を撮影する撮像手段の動きを検出する第１の工程と、前記第１の工程において検出された撮像装置全体の動きを基に、前記撮像装置全体が所定量動いているか否かを判断する第２の工程と、前記第２の工程において、前記撮像装置が所定量動いていると判断された場合に、警告を発する第３の工程とを有する。

本発明の撮像装置は、撮影した画像全体の動きベクトルを利用して撮像装置の動きを検出することにより、被写体が表示フレームから外れそうか否かを判断するため、被写体が表示フレームから外れる以前に撮影者にフレーム外れの可能性があることを警告することができる。
また、操作ミス等による急激な動きで被写体が表示フレームから外れてしまった場合でも、直前に撮影した画像から動きベクトルを検出することにより、表示フレームから見てどの方向に被写体が移動したかを推定することができ、どの方向に撮像装置を動かせば被写体をフレーム内に戻せる可能性が高いかを撮影者に示すことができる。

＜第１実施形態＞
本実施形態の撮像装置は、撮影した画像から動きベクトルを検出し、その動きベクトルにより被写体がフレームから外れてしまうか否かを判断し、フレームから外れてしまうと判断した場合に警告を発する撮像装置である。
図１は、本実施形態の撮像装置１のブロック図である。
図１に示すように、撮像装置１は、カメラモジュール１０、メモリ２０、動きベクトル検出部３０、表示部４０、制御部５０、警告部６０及び記録部７０を有する。

カメラモジュール１０は、図１に示すようにレンズ１１、絞りを調整するアイリス１２及びＣＣＤ（Charged Coupled Device）或いはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子１３からなり、レンズ１１を通過した光を撮像素子１４が光電変換し画像データとして出力する。なお、アイリス１２は無くてもよく、その場合、撮像素子１３が有する電子シャッター機能のみで露出の制御を行う。

メモリ２０は、カメラモジュール１０が出力した、被撮影時間が異なる複数の画像データを記憶する。例えば、１／３０秒間隔で撮影されたＮ枚の画像データを記憶する。
動きベクトル検出部３０は、メモリ２０に記憶されたＮ枚の画像データの動きベクトルを検出する。
動きベクトル検出部３０の動きベクトル検出方法としては、背景差分法、フレーム間差分法、オプティカルフロー法等の公知の方法が挙げられる。

背景差分法は、検出すべき物体が存在しない背景画像を予め用意しておき、入力画像と背景画像との差分をとる方法である。
フレーム間差分法は、連続するフレーム間で対応する各画素について差分を求め、差分値の大きい領域を移動物体のある領域として検出する方法である。
オプティカルフロー法は、画面中の各画素のオプティカルフロー（動きベクトル）を検出する方法であり、オプティカルフローを推定する方法としては、勾配法とブロックマッチング法とがある。

勾配法は時空間微分により画像から対象の動きパラメータを算出する方法であり、ブロックマッチング法は、画像を一定の大きさの小領域（ブロック）に分割し、各ブロックが前のフレームのどこに対応するかを探し、対応するブロックの位置の差を動きベクトルとするものである。
本発明の動きベクトル検出部３０は、上記のいずれの方法で動きベクトルを検出してもよいが、本実施形態では、一例として、ブロックマッチングによりオプティカルフローを求める方法により画像の動きベクトルを検出するとする。

まず、簡単のためにメモリ２０に保存されている画像は２枚であるとする。図２（ａ）は１枚目の画像Ａ、図２（ｂ）が２枚目の画像Ｂである。画像ＡとＢはある一定の間隔、例えば１／３０秒間隔でカメラモジュール１０により撮影されたものであり、ＡよりＢの方が新しい画像である。
動きベクトル検出部３０は、図２（ｃ）に示すように、各画像を縦にＫ個、横にＬ個のＫ×Ｌブロックに分割し、それぞれのブロック単位でブロックマッチングを行う。ただし、Ｋ及びＬは１以上の任意の整数である。
なお、ブロックマッチングは通常、例えばブロック内の各画素の色や輝度等を用いて行われるが、本実施形態では輝度のみを用いる場合について説明する。

図３は、動きベクトル検出部３０が行うブロックマッチングを説明するためのフローチャートである。
ステップＳＴ１：
動きベクトル検出部３０は、動きベクトル検出部３０内の記憶領域を初期化する。この記憶領域は後のステップＳＴ３で使用する輝度差分を記憶するものであり、輝度差分の最大値を予め代入しておくことによりその初期化が行われる。ここで輝度差分の最大値は、例えば、各ブロック内に存在する画素の輝度値の総和×２以上の値であり、輝度差分初期値と称する。

ステップＳＴ２：
動きベクトル検出部３０は、画像Ａ上のＯ番目のブロックのある画素と、それに対応する画像Ｂ上のＰ番目のブロックの画素との輝度差分をとり、全ての画素の輝度差分絶対値の総和を算出する。なお、Ｏ及びＰは１からＫ×Ｌまでの整数である。
ステップＳＴ３：
動きベクトル検出部３０は、ステップＳＴ２において算出された輝度差分絶対値の総和が、記憶領域に記憶されている値よりも小さい値であれば、ステップＳＴ４に進み、そうでなければステップＳＴ５に進む。

ステップＳＴ４：
動きベクトル検出部３０は、ステップＳＴ２において算出された輝度差分絶対値の総和と、画像Ａの何番目のブロックであるか（ここではＯ番目）と、画像Ｂの何番目のブロックであるか（ここではＰ番目）とを、記憶領域に上書きして記憶する。
ステップＳＴ５：
動きベクトル検出部３０は、画像Ｂの何番目のブロックかを示す値Ｐに１を加え、Ｐ＜Ｋ×ＬであればステップＳＴ２に戻り、Ｐ＝Ｋ×ＬであればステップＳＴ６に進む。
ステップＳＴ６：
動きベクトル検出部３０の記憶領域には、画像Ａのある１つのブロック（ここではＯ）に対する画像Ｂの全てのブロックの輝度差分の絶対値の総和の最小値が記憶され、この値を基に、動きベクトル検出部３０は画像Ａ上のある１つのブロックに対応した画像Ｂ上のブロックの位置を算出する。

ステップＳＴ７：
動きベクトル検出部３０は、画像Ａの何番目のブロックかを示す値Ｏに１を加え、Ｏ＜Ｋ×ＬであればステップＳＴ１に戻り、Ｏ＝Ｋ×ＬであればステップＳＴ８に進む。
ステップＳＴ８：
動きベクトル検出部３０の記憶領域には、画像Ａの各ブロックに対応する画像Ｂのブロックの輝度差分の絶対値の総和の最小値が記憶され、この値を基に、動きベクトル検出部３０は画像Ａ上の各ブロックが画像Ｂ上のブロックのどのブロックに移動したかを算出する。

このようにして、動きベクトル検出部３０は動きベクトルを検出する。

表示部４０は、ＬＣＤ（Liquid Crystal Display）等で構成され、カメラモジュール１０の撮影した画像を表示する。
制御部５０は、動きベクトル検出部３０が検出した動きベクトルを基に、被写体のフレーム外れの可能性を撮影者に警告するか否かを判断する。
フレーム外れの可能性の判断の方法については、後述する図４のフローチャートにおいて説明する。
警告部６０は、制御部５０の下した判断に従って警告信号を送信する警告送信部６１と、当該警告信号を受信する警告受信部６２と、当該警告信号を基に、光、音、振動等の手段で撮影者に警告を行う警告実行部６３とからなる。
警告実行部６３は、撮影者の操作によって、警告を実行しないように設定することができる。これは、例えば、撮影者が撮像装置１をパン、チルト、ズーム等の操作を意図的に行いたい場合に、これらの操作により制御部５０がフレーム外れの可能性があると判断してしまい警告送信部が警告信号を発するのを防ぐためである。

以下、制御部５０の判断基準について説明する。
図４は、制御部５０の判断基準を説明するためのフローチャートである。
ステップＳＴ１１：
制御部５０は、動きベクトル検出部３０から最新の画像データの各ブロックに対応するＫ×Ｌ個の動きベクトルを取得する。

ステップＳＴ１２：
制御部５０は、ステップＳＴ１１で取得したＫ×Ｌ個の動きベクトルから、被写体のフレーム外れの可能性について判断する。
被写体のフレーム外れの判断は、例えば、以下のように行う。
例えば、制御部５０は、Ｋ×Ｌ個の動きベクトルの分散を算出し、ある一定方向に所定量移動しているブロックが多数存在する場合には、手ぶれ等何らかの原因でカメラの画角が変化していると判断し、被写体のフレーム外れの可能性があると判断する。
しかし、一部のブロックが所定量以上移動していても、画面全体に対してごく一部の動きであるので、この場合はフレーム外れの可能性があるとは判断しない。

ステップＳＴ１３：
ステップＳＴ１２において、制御部５０がフレーム外れの可能性があると判断した場合には、ステップＳＴ１４に進み、そうでないときにはステップＳＴ１５に進む。
ステップＳＴ１４：
ステップＳＴ１２において制御部５０がした判断を基に、警告部６０は警告を発する。

本実施形態では、図１に示すように、警告送信部６１は撮像装置１内にあるが、警告受信部６２と警告実行部６３とは撮像装置１と独立しており、赤外線等の無線で通信を行う。これは、警告実行部６３の行う、光・音・振動等による警告がカメラモジュール１０に影響を及ぼし、撮影に支障を来す恐れがあるから、また、本実施形態の撮像装置１は、例えば撮影者のよそ見等の原因によるフレーム外れ等を警告することを目的としているため、例えば表示部４０等に表示等で警告しようとしても、撮影者が見ていず気づかない恐れがあるからである。具体的には、警告実行部６３は、撮像装置１から独立したイヤホンによる音声や、バイブレータによる振動で警告を行う。

記録部７０は、メモリ２０に蓄積された画像を順次ビデオテープ、ＨＤＤ（Hard Disk Drive）、光ディスク等の記録媒体に記録する。

次に、撮像装置１の動作例について説明する。
図５は、撮像装置１の動作例を示すフローチャートである。
ステップＳＴ２１：
カメラモジュール１０が被写体を撮影する。
ステップＳＴ２２：
ステップＳＴ２１においてカメラモジュール１０が撮影した画像データをメモリ２０が記憶する。

ステップＳＴ２３：
動きベクトル検出部３０が、ステップＳＴ２２においてメモリ２０に記憶された画像データを基に動きベクトルを検出する。
ステップＳＴ２４：
ステップＳＴ２３において動きベクトル検出部３０が検出した動きベクトルを基に、制御部５０がフレーム外れの可能性があるか否かを判断し、あると判断した場合にはステップＳＴ２５に進み、そうでない場合にはステップＳＴ２１に戻る。

ステップＳＴ２５：
警告部６０は、ステップＳＴ２４における制御部５０の判断結果を撮影者に警告し、ステップＳＴ２１に戻る。

以上説明したように、本実施形態の撮像装置１によれば、撮影した画像の動きベクトルを検出し、動きベクトルを基にフレーム外れの可能性の有無を判断し、撮影者に警告するので、手ぶれや操作ミス等により被写体がフレームから外れてしまうのを防ぐことができる。
なお、本実施形態では動きベクトルをブロックマッチングにより検出しているが、背景差分法やフレーム間差分法あるいは勾配法により動きベクトルを求めてもよい。
また、本実施形態では警告部６０の警告受信部６２及び警告実行部６３は赤外線等の無線で通信を行うとしたが、警告実行部６３の発する振動等の警告が撮像装置１の撮影に影響を及ぼさないという条件を満たせば、有線で接続されていてもよい。
また、本実施形態の警告部６０のうち警告受信部６２及び警告実行部６３は撮像装置１から独立しているが、警告実行部６３が実行する警告が撮影に影響を及ぼさないという条件を満たせば、警告部６０全体が撮像装置１内にあってもよい。この場合、警告送信部６１及び警告受信部６２は無くてもよい。
また、本実施形態では警告実行部６３において警告をオフにするように設定できるとしたが、本発明では、警告をオフにするよう設定できるのが他の部位でもよい。例えば、警告送信部６１において警告信号を送信しないように設定できてもよいし、警告受信部６２において警告信号を受信しないように設定できてもよいし、制御部５０がフレーム外れの可能性の判断を行わないように設定できてもよい。
また、本実施形態では、動きベクトル検出部３０が検出した動きベクトルを基に、各ブロックの動きベクトルを比較したとき最も多い動きベクトルをフレーム外れの可能性の判断に利用しているが、２番目に多い動きベクトルを検出し、これを手ぶれによる動きであると判定し、この２番目に多い動きベクトルを基に画像の手ぶれ補正を行う手ぶれ補正部をさらに有していてもよい。

＜第２実施形態＞
本実施形態の撮像装置は、動きのある被写体を撮影した場合に、画像の特定の一部（動きのある被写体の領域）の動きベクトルを検出し、その動きベクトルにより被写体がフレームから外れてしまうか否かを判断し、フレームから外れてしまうと判断した場合に警告を発する撮像装置である。
図６は、本実施形態の撮像装置１ａのブロック図である。
図６に示すように、本実施形態の撮像装置１ａは、動きベクトル検出部３０ａ、制御部５０ａ及び領域指定部８０を除いて第１実施形態の撮像装置１と同様の構成を有する。また、同じ番号を有するそれぞれの部位は、第１実施形態の撮像装置１の対応する部位と同じ処理を行う。

以下、本実施形態の撮像装置１ａの行う処理について説明する。
領域指定部８０は、例えばタッチパネル等により、表示部４０に表示された画像の一部を撮影者が選択するための部位である。
表示部４０に表示された画像は、予め、例えばＫ×Ｌ個に分割され、撮影者は、例えば、動きのある被写体を含む領域、すなわち図７（ａ）の画像Ｃにおける領域Ｚを選択する。

動きベクトル検出部３０ａは、図７（ａ）に示すように、領域指定部８０を介した撮影者の入力により選択された画像Ｃの領域Ｚのみに対して動きベクトル検出処理を行う。
動きベクトル検出の方法は、例えば画像Ｃと図７（ｂ）に示すその直後の画像Ｄとを基に第１実施形態で説明したブロックマッチングを行ってもよいし、第１実施形態で述べたそれ以外の方法でもよい。

制御部５０ａは、撮影者が指定した領域のみに対して動きベクトル検出を行うことにより、指定した領域Ｚの追尾を行うことができ、指定領域Ｚの動きベクトルを基に、指定領域Ｚがフレームから外れそうになったか否かを判断する。制御部５０ａの判断の基準としては、例えば、指定領域Ｚがフレームの端のブロックに、所定の値以上の大きさの速度で移動した場合に、指定領域Ｚがフレームから外れそうになったと判断する。

以下、本実施形態の撮像装置１ａの動作例について説明する。
図８は、撮像装置１ａの動作例を示すフローチャートである。
ステップＳＴ３１：
カメラモジュール１０が被写体を撮影する。
ステップＳＴ３２：
ステップＳＴ３１においてカメラモジュール１０が撮影した画像データをメモリ２０が記憶する。

ステップＳＴ３３：
領域指定部８０を介して、撮影者がステップＳＴ３２においてメモリ２０に記憶された画像の動きのある被写体を含む領域を指定する。
ステップＳＴ３４：
動きベクトル検出部３０ａが、ステップＳＴ３３において指定された領域の動きベクトルを検出する。

ステップＳＴ３５：
ステップＳＴ３４において動きベクトル検出部３０ａが検出した動きベクトルを基に、制御部５０ａがフレーム外れの可能性があるか否かを判断し、あると判断した場合にはステップＳＴ３６に進み、そうでない場合にはステップＳＴ３１に戻る。

ステップＳＴ３６：
警告部６０は、ステップＳＴ３５における制御部５０ａの判断結果を撮影者に警告し、ステップＳＴ３１に戻る。

以上説明したように、本実施形態の撮像装置１ａによれば、撮影した画像の動きのある被写体の動きベクトルを検出し、これを基にフレーム外れの可能性の有無を判断し、撮影者に警告するので、動きの激しい被写体を追いつつ撮影を行うことが容易になる。
なお、本実施形態の警告部６０のうち警告受信部６２及び警告実行部６３は撮像装置１ａから独立しているが、警告実行部６３が実行する警告が撮影に影響を及ぼさないという条件を満たせば、警告部６０全体が撮像装置１ａ内にあってもよい。この場合、警告送信部６１及び警告受信部６２は無くてもよい。

＜第３実施形態＞
本実施形態の撮像装置は、動きのある被写体を撮影した場合に、画像の特定の一部（動きのある被写体の領域）の動きベクトルを検出し、被写体がフレームから外れてしまった場合に、フレーム内に被写体を戻すための指示を撮影者に提示する。
図９は、本実施形態の撮像装置１ｂのブロック図である。
図９に示すように、本実施形態の撮像装置１ｂは、表示部４０ｂ及び制御部５０ｂを除いて第２実施形態の撮像装置１ａと同様の構成を有する。また、同じ番号を有するそれぞれの部位は、第２実施形態の撮像装置１ａの対応する部位と同じ処理を行う。

制御部５０ｂは、撮影者が指定した領域Ｚがカメラモジュール１０のフレームから外れてしまった場合に、動きベクトル検出部３０ａが検出した領域Ｚの動きベクトルを基に、領域Ｚの移動方向及び移動速度を推定する。
表示部４０ｂは、制御部５０ｂが推測した領域Ｚの移動方向及び移動速度を基に、図１０（ｃ）に示すように、画像に矢印等の指示アイコンを表示する。この矢印等は、撮影者がその方向に撮像装置１ｂを動かせば、被写体がフレーム内に戻ってくる可能性が高いことを示している。

図１０は、表示部４０ｂの表示の例を示す図である。
図１０（ａ）及び図１０（ｂ）に示す画像Ｅ及び画像Ｆは、動きのある被写体がカメラモジュール１０のフレームから外れてしまう前の表示部４０ｂの表示画像の例を示している。
図１０（ｃ）は、画像Ｅから画像Ｆに至るような動きでカメラモジュール１０のフレームから被写体が外れてしまった場合の、表示部４０ｂが表示する指示アイコンの一例を示している。
図１０（ｃ）に示す画像Ｇのように、表示部４０ｂは、被写体が移動していった方向を矢印等で示すことにより、被写体をフレーム内に戻すために撮像装置１ｂを動かす方向撮影者に示すので、撮影者は撮像装置１ｂをどの方向に動かせば被写体をカメラモジュール１０のフレーム内に戻せる可能性が高いかを瞬時に理解することができる。また、矢印等の大きさ・長さや色等を変えることで、被写体の速度を示すことができ、被写体がフレームの端からどれくらい離れているかを示唆する情報も撮影者に同時に提供できるので、撮影者はこの情報を基に撮像装置１ｂをどれくらい動かせばよいか見当をつけることができる。

以上説明したように、本実施形態の撮像装置１ｂによれば、撮影した画像の動きのある被写体の動きベクトルを検出し、被写体がフレームから外れてしまった場合に、表示部４０ｂに矢印等の指示アイコンを表示することで、被写体をカメラモジュール１０のフレーム内に戻すのが容易になり、動きの激しい被写体を追いつつ撮影を行いやすくなる。
なお、本実施形態の警告部６０のうち警告受信部６２及び警告実行部６３は撮像装置１ａから独立しているが、警告実行部６３が実行する警告が撮影に影響を及ぼさないという条件を満たせば、警告部６０全体が撮像装置１ａ内にあってもよい。この場合、警告送信部６１及び警告受信部６２は無くてもよい。
また、表示部４０ｂが表示する矢印等の指示アイコンについては、矢印である必要は無く、向きと大きさ・長さ・色等で方向及び速度の大きさを示すことができる形状のものであれば何でもよい。

＜第４実施形態＞
本実施形態の撮像装置は、角速度センサ等により撮像装置自体の動きを検出し、その動きにより被写体がフレームから外れてしまうか否かを判断し、フレームから外れてしまうと判断した場合に警告を発する撮像装置である。
図１１は、本実施形態の撮像装置１ｃのブロック図である。

図１１に示すように、本実施形態の撮像装置１ｃは、動きベクトル検出部３０、制御部５０ｃ及び動き検出部９０を除いて第１実施形態の撮像装置１と同じ構成を有する。また、同じ番号を有するそれぞれの部位は、第１実施形態の対応する部位と同じ処理を行う。

動き検出部９０は、角速度センサ（ジャイロセンサ）により撮像装置１ｃ全体の角速度を検出する。
制御部５０ｃは、動き検出部９０の検出した角速度を基に、撮像装置１ｃが、例えば手ぶれや操作ミス等により回転し、被写体がカメラモジュール１０のフレームから外れてしまう可能性を判断する。
制御部５０ｃは、例えば、動き検出部９０の検出した角速度が所定の値以上であった場合に、被写体がカメラモジュール１０のフレームから外れてしまう可能性があると判断する。

以下、本実施形態の撮像装置１ｃの動作例について説明する。
図１２は、撮像装置１ｃの動作例を示すフローチャートである。
ステップＳＴ４１：
カメラモジュール１０が被写体を撮影する。
ステップＳＴ４２：
ステップＳＴ４１においてカメラモジュール１０が撮影した画像データをメモリ２０が記憶する。

ステップＳＴ４３：
動き検出部９０が、撮像装置１ｃの角速度を検出する。

ステップＳＴ４４：
ステップＳＴ４３において動き検出部９０が検出した角速度を基に、制御部５０ｃがフレーム外れの可能性があるか否かを判断し、あると判断した場合にはステップＳＴ４５に進み、そうでない場合にはステップＳＴ４１に戻る。

ステップＳＴ４５：
警告部６０は、ステップＳＴ４４における制御部５０ｃの判断結果を撮影者に警告し、ステップＳＴ４１に戻る。

以上説明したように、本実施形態の撮像装置１ｃによれば、撮像装置１ｃ自体の動き（傾き）を書く速度の形で検出し、これを基にフレーム外れの可能性の有無を判断し、撮影者に警告するので、手ぶれや操作ミス等により被写体がフレームから外れてしまうのを防ぐことができる。
なお、本実施形態の警告部６０のうち警告受信部６２及び警告実行部６３は撮像装置１ｃから独立しているが、警告実行部６３が実行する警告が撮影に影響を及ぼさないという条件を満たせば、警告部６０全体が撮像装置１ｃ内にあってもよい。この場合、警告送信部６１及び警告受信部６２は無くてもよい。

本発明は上述した実施形態には限定されない。
すなわち、当業者は、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し、様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。

図１は、第１実施形態の撮像装置１のブロック図である。図２（ａ）は、メモリ２０に記憶された画像の一例、画像Ａを示す図であり、図２（ｂ）は、画像Ａより新しい画像Ｂを示す図であり、図２（ｃ）は、動きベクトル検出部３０が画像Ａ及びＢに対して行うブロック分けの一例である。図３は、動きベクトル検出部３０が行うブロックマッチングを説明するためのフローチャートである。図４は、制御部５０の判断基準を説明するためのフローチャートである。図５は、撮像装置１の動作例を示すフローチャートである。図６は、第２実施形態の撮像装置１ａのブロック図である。図７（ａ）及び（ｂ）は、動きのある被写体を撮影する場合の領域選択の例を示す図である。図８は、撮像装置１ａの動作例を示すフローチャートである。図９は、第３実施形態の撮像装置１ｂのブロック図である。図１０（ａ）及び（ｂ）は、動きのある被写体がカメラモジュール１０のフレームから外れてしまう前の表示部４０ｂの表示画像の例、画像Ｅ及びＦを示す図であり、図１０（ｃ）は、画像Ｅから画像Ｆに至るような動きでカメラモジュール１０のフレームから被写体が外れてしまった場合の、表示部４０ｂが表示する指示アイコンの一例を示す図である。図１１は、第４実施形態の撮像装置１ｃのブロック図である。図１２は、撮像装置１ｃの動作例を示すフローチャートである。

符号の説明

１，１ａ，１ｂ，１ｃ…撮像装置、１０…カメラモジュール、１１…レンズ、１２…アイリス、１３…撮像素子、２０…メモリ、３０，３０ａ…動きベクトル検出部、４０，４０ｂ…表示部、５０，５０ａ，５０ｂ，５０ｃ…制御部、６０…警告部、６１…警告送信部、６２…警告受信部、６３…警告実行部、７０…記録部、８０…領域指定部、９０…動き検出部

Claims

複数の連続した画像の動きベクトルを検出する動きベクトル検出手段と、
前記動きベクトル検出手段の検出した前記動きベクトルが一定の方向への所定量以上の動きベクトルであるか否かを判断する判断手段と、
前記判断手段が前記動きベクトルは一定の方向への所定量以上の動きベクトルであると判断した場合に、警告を発する警告手段と
を有する撮像装置。
前記動きベクトル検出手段は、前記画像全体の動きベクトルを検出する
請求項１に記載の撮像装置。
前記警告手段は、少なくとも光、音及び振動のうち少なくとも１つの手段で警告を発する
請求項１に記載の撮像装置。
前記複数の連続した画像を順次表示する表示手段と、
前記表示手段に表示された前記画像の特定の領域を指定可能な領域指定手段と
を有し、
前記動きベクトル検出手段は、前記領域指定手段が指定した前記特定の領域のみの動きベクトルを検出する
請求項１に記載の撮像装置。
複数の連続した第１の画像を撮影する撮像手段
を更に有し、
前記判断手段は、前記特定の領域が前記撮像手段の撮影した前記第１の画像から外れた場合に、前記動きベクトル検出手段が検出した当該第１の画像の直前の第２の画像の動きベクトルに基づいて、前記特定の領域の前記画像に対する動き量を判断し、
前記表示手段は前記判断手段の判断を基に、前記特定の領域が前記第２の画像から動いた方向と動き量とを示す表示体を表示する
請求項４に記載の撮像装置。
前記警告手段は、無線によって前記撮像装置と通信を行う
請求項１に記載の撮像装置。
前記警告手段は、前記判断手段の判断に係わらず警告を発しない設定を有する
請求項１に記載の撮像装置。
前記動きベクトル検出部の検出した画像全体の動きベクトルのうち、最も多い第１の動きベクトルと、２番目に多い第２の動きベクトルとを求め、前記第２の動きベクトルを手ぶれによる動きと判定し、前記連続した複数の画像と、該当複数の画像に対応した前記第２の動きベクトルとを基に手ぶれ補正を行う手ぶれ補正部
を更に有する
請求項１に記載の撮像装置。
複数の連続した画像を撮影する撮像手段と、
前記撮像手段の動きを検出する動き検出手段と、
前記動き検出手段が検出した前記撮像手段の動きを基に、前記撮像手段が所定量動いているか否かを判断する判断手段と、
前記判断手段が、前記撮像手段は所定量動いていると判断した場合に、警告を発する警告手段と
を有する撮像装置。
前記動き検出手段は、角速度センサにより前記撮像手段の動きを検出する
請求項９に記載の撮像装置。
前記警告手段は、前記判断手段の判断にかかわらず警告を発しない設定を有する
請求項９に記載の撮像装置。
連続した複数の画像の動きベクトルを検出する第１の工程と、
前記第１の工程において検出した前記動きベクトルが一定の方向への所定量以上の動きベクトルであるか否かを判断する第２の工程と、
前記第２の工程において前記動きベクトルは一定の方向への所定量以上の動きベクトルであると判断された場合に、警告を発する第３の工程と
を有する撮像方法。
連続した複数の画像を撮影する撮像手段の動きを検出する第１の工程と、
前記第１の工程において検出された撮像装置全体の動きを基に、前記撮像装置全体が所定量動いているか否かを判断する第２の工程と、
前記第２の工程において、前記撮像装置が所定量動いていると判断された場合に、警告を発する第３の工程と
を有する撮像方法。