JP2011024035A - 動き検出装置、撮像装置、動き検出方法、プログラム及び設計方法 - Google Patents

Abstract

【課題】フレームメモリを用いずに動き検出が可能となる動き検出装置、撮像装置、動き検出方法、プログラム及び設計方法を提供する。
【解決手段】撮像素子２から所定ライン数の複数のラインが選択されて所定ライン数単位の画像信号が読み出される。選択される複数のラインは、マトリクス状に配置された複数の画素の行方向に互いに重複するラインを有するよう選択範囲が移動されて所定ライン数単位の画像信号が撮像素子２から順次読み出される。読み出された所定ライン数単位の画像信号は、動き検出部４が有するラインバッファに記憶される。動き検出部４は、画像信号が撮像素子２から読み出される都度、読み出された画像信号及びラインバッファに記憶してある画像信号の重複するラインの画像信号夫々を比較して被写体の動きを検出する。
【選択図】図１

Description

本発明は、撮像素子により被写体を撮像してフレームメモリを用いずに被写体の動きを検出する動き検出装置、撮像装置、動き検出方法、プログラム及び設計方法に関する。

近年、デジタルスチルカメラ及びデジタルビデオカメラ等の撮像装置には、被写体の動きを検出する機能が搭載されてきている。これらの撮像装置は、検出した被写体の動きに応じて被写体に素早くフォーカス及び露出を合わせることが可能である。また、撮像装置が動画を撮像する場合、検出した被写体の動きに基づいて画像フレーム間で補間処理を施すことにより、フレームレートを減少させることなく動画に含まれる画像フレームを減らして動画のサイズを圧縮することが行われている。更に近年、例えば、被写体の動きを検出することにより、被写体の人物の顔が笑顔を示した場合に撮像するといった様々な機能を搭載した撮像装置が使われ始めている。

従来技術による動き検出では、時系列的に撮像して得た複数の画像信号のうち、少なくとも撮像素子の撮像面に対応する１画面分の画像信号をフレームメモリに記憶する。そして、次に撮像して得た画像信号と、フレームメモリに記憶してある画像信号との差分に基づいて被写体の動きを検出する。近年、撮像素子の画素数の増大に伴って、１画面分の画素数の画像信号を記憶するフレームメモリの容量が増大している。容量の大きなフレームメモリは高価格であり、当該フレームメモリを搭載した撮像装置の製造コスト及び装置サイズが増大する。そこで、フレームメモリの容量を減少させるべく動き検出に用いる画素の画素数を減少させた撮像装置が知られている（例えば、特許文献１参照）。

特開２００５−１２５４８号公報

しかしながら、特許文献１に記載の撮像装置では、動き検出に用いる画素の画素数の減少に伴い、比較する画像夫々の画像精度が低くなり、動き検出の精度が低下するという問題があった。

本発明は斯かる事情に鑑みてなされたものである。その目的は、所定ライン数を有するライン群の画像信号を記憶する記憶部と、ライン群間で重複する一部のラインの画像信号夫々を比較して被写体の動きを検出する動き検出部とを備えることにより、フレームメモリを用いずに被写体の動きが検出可能となる動き検出装置、動き検出方法、撮像装置、プログラム及び設計方法を提供することにある。

本発明に係る動き検出装置は、複数の画素が配列されたライン複数を有する撮像素子を備え、該撮像素子が出力する画像信号に基づいて被写体の動きを検出する動き検出装置において、前記撮像素子は、所定ライン数を有するライン群をライン群間で一部のラインが重複するよう順次選択して撮像し、各ライン群の画像信号を出力するよう構成してあり、前記撮像素子が出力する画像信号を記憶する記憶部と、該記憶部に記憶してある前記一部のラインの画像信号を前記撮像素子が出力する前記一部のラインの画像信号と比較して前記被写体の動きを検出する動き検出部とを備えることを特徴とする。

本発明にあっては、撮像素子から所定ライン数の複数のラインが選択されて所定ライン数単位の画像信号が読み出される。互いに重複するラインを有するよう行方向に選択範囲が移動されて所定ライン数単位の画像信号が順次読み出される。読み出された所定ライン数単位の画像信号は、ラインバッファに記憶される。画像信号が撮像素子から読み出される都度、読み出された画像信号及び記憶部に記憶してある画像信号の重複するラインの画像信号夫々が比較される。比較の結果、被写体の動きが検出される。

本発明に係る動き検出装置は、前記撮像素子は、前記ライン群に含まれるライン夫々を略同時に露光するよう構成してあることを特徴とする。

本発明にあっては、所定ライン数のライン全てが略同時に露光される。これにより、重複する一部のラインの画像信号夫々を比較して被写体の動きを検出する際に露光タイミングのずれによる検出精度の低下が生じない。

本発明に係る動き検出装置は、前記動き検出部は、前記記憶部に記憶してある前記一部のラインの画像信号に含まれる各画素の信号を前記撮像素子が出力する前記一部のラインの画像信号のうち、特定の範囲内にある画素夫々の信号と比較するよう構成してあることを特徴とする。

本発明にあっては、比較元として記憶部に記憶されている重複する一部のラインの画像信号に含まれる画素夫々の信号が読み出される。比較先として、撮像素子から読み出された重複する一部のラインの画像信号から、特定の範囲内の画素夫々の信号が読み出される。比較元の画素の信号が、特定の範囲内のいずれの画素の信号と略一致するかを判定して被写体の動きを検出する。

本発明に係る動き検出装置は、前記動き検出部により検出した前記被写体の動きに応じて前記範囲を変更する変更部を備えることを特徴とする。

本発明にあっては、被写体の速い動きが検出された場合、比較先の画素が含まれる特定の範囲が拡大される。これにより、比較元の画素と、信号が略一致する比較先の画素が特定の範囲外に位置して被写体の動きが検出されない虞が少なくなる。また、被写体の遅い動きが検出された場合、動きを精度良く検出すべく特定の範囲が縮小される。

本発明に係る撮像装置は、前述の動き検出装置と、前記撮像素子から前記被写体の画像を取得する画像取得部とを備える。

本発明にあっては、検出した被写体の動きに基づいてオートフォーカス等の機能を実現すると共に被写体を撮像して被写体の画像を得る。

本発明に係る撮像装置は、前記画像取得部は、前記記憶部に記憶してある前記一部のラインの画像信号及び前記撮像素子が出力する前記一部のラインの画像信号を加算する加算部を備え、該加算部により加算した画像信号に基づいて前記被写体の画像を取得するよう構成してあることを特徴とする。

本発明にあっては、被写体の動きが検出されなかった場合、すなわち被写体が静止している場合、順次読出した画像信号夫々に含まれる重複する一部のラインの画像信号同士が加算される。加算により増幅された画像信号に基づいて被写体の画像を取得することにより、ダイナミックレンジが拡大される。

本発明に係る撮像装置は、前記画像取得部は、前記動き検出部により前記被写体の動きを検出した場合、重複する前記一部のライン夫々の露光時間に基づいて算出した係数を前記記憶部に記憶してある前記一部のラインの画像信号に乗算する乗算部を備え、該乗算部により乗算した画像信号に基づいて前記被写体の画像を取得するよう構成してあることを特徴とする。

本発明にあっては、被写体の動きが検出された場合、画像信号が比較される重複する一部のライン夫々の露光時間に基づいて係数が算出される。そして、ラインバッファに記憶してある重複する一部のラインの画像信号に係数が乗算される。係数が乗算された画像信号に基づいて被写体の画像が得られる。これにより、被写体が動いている状態で得られた画像に動きぼけが発生しない。また、被写体が静止している状態で加算された画像信号と、被写体が動いている状態で乗算された画像信号とを略同一の信号強度にすることにより、被写体の動きの有無によって被写体の画像の明るさが変化することを防止する。

本発明に係る撮像装置は、前記画像取得部により時系列的に取得した複数の前記被写体の画像からなる映像を出力する映像出力部と、該映像出力部により出力する映像に前記動き検出部により検出した前記被写体の動きを示す情報を適宜挿入する挿入部とを備えることを特徴とする。

本発明にあっては、時系列的に取得した被写体の画像からなる複数の画像フレーム間に被写体の動きを示す動き検出フレームが所定間隔で挿入された映像が出力される。動き検出フレームに対応した表示装置で表示する場合、動き検出フレームに基づいて映像フレーム間で補間処理を施すことにより、フレームレートが増大する。

本発明に係る動き検出方法は、複数の画素が複数ラインに配列されており、被写体を撮像する撮像素子が出力する画像信号に基づいて前記被写体の動きを検出する動き検出方法において、前記撮像素子により所定ライン数を有するライン群をライン群間で一部のラインが重複するよう順次選択して撮像し、前記撮像素子が出力する各ライン群の画像信号を記憶し、前記撮像素子がライン群の画像信号を出力した場合、記憶してある前記一部のラインの画像信号と比較して前記被写体の動きを検出することを特徴とする。

本発明にあっては、撮像素子から所定ライン数の複数のラインが選択されて所定ライン数単位の画像信号が読み出される。選択される複数のラインは、互いに重複するラインを有するよう行方向に選択範囲が移動されて所定ライン数単位の画像信号が順次読み出される。読み出された所定ライン数単位の画像信号は、ラインバッファに記憶される。画像信号が撮像素子から読み出される都度、読み出された画像信号及び記憶部に記憶してある画像信号の重複するラインの画像信号夫々が比較される。比較の結果、被写体の動きが検出される。

本発明に係るプログラムは、複数の画素が配列されたライン複数を有する撮像素子が出力する画像信号を受付けるコンピュータに、前記画像信号に基づいて被写体の動きを検出させるプログラムにおいて、前記コンピュータに、前記撮像素子から所定ライン数を有するライン群をライン群間で一部のラインが重複するよう順次選択して各ライン群の画像信号を読み出す読出ステップと、該読出ステップにより読み出した重複する前記一部のラインの画像信号夫々を比較して前記被写体の動きを検出する検出ステップとを実行させることを特徴とする。

本発明にあっては、撮像素子から所定ライン数の複数のラインが選択されて所定ライン数単位の画像信号が読み出される。互いに重複する一部のラインを有するよう行方向に選択範囲が移動されて所定ライン数単位の画像信号を順次読み出す。順次読み出した重複する一部のラインの画像信号同士を比較して被写体の動きを検出する。

本発明に係る設計方法は、前述の撮像装置に用いる撮像素子を設計する設計方法であって、重複する前記一部のライン夫々の露光時間の和が前記被写体に対する照明光の照度明暗周期の略整数倍となるよう前記露光時間夫々を決定することを特徴とする。

本発明にあっては、画像信号が比較される重複する一部のライン夫々の露光時間の合計値和が、蛍光灯等から被写体を照明する照明光の照度明暗周期の整数倍となるよう撮像素子が設計される。これにより、加算された画像信号に基づいて得られた被写体の画像に照明光によるフリッカーが生じることを防ぐ。

本発明に係る設計方法は、前述の撮像装置を設計する設計方法であって、前記乗算部が前記係数を前記被写体に対する照明光の照度明暗周期に基づいて算出するよう設計することを特徴とする。

本発明にあっては、画像信号が比較される重複する一部のライン夫々の露光時間の合計値和が、照明光の照度明暗周期の略整数倍にすべく乗算部が係数を算出するよう撮像素子が設計される。これにより、乗算された画像信号に基づいて得られた画像に照明光によりフリッカーが生じることを防ぐ。

本発明にあっては、所定ライン数を有するライン群の画像信号を記憶する記憶部と、ライン群間で重複する一部のラインの画像信号夫々を比較して被写体の動きを検出する動き検出部とを備えることにより、フレームメモリを用いずに被写体の動きが検出可能となる。

撮像装置の内部構成例を示すブロック図である。 撮像素子の画素の配列例を示す模式図である。 撮像素子がライン群の画像信号を順次出力する手順を説明するための説明図である。 特定範囲内の画素と比較して被写体の動きを検出する手順例を説明するための説明図である。 各ラインの露光タイミングを説明するための各信号のタイミングチャートである。 動き検出部の回路例を示す回路図である。 動き検出部のラインカウンタ動作を説明するための各信号のタイミングチャートである。 動き検出部のドットカウンタ動作を説明するための各信号のタイミングチャートである。 特定範囲内の画素と比較して被写体の動きを検出する他の手順例を説明するための説明図である。 動き検出部の他の回路例を示す回路図である。 特定範囲を拡大して被写体の動きを検出する方法の例を説明するための説明図である。 １画面分に対する動きを検出する手順を示すフローチャートである。 動き検出処理の手順を示すフローチャートである。 動き検出処理の手順を示すフローチャートである。 画像フレーム及び動き検出フレームからなる映像信号の例を示す模式図である。 撮像装置の内部構成例を示すブロック図である。

実施の形態１
以下、本発明をその実施の形態を示す図面に基づき具体的に説明する。本実施の形態の動き検出装置は、被写体を撮像して被写体の動きを検出する。動き検出装置は、例えば、セキュリティカメラ等に搭載されて無人であるべき場所で動いている被写体を検出する場合に用いられる。また、動き検出装置は、デジタルスチルカメラ及びデジタルビデオカメラ等の撮像装置、並びにカメラ機能を有する携帯電話機等にも備えられる。動き検出装置は、カメラ機能を有するＰＣ（ Personal Computer ）及びＰＤＡ（ Personal Digital Assistant ）等に備えられていてもよい。動き検出装置を備える装置は、被写体の動きに合わせて素早くフォーカスを合わせるオートフォーカス機能及び被写体の顔の各部分の動きに合わせて撮像する機能等を実現する。本実施の形態１では、動き検出装置を搭載した撮像装置を例に挙げて説明する。

図１は、撮像装置の内部構成例を示すブロック図である。撮像装置は、被写体からの光が透過する光学系１と、光学系１により集光された光を受光して被写体の画像を撮像する撮像素子２と、信号処理部３とを備える。撮像素子２は、例えばＣＣＤ（ Charge Coupled Device ）イメージセンサ及びＣＭＯＳ（ Complementary Metal Oxide Semiconductor ）イメージセンサ等であり、画素としての受光素子がマトリクス状に複数配列してなる。また、撮像素子２は、各画素がＲＧＢ各色を出力するＲ画素、Ｇ画素及びＢ画素を含んでおり、被写体のカラー画像を撮像するようにしてある。尚、撮像素子２は、モノクロ画像を撮像するものであってもよい。撮像素子２の画素夫々は、受光面に入射した光量に対応した電気信号を出力する。撮像素子２から出力された電気信号は、信号処理部３に与えられる。信号処理部３は、与えられた電気信号にデモザイク処理及びガンマ補正処理等を施してＹＵＶデータ及びＲＧＢデータ等の画像データ（画像信号）に変換する。

また、撮像装置は、被写体の動きを検出する動き検出部４と、画像データから被写体の画像を取得する画像取得部５と、被写体の画像を記憶するフラッシュメモリ等からなる画像記憶部６と、ＭＰＵ（ Micro Processing Unit ）７とを備える。ＭＰＵ７は、記憶しているプログラムを実行し、当該プログラムに従ってバス７ａを介し、ハードウェア各部を制御するようにしてある。動き検出部４は、信号処理部３が変換して得た画像データ（画像信号）を記憶する記憶部としての後述のラインバッファを備えており、記憶した画像データに基づいて被写体の動きを検出し、ＭＰＵ７に与える。

また、動き検出部４は、被写体の動きと共に画像データを画像取得部５に与える。画像取得部５は、与えられた被写体の動き及び画像データに基づいて被写体の画像を取得してＭＰＵ７に与える。ＭＰＵ７は、画像取得部５から与えられた被写体の画像を画像記憶部６に与えて記憶させる。また、撮像装置は、被写体の画像を時系列的に撮像して得た映像信号を生成する映像信号生成部８と、映像信号を外部の機器に出力する映像信号出力部１０と、被写体の画像を表示する液晶パネル等からなる表示部９とを備える。

図２は、撮像素子２の画素の配列例を示す模式図である。撮像素子２は、複数の画素が配列されたライン複数からなる撮像面、すなわち複数の画素がマトリクス状に配列された撮像面を有しており、例えば、１０００万個の画素が配列されている。以下、説明のために７個の画素が配列されたライン６つからなる撮像面を有する６行７列の撮像素子２を例に挙げるが、各ラインに配列される画素数（ドット数）及びライン数は、これに限るものではない。また、以下、ｎ行ｍ列をｎ×ｍとして表記する。例えば、６行７列は、６×７として表記する。図２の太線で囲まれた複数の画素は、動き検出が行われる範囲を示す。撮像素子２は、隣接する３つのラインからなるライン群の画像信号を順次出力するようにしてある。ここで、撮像素子２がライン群の画像信号を順次出力する手順を説明する。

図３は、撮像素子２がライン群の画像信号を順次出力する手順を説明するための説明図である。図３は、図２に示す如く６×７の撮像素子２を用いた場合を示している。図３（Ａ）〜（Ｄ）夫々の斜線部は、各ライン群の最下段のラインから両端の画素を除いた残りの画素であり、後述の比較元の画素が選択される範囲を示す。撮像素子２は、所定ライン数として３が予め設定されており、３ライン単位のライン群の画像信号を出力するようにしてある。撮像素子２は、撮像面の１画面分、すなわち１フレーム分の画像信号を出力する場合、始めに図３（Ａ）に示す如く第１ライン、第２ライン及び第３ラインを撮像し、３ラインのライン群の画像信号を出力する。

次に図３（Ｂ）に示す如く重複するラインとなる第２ライン及び第３ラインと、第４ラインとを撮像して３ラインのライン群の画像信号を出力する。続いて、図３（Ｃ）に示す如く重複するラインとなる第３ライン及び第４ラインと、第５ラインとを撮像して３ラインのライン群の画像信号を出力する。そして図３（Ｄ）に示す如く重複するラインとなる第４ライン及び第５ラインと、第６ラインとを撮像して３ラインのライン群の画像信号を出力し、重複するラインの画像信号を含む１フレーム分の画像信号の出力を完了する。画像取得部５は、重複するラインのうち、いずれか一方のラインの画像信号を選択して１フレーム分の画像信号を得て、被写体の画像を取得する。そして斜線部で示す画素夫々の信号と、次に出力されたライン群に含まれる画素のうち、特定範囲内の画素夫々の信号とを比較して被写体の動きを検出する。ここで、特定範囲内の画素夫々の信号と比較して被写体の動きを検出する手順を説明する。

図４は、特定範囲内の画素と比較して被写体の動きを検出する手順例を説明するための説明図である。図４は、撮像素子２が第１ライン、第２ライン及び第３ラインのライン群の画像信号を出力した後、第２ライン、第３ライン及び第４ラインのライン群の画像信号を出力した状態で各画素の信号を画素単位で比較する場合を示している。また、比較先の画素が選択される特定範囲として３×３の範囲が設定されている。図４（Ａ）の斜線で示す画素は、動きが検出される比較元の画素を示す。図４（Ｂ）、図４（Ｃ）、図４（Ｄ）夫々の斜線で示す画素は、特定範囲内に位置する比較先の画素を示す。図４（Ａ）に示す如く、斜線で示す画素のうち、左端に位置する画素が比較元の画素Ｘ０として選択される。図４（Ｂ）に示す如く次に画像信号が出力された第２ライン、第３ライン及び第４ラインに含まれる画素のうち、画素Ｘ０と同一画素である画素Ｘと、画素Ｘを囲む画素Ａ〜Ｄ及び画素Ｆ〜Ｉとが３×３の範囲内にある比較先の画素として選択される。

比較元及び比較先の画素の信号を比較することにより、比較元の画素と信号強度が略一致する画素が抽出される。これにより、比較元の画素が撮像した被写体の像が、比較先のいずれの画像に移動したかを検出する。例えば、比較元の画素Ｘ０の信号が比較先の画素Ａの信号と略同一の信号強度を有する場合、画素Ｘ０により撮像された被写体の像が画素Ａへ移動したことが検出される。これにより、被写体の動きが検出される。また、例えば、比較元の画素Ｘ０の信号が比較先の画素Ｘの信号と略同一の信号強度を有する場合、被写体の静止が検出される。各ライン群は、水平同期信号に同期して出力されており、水平同期周波数及び画素間の距離に基づいて被写体の速度の算出が可能である。

次に図４（Ａ）の斜線で示す画素のうち、左から２つめの画素が比較元の画素Ｘ０として選択され、図４（Ｃ）の斜線で示す比較先の画素Ｘ、画素Ａ〜Ｄ及び画素Ｆ〜Ｉが選択される。比較元の画素Ｘ０の信号と、比較先の画素Ｘ、画素Ａ〜Ｄ及び画素Ｆ〜Ｉ夫々の信号が比較されて被写体の動きが検出される。そして図４（Ａ）に示す斜線で示された画素のうち、左から３つめの画素が比較元の画素として選択され、図４（Ｄ）の斜線で示す比較先の画素Ｘ、画素Ａ〜Ｄ及び画素Ｆ〜Ｉが選択される。比較元の画素Ｘ０の信号と、比較先の画素Ｘ、画素Ａ〜Ｄ及び画素Ｆ〜Ｉ夫々の信号が比較されて被写体の動きが検出される。以降、同様に比較元の画素Ｘ０と、比較先の画素Ｘ、画素Ａ〜Ｄ及び画素Ｆ〜Ｉとが選択されて比較されることにより、図４（Ａ）の斜線で示す画素夫々について被写体の動きが検出される。

図５は、各ラインの露光タイミングを説明するための各信号のタイミングチャートである。図５は、最上段から最下段に向かって水平同期信号と、ライン出力データ（画像信号）と、第１ラインから第６ラインまで夫々の露光信号とを並べて示している。撮像素子２の各ラインは、対応する露光信号がＨレベルにある期間、露光するようにしてある。撮像素子２は、水平同期信号に同期して所定ライン数のライン夫々に対応する露光信号をＨレベルにして、各ラインを略同時に露光する。図５に示す例では、水平同期信号に同期して第１ライン露光信号、第２ライン露光信号及び第３ライン露光信号が露光時間ΔＴ１の期間、Ｈレベルになり、第１ライン、第２ライン及び第３ラインが略同時かつ略同一の露光時間、露光されている。

露光された３つのラインの画像信号夫々が水平同期信号に同期して順次出力される。図５に示す例では、第１ラインの画像信号Ｌ１、第２ラインの画像信号Ｌ２、第３ラインの画像信号Ｌ３夫々が水平同期信号に同期してライン出力データとして順次出力されている。同様に撮像素子２は、所定ライン数のライン夫々の露光及び各ラインの画像信号の出力を繰返すようにしてある。図５に示す例では、第２ライン、第３ライン及び第４ラインが略同時に露光時間ΔＴ２を有して露光され、画像信号Ｌ２、Ｌ３、Ｌ４夫々が順次出力されている。続いて、第３ライン、第４ライン及び第５ラインが略同時に露光時間ΔＴ１を有して露光され、画像信号Ｌ３、Ｌ４、Ｌ５夫々が順次出力されている。

そして、第４ライン、第５ライン及び第６ラインが略同時に露光時間ΔＴ２を有して露光され、画像信号Ｌ４、Ｌ５、Ｌ６夫々が順次出力されて、１フレーム分の各ラインの露光及び画像信号の出力が行われている。これにより、第４ライン、第５ライン及び第６ラインには、第１ライン、第２ライン及び第３ラインよりも経過時間ΔＴ３を経過した被写体が撮像される。ここで露光時間ΔＴ１、ΔＴ２夫々は、光学系１に含まれるレンズのＦ値及び撮像素子２の感度等により調整されると共に、被写体を照明する蛍光灯等の照度明暗周期の整数倍となるよう撮像素子２が設計される。例えば、周波数５０Ｈｚ又は６０Ｈｚに対応する周期の整数倍とするとよい。これにより、被写体の動きを検出すべく比較する画像信号及び取得された被写体の画像にフリッカーが生じることを防止する。尚、露光時間ΔＴ１及びΔＴ２が異なる場合、略同一の光強度で露光時間ΔＴ１及び露光時間ΔＴ２夫々で露光されて出力されるライン出力データの出力値の比は、露光時間ΔＴ１及びΔＴ２の比となる。この場合、略同一の光強度で露光された場合にライン出力データの出力値が略同一となるよう動き検出部４において補正するとよい。ライン群に含まれるライン夫々の露光タイミングは、被写体の上方向及び下方向の速度を正確に求める必要がない場合、異なっていても良い。この場合、各ラインの露光に露光時間が異なるローリングシャッタを用いて露光することが可能である。

３×３の特定範囲内の画素と比較する場合を示したが、列数を変更して３×ｍとしてもよい（ｍ：整数）。また、行数も変更してｎ×ｍ（ｎ，ｍ：整数）の特定範囲としてもよい。この場合、所定のライン数をｎとしてｎラインのライン群を順次出力するよう撮像素子２を構成する。また、特定範囲の行数を変更した場合、すなわち垂直方向の動きを検出する範囲を広げた場合、被写体の画像が範囲の拡大により変化することが無いように撮像素子２がライン群を順次出力する速度を増大させるとよい。次に動き検出部４をデジタル回路で実現する例を説明する。

図６は、動き検出部４の回路例を示す回路図である。図６に示す回路図は、撮像素子２が出力するライン群のライン数が３であり、特定範囲が３×３である場合に対応する。動き検出部４は、３つのラインバッファＭ１，Ｍ２，Ｍ３と、７つのフリップフロップＦ１，Ｆ２，…，Ｆ７とを備える。また、動き検出部４は、９つの比較器Ｃ１，Ｃ２，…，Ｃ９と、各比較器から比較結果を出力する比較出力４１，４２，…，４９とを備える。ラインバッファＭ１，Ｍ２，Ｍ３は、撮像素子２の１ライン分の画像信号を記憶可能な記憶容量を有する記憶部としてのメモリであり、図示しないクロック信号に同期して順次与えられる各ラインの画像信号に含まれる各画素の信号を記憶する。

また、ラインバッファＭ１，Ｍ２，Ｍ３は、記憶した順番に各画像信号を読み出して出力するＦＩＦＯ（ First In， First Out）動作を行う。これにより、ラインバッファＭ１，Ｍ２，Ｍ３夫々は、入力されたラインの画像信号を１ライン分遅延させて出力するようにしてある。フリップフロップＦ１，Ｆ２，…，Ｆ７夫々は、Ｄ型フリップフロップであり、入力端子Ｄに入力された１画素分の画像信号を端子ＣＫに入力されたクロック信号の１クロック分、すなわち１画素分を遅延させて出力端子Ｑから出力するようにしてある。

画像信号入力４０に入力された画像信号は、信号線Ｓ１を介してラインバッファＭ１と、フリップフロップＦ１と、比較器Ｃ１とに与えられる。ラインバッファＭ１は、与えられた画像信号に含まれる各画素の信号を１ライン分遅延させ、信号線Ｓ４を介してラインバッファＭ２と、フリップフロップＦ３と、比較器Ｃ４に与える。ラインバッファＭ２は、与えられた各画素の信号を１ライン分遅延させ、信号線Ｓ７を介してラインバッファＭ３と、フリップフロップＦ５と、比較器Ｃ７とに与える。ラインバッファＭ３は、与えられた各画素の信号を１ライン分遅延させ、信号線Ｓ１０を介してフリップフロップＦ７に与える。ラインバッファＭ１，Ｍ２，Ｍ３夫々が出力する各画素の信号は、互いに１ライン分遅延している。

フリップフロップＦ１は、与えられた信号に含まれる各画素の信号を１画素分遅延させ、信号線Ｓ２を介してフリップフロップＦ２と、比較器Ｃ２とに与える。フリップフロップＦ３は、ラインバッファＭ１から１ライン分遅延されて与えられた各画素の信号を１画素分遅延させ、信号線Ｓ５を介してフリップフロップＦ４と、比較器Ｃ５とに与える。フリップフロップＦ５は、ラインバッファＭ２から１ライン分を遅延されて与えられた各画素の信号を１画素分遅延させ、信号線Ｓ８を介してフリップフロップＦ６と、比較器Ｃ８とに与える。フリップフロップＦ７は、ラインバッファＭ３から１ライン分を遅延されて与えられた各画素の信号を１画素分遅延させ、信号線Ｓ１１を介して９つの比較器Ｃ１、…、Ｃ９に与える。

フリップフロップＦ２は、与えられた１画素分を遅延された各画素の画像信号を更に１画素分遅延させ、信号線Ｓ３を介して比較器Ｃ３に与える。フリップフロップＦ４は与えられた１画素分を遅延された各画素の画像信号を更に１画素分遅延させ、信号線Ｓ６を介して比較器Ｃ６に与える。フリップフロップＦ６は与えられた１画素分を遅延された各画素の画像信号を更に１画素分遅延させ、信号線Ｓ９を介して比較器Ｃ９に与える。比較器Ｃ１、…、Ｃ９夫々は、入力された各画素の画像信号を比較して略一致する場合に、その結果を報知する信号を比較出力４１，４２，…，４９から各出力する。次に図６で示した回路のラインカウンタ動作を説明する。

図７は、動き検出部４のラインカウンタ動作を説明するための各信号のタイミングチャートである。図７は、最上段から最下段に向かって水平同期信号と、ラインカウンタ値と、信号線Ｓ１、信号線Ｓ４、信号線Ｓ７及び信号線Ｓ１０夫々に与えられるデータとを並べて示している。画像信号入力４０には、水平同期信号に同期して各ラインの画像信号が順次入力される。図７に示す例では、水平同期信号に同期してラインカウンタ値が１となり、第１ラインの画像信号Ｌ１が信号線Ｓ１に与えられている。また、水平同期信号に同期してラインカウンタ値がインクリメントされるのに伴って、第２ラインの画像信号Ｌ２から第６ラインの画像信号Ｌ６までの夫々が信号線Ｓ１に順次与えられている。

信号線Ｓ４、信号線Ｓ７及び信号線Ｓ１０夫々には、ラインバッファＭ１，Ｍ２，Ｍ３を介して各ラインの画像信号が与えられているため、互いに１ライン分遅延した画像信号が与えられている。信号線Ｓ１、信号線Ｓ４、信号線Ｓ７及び信号線Ｓ１０全てに各ラインの画像信号が与えられており、ラインカウンタ値が３の倍数である場合、すなわちラインカウンタ値が３ａ（ａ：２以上の整数）を満たす場合、ドットカウンタ動作が実行される。次に図６で示した回路のドットカウンタ動作を説明する。

図８は、動き検出部４のドットカウンタ動作を説明するための各信号のタイミングチャートである。図８は、最上段から最下段に向かってクロック信号と、ドットカウンタ値と、信号線Ｓ１１に与えられるデータと、信号線Ｓ１から信号線Ｓ９まで夫々に与えられるデータとを並べて示しており、ラインカウンタ値が６である場合に対応する。ここで、第Ｘラインの画像信号ＬＸに含まれるデータのうち、先頭からＹ番目の１画素分のデータを（Ｘ，Ｙ）で示す。例えば（４，２）は、第４ラインの画像信号Ｌ４に含まれるデータのうち、先頭から２番目の１画素分のデータを示す。各信号線には、クロック信号に同期して各ラインの画像信号に含まれる１画素の信号が順に与えられる。信号線Ｓ７、信号線Ｓ４及び信号線Ｓ１夫々には、第２ラインの画像信号Ｌ２と、画像信号Ｌ２から１ライン分遅延した第３画像信号Ｌ３と、画像信号Ｌ３から１ライン分遅延した第４ラインの画像信号Ｌ４とに含まれる各画素の信号が順に与えられている。

また、信号線Ｓ８には、信号線Ｓ７に与えられた画像信号Ｌ２から１画素分を遅延した各画素の画像信号夫々が順に与えられている。信号線Ｓ９には、信号線Ｓ７に与えられた画像信号Ｌ２から２画素分を遅延した各画素の画像信号夫々が順に与えられている。信号線Ｓ５には、信号線Ｓ４に与えられた画像信号Ｌ３から１画素分を遅延した各画素の画像信号夫々が順に与えられている。信号線Ｓ６には、信号線Ｓ４に与えられた画像信号Ｌ３から２画素分を遅延した各画素の画像信号夫々が順に与えられている。信号線Ｓ２には、信号線Ｓ１に与えられた画像信号Ｌ４から１画素分を遅延した各画素の画像信号夫々が順に与えられている。信号線Ｓ３には、信号線Ｓ１に与えられた画像信号Ｌ４から２画素分を遅延した各画素の画像信号夫々が順に与えられている。また、クロック信号に同期して各画素をカウンタするためのドットカウンタ値がインクリメントされている。

信号線Ｓ１１に与えられる各ドットカウンタ値に対応する画素の信号は、ドットカウンタ値毎に比較される比較元の画素Ｘ０の信号に対応する。信号線Ｓ５に与えられる各ドットカウンタ値に対応する画素の信号は、比較先の画素Ｘの信号に対応する。信号線Ｓ１，Ｓ２，Ｓ３，Ｓ４夫々に与えられる各ドットカウンタ値に対応する画素の信号は、画素Ａ，Ｂ，Ｃ，Ｄの信号に各対応する。信号線Ｓ６，Ｓ７，Ｓ８，Ｓ９夫々に与えられる各ドットカウンタ値に対応する画素の信号は、比較先の画素Ｆ，Ｇ，Ｈ，Ｉに各対応する。

動き検出部４は、信号線Ｓ１１、及び信号線Ｓ１から信号線Ｓ９までの全ての信号線に１画素の信号が与えられた状態、すなわち、ドットカウンタ値が３以上かつ６以下である場合に比較器Ｃ１、Ｃ２、…Ｃ９からの比較結果を取得する。比較器Ｃ１，Ｃ２，…，Ｃ９夫々が出力する比較結果は、比較元の画素Ｘ０と、比較先の画素Ａ，Ｂ，Ｃ，Ｄ，Ｘ，Ｆ，Ｇ，Ｈ，Ｉ夫々との比較結果を示す。これにより、比較器Ｃ１，Ｃ２，…，Ｃ９夫々が出力する比較結果により、画素Ｘ０が撮像した被写体の像が画素Ａ，Ｂ，Ｃ，Ｄ，Ｘ，Ｆ，Ｇ，Ｈ，Ｉのいずれに移動したか否かを検出する。

図９は、特定範囲内の画素と比較して被写体の動きを検出する他の手順例を説明するための説明図である。比較元の画素Ｘ０を、撮像素子２が出力する３ライン数単位の最下段のラインから選択する場合を示したが、これに限るものではない。例えば、被写体が撮像素子２の行方向に向けて移動する場合、中央段又は最上段のラインから選択してもよい。また、比較元の画素Ｘ０に限らず、複数選択してもよい。図９は、画素Ｘ０が中央段のラインから選択されて被写体の動きを検出する方法を示している。図９（Ａ）に示す如く、第３ラインから選択された比較元の画素Ｘ０に加え、中央段の第２ラインから比較元の画素Ｘ１が選択されてもよい。そして、図９（Ｂ）に示す特定範囲内の比較先の画素と比較するとよい。この中央段から選択された比較元の画素Ｘ１を比較先の画素と比較する方法をデジタル回路で実現する例を説明する。

図１０は、動き検出部４の他の回路例を示す回路図である。動き検出部４は、画像信号入力４０及びフリップフロップＦ１との間に挿入されたラインバッファＭ４を備えており、ラインバッファＭ１の入力端は、ラインバッファＭ４の出力端に接続してある。また、動き検出部４は、画像信号入力４０に信号線Ｓ１２を介して接続されたフリップフロップＦ８を備えている。フリップフロップＦ８の出力端には、信号線Ｓ１３が接続されている。比較器Ｃ２は、信号線Ｓ２及び信号線Ｓ１１に加え、更に信号線Ｓ１３が接続されており、画素Ｘ０及び画素Ｂとの比較のみならず、画素Ｘ１及び画素Ｂの比較も可能となる。

以上より、フリップフロップ及びバッファメモリを追加して、比較元の画素の画素数を増加させることが可能である。また、フリップフロップ及びバッファメモリを追加することにより、比較元の画素を３×３よりも広い特定範囲内の画素と比較することが可能となる。すなわち、特定範囲の行方向の画素数を増やす場合には、バッファメモリの数を増大させ、特定範囲の列方向の画素数を増やす場合には、フリップフロップの数を増大させるとよい。

また、動き検出部４が有する複数のバッファメモリ及び複数のフリップフロップ夫々の動作を有効又は無効に切り替え可能に構成して、特定範囲を変更可能にしてもよい。この場合、検出した被写体の動きが大きい場合に特定範囲を増大させて画素Ｘ０により撮像した被写体の像が特定範囲外の画素に撮像されて、被写体の動きが検出されないことを防止する。また、検出した被写体の動きが小さい場合に特定範囲を減少させて高精度に被写体の動きが検出される。これにより、動き検出部４は、検出した被写体の動きに応じて特定範囲を変更する変更部としても機能する。次に、変更部として機能する動き検出部４により、特定範囲内に含まれる画素数を増大させずに特定範囲を拡大する他の方法を説明する。

図１１は、特定範囲を拡大して被写体の動きを検出する方法の例を説明するための説明図である。特定範囲に含まれる画素として、画素Ｘと、画素Ｘに対して間隙を有して囲む複数の画素とが選択される。図１１は、間隙を有する画素からなる３×３の特定範囲の例を示している。画素Ａ、Ｂ、Ｃ、Ｄ、Ｆ、Ｇ、Ｈ、Ｉ夫々は、画素Ｘに対して間隙を有して配置され、特定範囲が拡大されている。動き検出部４は、検出した被写体の動きが速い場合、画素Ｘを囲む複数の画素間の間隙を広げ、検出した被写体の動きが遅い場合、間隙を狭めるとよい。

図１２は、１画面分に対する動きを検出する手順を示すフローチャートである。動き検出部４は、デジタル回路で実現される場合に限るものでなく、ＭＰＵ７が実行するプログラムで実現されていてもよい。図１２は、３×３の特定範囲が設定されており、ｎ×ｍの撮像素子２を用いて被写体の動きを検出する手順を示している。ＭＰＵ７は、ラインカウンタ値及びドットカウンタ値をリセットする（ステップＳ１１）。ＭＰＵ７は、ラインカウンタ値をインクリメントする（ステップＳ１２）。ＭＰＵ７は、ラインカウンタ値が３の倍数であるか否かを判定する（ステップＳ１３）。ＭＰＵ７は、ラインカウンタ値が３の倍数でないと判定した場合（ステップＳ１３でＮＯ）、ステップＳ１２に処理を戻す。

ＭＰＵ７は、ラインカウンタ値が３の倍数であると判定した場合（ステップＳ１３でＹＥＳ）、ドットカウンタ値をインクリメントする（ステップＳ１４）。ＭＰＵ７は、ドットカウンタ値が３以上であるか否かを判定する（ステップＳ１５）。ＭＰＵ７は、ドットカウンタ値が３以上であると判定した場合（ステップＳ１５でＹＥＳ）、ドットカウンタ値がｍ未満であるか否かを判定する（ステップＳ１６）。ＭＰＵ７は、ドットカウンタ値がｍ未満であると判定した場合（ステップＳ１６でＹＥＳ）、後述の動き検出処理を実行し（ステップＳ１７）、ステップＳ１４に処理を戻す。

また、ＭＰＵ７は、ステップＳ１５においてドットカウンタ値が３以上でないと判定した場合（ステップＳ１５でＮＯ）、ステップＳ１４に処理を戻す。ＭＣＵ７は、ステップＳ１６においてドットカウンタ値がｍ未満でないと判定した場合（ステップＳ１６でＮＯ）、ドットカウンタ値をリセットする（ステップＳ１８）。ＭＰＵ７は、ラインカウンタ値がｎ以上であるか否かを判定する（ステップＳ１９）。ＭＰＵ７は、ラインカウンタ値がｎ以上でないと判定した場合（ステップＳ１９でＮＯ）、ステップＳ１２に処理を戻す。ＭＰＵ７は、ラインカウンタ値がｎ以上であると判定した場合（ステップＳ１９でＹＥＳ）、処理を終了する。

図１３は、動き検出処理の手順を示すフローチャートである。動き検出処理は、図１２のステップＳ１７で実行される。ＭＰＵ７は、比較元の画素Ｘ０を選択し（ステップＳ３１）、比較先の画素Ａ〜Ｄ、Ｘ、Ｆ〜Ｉを選択する（ステップＳ３２）。ＭＰＵ７は、選択した比較元の画素を比較先の画素夫々と比較する（ステップＳ３３）。ＭＰＵ７は、比較元の画素の画像信号と一致する画像信号を出力した比較先の画素があるか否かを判定する（ステップＳ３４）。ＭＰＵ７は、一致する画素があると判定した場合（ステップＳ３４でＹＥＳ）、被写体の動きを検出し（ステップＳ３５）、動き検出処理を終了する。ＭＰＵ７は、一致する画素がないと判定した場合（ステップＳ３４でＮＯ）、被写体の動きを検出せず動き検出処理を終了する。

本実施の形態１では、撮像素子２が各ラインの画像信号を順次出力するプログレッシブ方式に従う場合を示したが、これに限るものではない。信号を高速に読み出すためにライン群に含まれる各ラインの画像信号を略同時に出力する撮像素子を用いてもよい。この場合、略同時に出力された複数ラインの画像信号を各ラインの画像信号に分離して動き検出部４に与えるとよい。また、１画素単位で比較元及び比較先の画素の信号を比較して被写体の動きを検出する場合を示したが、これに限られるものでなく２画素単位以上で各画素を比較してもよい。この場合、１画素に全体が撮像されない被写体であっても、被写体の動きを精度良く検出することが可能である。

信号処理部３によりデモザイク処理等の信号処理が施された画像データに対して動き検出を行う場合を示したが、これに限るものではなく信号処理前の画像データに対して動き検出を行ってもよい。撮像素子２は、複数の画素夫々がＲ画素、Ｇ画素及びＢ画素を含んでいる場合を示したが、これに限るものではなくＲ画素、Ｇ画素及びＢ画素夫々の画素複数がベイヤ型に配列してあってもよい。この場合、図１１で示す如く画素を一つ飛びで比較するとよい。

実施の形態２
実施の形態１は、被写体の画像を重複するラインのうち、一つのラインを順次選択して被写体の画像を取得する。これに対して本実施の形態２は、重複するラインの画像信号夫々を加算して被写体の画像を取得するようにしてある。加算により、画像信号が増幅されて撮像装置のダイナミックレンジが拡大される。また、撮像素子２には、露光時間ΔＴ１及びΔＴ２の合計値が被写体の照明光の照度明暗周期の整数倍となるよう露光時間ΔＴ１及ΔＴ２が設定される。これにより加算された画像信号に基づいて取得された被写体の画像に照明光によるフリッカーが生じることが防止される。

また、被写体が動いている場合、画像信号を加算することにより、動きぼけが生じる。これを防止するために、被写体の動きを検出した場合、重複するラインのうち、一つのラインを選択して加算した場合と露光時間が同一となるようｋ＝（ΔＴ１＋ΔＴ２）／ΔＴ１に従って算出した係数ｋを乗算する。これにより、被写体の画像に動きぼけが生じることを防ぐと共に、被写体が動きによって被写体の画像に変化が生じることを防ぐ。画像信号の加算及び係数の乗算は、動き検出処理で実行される。

図１４は、動き検出処理の手順を示すフローチャートである。ＭＰＵ７は、各画素の画像信号を比較して画素Ｘ０の信号及び画素Ｘの信号が一致するか否かを判定する（ステップＳ４１）。ＭＰＵ７は、一致すると判定した場合（ステップＳ４１でＹＥＳ）、画素Ｘ０の信号及び画素Ｘの信号を加算して（ステップＳ４２）、動き検出処理を終了する。ＭＰＵ７は、一致しないと判定した場合（ステップＳ４１でＮＯ）、画素Ｘ０の信号と、画素Ｘを除く特定範囲内の残りの画素夫々の信号とを比較する（ステップＳ４３）。ＭＰＵ７は、比較の結果から一致する画素があるか否かを判定する（ステップＳ４４）。

ＭＰＵ７は、一致する画素があると判定した場合（ステップＳ４４でＹＥＳ）、被写体の動きを検出する（ステップＳ４５）。ＭＰＵ７は、画素Ｘ０の露光時間ΔＴ１及び画素Ｘの露光時間ΔＴ２を取得する（ステップＳ４６）。また、ＭＰＵ７は、ステップＳ４４において一致する画素がないと判定した場合（ステップＳ４４でＮＯ）、被写体の動きを検出せず、ステップＳ４６に処理を移動する。ＭＰＵ７は、ステップＳ４６の後、次式を用いて補正係数ｋを算出する（ステップＳ４７）。ＭＰＵ７は、画素Ｘ０の信号に補正係数ｋを乗算して（ステップＳ４８）、動き検出処理を終了する。

係数ｋをｋ＝（ΔＴ１＋ΔＴ２）／ΔＴ１に従って算出する場合を示したが次式に従って算出してもよい。
ｋ＝Ａ×ΔＴｆ／ΔＴ１ （１）
但し、Ａを正の整数、ΔＴｆを照明光によるフリッカが発生しない周期の最小値とする。ΔＴｆは、実験的に求めるとよい。式（１）を用いた場合、蛍光灯等により照度明暗周期を有する照明光下で動きのある被写体を撮像した場合であっても、被写体の画像にフリッカーが発生しない。また、各ラインの露光タイミングが異なるローリングシャッタ方式の撮像素子を用いた場合、各ラインに対して係数ｋを設定するとよい。また、２つのライン群に重複するラインの画像信号を加算する場合に限るものではなく、３つ以上のライン群に重複するラインの画像信号を加算して、更にダイナミックレンジを拡大してもよい。

本実施の形態２は以上の如き構成としてあり、その他の構成及び処理は実施の形態１と同様であるので対応する部分には同一の符号及び処理名を付してその詳細な説明を省略する。

実施の形態３
本実施の形態３は、実施の形態１が被写体を撮像して得た画像からなる複数の画像フレームを連続的に出力して映像信号を出力するのに対して、複数の画像フレーム間に動き検出フレームを挿入して映像信号を出力するようにしてある。動き検出フレームは、検出した被写体の動きを示す情報を含むフレームである。映像信号生成部８は、動き検出部４により順次検出した被写体の動きを示す動き検出フレームを生成する。また、映像信号生成部８は、画像取得部５により時系列的に取得した複数の被写体の画像を動き検出部４により順次検出した被写体の動きと共に取得する。映像信号生成部８は、複数の被写体の画像からなる画像フレームと、各画像フレーム間に挿入された動き検出フレームとからなる映像信号を生成して映像信号出力部１０に与える。映像信号出力部１０は、与えられた映像信号を外部の表示装置等に出力する。

図１５は、画像フレーム及び動き検出フレームからなる映像信号の例を示す模式図である。垂直同期信号に同期して撮像素子２の１フレーム分の画像からなる画像フレーム９０１と、動き検出フレーム９０２とが交互に出力されている。また、画像フレームに含まれる各ラインの画像信号及び動き検出フレーム９０２に含まれる各ラインで検出された被写体の動きは、水平同期信号に同期して出力されている。

動き検出フレーム９０２に対応している表示装置に映像信号が与えられた場合、当該表示装置により、動き補償を実行して画像フレーム９０１、９０１間を補完してフレームレートを増大させることが可能となる。また、画像フレーム９０１よりもデータサイズが小さい動き検出フレーム９０２を挿入することで、映像信号で送られる映像データのデータ容量の増大を抑制しつつ、フレームレートを増大させることが可能となる。動き検出フレーム９０２に対応していない表示装置に対しては、動き検出フレーム９０２を挿入せずに映像信号を出力するとよい。

本実施の形態３は以上の如き構成としてあり、その他の構成及び処理は実施の形態１と同様であるので対応する部分には同一の符号及び処理名を付してその詳細な説明を省略する。

実施の形態４
図１６は、撮像装置の内部構成例を示すブロック図である。本実施の形態４は、実施の形態１がＭＰＵ７に記憶してあるプログラムを実行するのに対して、書き換え可能なＥＥＰＲＯＭ（ Electrically Erasable Programmable Read-Only Memory ）に記憶されたプログラムを読み出して実行するようにしてある。撮像装置は、撮像素子１１と、ＣＰＵ（ Central Processing Unit ）１２と、ＲＡＭ（ Random Access Memory ）１３、ＥＥＰＲＯＭ１４及び記録媒体読込部１５を備える。撮像素子１１は、撮像するラインの指定をＣＰＵ１２から受付けて撮像し、当該ラインの画像信号をＣＰＵ１２へ出力するようにしてある。

ＣＰＵ１２は、バス１２ａを介してハードウェア各部を制御するようにしてある。また、ＣＰＵ１２は、記録媒体読込部１５に挿入されたＣＤ（ Compact Disk ）−ＲＯＭ又はＤＶＤ（ Digital Versatile Disk ）−ＲＯＭ等の記録媒体１５０からプログラム１５１を読み込んでＥＥＰＲＯＭ１４に記憶するようにしてある。ＣＰＵ１２は、ＥＥＰＲＯＭ１４に記憶したプログラム１５１をＲＡＭ１３に読み出して実行する構成となっている。 プログラム１５１は、ＣＰＵ１２に、撮像素子１１に撮像信号を与えて所定ライン数の複数のラインからなるライン群の画像信号を、ライン群間で重複するラインの画像信号を含むよう順次読み出させる（読出ステップ）。プログラム１５１は、ＣＰＵ１２に、ライン群間で重複するラインの画像信号夫々を比較させて被写体の動きを検出させる（検出ステップ）。

本発明に係るプログラム１５１は、記録媒体１５０から読み出してＥＥＰＲＯＭ１４に記憶される場合に限るものではなく、工場出荷時にプログラム１５１を記憶したＥＥＰＲＯＭ１４を撮像装置内部に装着してもよい。また、プログラム１５１は、ＤＳＰ（ Digital Signal Processor ）からなる動き検出装置が実行するファームウェアとして、ＤＳＰが内蔵するＲＯＭに記憶させておいてもよい。

本実施の形態４は以上の如き構成としてあり、その他の構成、作用及び処理は実施の形態１と同様であるので対応する部分には同一の符号及び処理名を付してその詳細な説明を省略する。

１ 光学系
２，１１ 撮像素子
３ 信号処理部
４ 動き検出部
５ 画像取得部
６ 画像記憶部
７ ＭＰＵ
７ａ，１２ａ バス
８ 映像信号生成部
９ 表示部
１０ 映像信号出力部
１２ ＣＰＵ
１３ ＲＡＭ
１４ ＥＥＰＲＯＭ
１５ 記録媒体読込部
１５０ 記録媒体
１５１ プログラム
４０ 画像信号入力
４１，４２，４３，４４，４５，４６，４７，４８，４９ 比較出力
Ｍ１，Ｍ２，Ｍ３，Ｍ４ ラインバッファ
Ｆ１，Ｆ２，Ｆ３，Ｆ４，Ｆ５，Ｆ６，Ｆ７，Ｆ８ フリップフロップ
Ｃ１，Ｃ２，Ｃ３，Ｃ４，Ｃ５，Ｃ６，Ｃ７，Ｃ８，Ｃ９ 比較器
９０１ 画像フレーム
９０２ 動き検出フレーム

Claims (12)

1. 複数の画素が配列されたライン複数を有する撮像素子を備え、該撮像素子が出力する画像信号に基づいて被写体の動きを検出する動き検出装置において、
   前記撮像素子は、所定ライン数を有するライン群をライン群間で一部のラインが重複するよう順次選択して撮像し、各ライン群の画像信号を出力するよう構成してあり、
   前記撮像素子が出力する画像信号を記憶する記憶部と、
   該記憶部に記憶してある前記一部のラインの画像信号を前記撮像素子が出力する前記一部のラインの画像信号と比較して前記被写体の動きを検出する動き検出部と
   を備えることを特徴とする動き検出装置。
2. 前記撮像素子は、前記ライン群に含まれるライン夫々を略同時に露光するよう構成してあることを特徴とする請求項１に記載の動き検出装置。
3. 前記動き検出部は、前記記憶部に記憶してある前記一部のラインの画像信号に含まれる各画素の信号を前記撮像素子が出力する前記一部のラインの画像信号のうち、特定の範囲内にある画素夫々の信号と比較するよう構成してあることを特徴とする請求項１又は請求項２に記載の動き検出装置。
4. 前記動き検出部により検出した前記被写体の動きに応じて前記範囲を変更する変更部を備えることを特徴とする請求項３に記載の動き検出装置。
5. 請求項１から請求項４までのいずれか一項に記載の動き検出装置と、
   前記撮像素子から前記被写体の画像を取得する画像取得部と
   を備えることを特徴とする撮像装置。
6. 前記画像取得部は、
   前記記憶部に記憶してある前記一部のラインの画像信号及び前記撮像素子が出力する前記一部のラインの画像信号を加算する加算部を備え、
   該加算部により加算した画像信号に基づいて前記被写体の画像を取得するよう構成してある
   ことを特徴とする請求項５に記載の撮像装置。
7. 前記画像取得部は、
   前記動き検出部により前記被写体の動きを検出した場合、重複する前記一部のライン夫々の露光時間に基づいて算出した係数を前記記憶部に記憶してある前記一部のラインの画像信号に乗算する乗算部を備え、
   該乗算部により乗算した画像信号に基づいて前記被写体の画像を取得するよう構成してある
   ことを特徴とする請求項５又は請求項６に記載の撮像装置。
8. 前記画像取得部により時系列的に取得した複数の前記被写体の画像からなる映像を出力する映像出力部と、
   該映像出力部により出力する映像に前記動き検出部により検出した前記被写体の動きを示す情報を適宜挿入する挿入部と
   を備えることを特徴とする請求項５から請求項７までのいずれか一項に記載の撮像装置。
9. 複数の画素が複数ラインに配列されており、被写体を撮像する撮像素子が出力する画像信号に基づいて前記被写体の動きを検出する動き検出方法において、
   前記撮像素子により所定ライン数を有するライン群をライン群間で一部のラインが重複するよう順次選択して撮像し、
   前記撮像素子が出力する各ライン群の画像信号を記憶し、
   前記撮像素子がライン群の画像信号を出力した場合、記憶してある前記一部のラインの画像信号と比較して前記被写体の動きを検出する
   ことを特徴とする動き検出方法。
10. 複数の画素が配列されたライン複数を有する撮像素子が出力する画像信号を受付けるコンピュータに、前記画素信号に基づいて被写体の動きを検出させるプログラムにおいて、
    前記コンピュータに、
    前記撮像素子から所定ライン数を有するライン群をライン群間で一部のラインが重複するよう順次選択して各ライン群の画像信号を読み出す読出ステップと、
    該読出ステップにより読み出した重複する前記一部のラインの画像信号夫々を比較して前記被写体の動きを検出する検出ステップと
    を実行させることを特徴とするプログラム。
11. 請求項６に記載の撮像装置に用いる撮像素子を設計する設計方法であって、
    重複する前記一部のライン夫々の露光時間の和が前記被写体に対する照明光の照度明暗周期の略整数倍となるよう前記露光時間夫々を決定する
    ことを特徴とする設計方法。
12. 請求項７に記載の撮像装置を設計する設計方法であって、
    前記乗算部が前記係数を前記被写体に対する照明光の照度明暗周期に基づいて算出するよう設計することを特徴とする設計方法。

Images