JP2023005320A - 動き情報撮像装置 - Google Patents

Abstract

【課題】
動き物体の動きの方向と動きの速度に関する動き情報を、簡便な手法で取得できることを特徴を有した、撮像カメラもしくは固体撮像装置である動き情報撮像装置を提供する。
【解決手段】
固体撮像装置から出力される撮影時刻の異なる画素信号の差分信号を生成し、差分信号を基に動き物体の輪郭情報を抽出し、静止した被写体では、前記差分信号が生じないように調整し、現時点に近い撮像時刻の画素信号の微分信号を基に、動き物体の動きの方向情報を抽出し、動きの輪郭情報、方向、速度を動き情報として出力する撮像装置。固体撮像装置から動きベクトル情報の直接出力が可能となる。

【選択図】 図１

Description

本発明は、動き情報の取得方法に関するもので、特に、動き物体の輪郭情報を基に、動き物体の形状、移動方向、移動の速度の情報、いわゆる動きベクトル情報を効率的に取得し、出力する動き情報撮像装置に関する。

固体撮像装置や、それを用いた撮像カメラの様な撮像装置において、画像中の動き物体（以下動体と呼ぶ）の情報を表示するために、方向、速度を表示する動きベクトル表示手法がある。この動きベクトルの取得方法としては、従来技術としてブロックマッチング手法が知られている。

このブロックマッチング手法を応用し、対象物の動体の追跡を行うことを目的にした特許文献１や、動体の輪郭曲線上で特徴点を抽出し、抽出された特徴点を用いて動きベクトル推定を行う手法が特許文献２に示されている。

また特許文献３には撮影装置で撮影された１フレームの画像から所定の特徴を表する特徴点を抽出し、時間的に後のフレームの画像の前記特徴点の近傍領域より特徴点を抽出し、両者の特徴点より動きベクトルを少ない演算量で抽出する方法が示されている。

また固体撮像装置の撮像画面上で被写体の動きを検出する方法としては、前後のフレーム間の同一画素単位での信号出力を比較して動きを検出する方法が一般的であるが、特許文献４に示すように、隣接画素を一対の組として積分時間を変え、ゲインを調整して差分信号出力により動きを検出する方法がある。また特許文献５に示すように、感度の異なる隣接画素を一対の組として積分時間を変え、差分信号出力により動きを検出する方法もある。前者のフレーム間の比較を行う方式をフレーム間差分方式、後者の画素対の比較を行う方式を画素間差分方式とそれぞれ称する。

後者の特許文献５には、動き検出を判定する差分信号を直接出力し、動き物体（以下動体と称す）の輪郭情報のみ出力することで、画像より動体輪郭抽出する工程を省き、Human-Machine-Interfaceへの応用があることが示されている。この動体の輪郭情報でも、動きの変化に応じて光電変換した電荷量の違いが画素で生じ、その差分を画素位置に対応して輪郭情報として出力する。

特許文献６には動き検出の結果を基に、後段システムの電源のON/OFF制御をすることで、システムの消費電力を減らす概念や、固体撮像装置から出力される画像信号を制御し、情報量を減らす概念が示されている。特許文献２，３の動き検知の方法では、フレームメモリを使うことなく、画素差分で動き検知が可能なケースが示されている。

特許第３０３７３８３号 特許第３６７４０８４号 特許第６６２４８４１号 特許第３５２１１０９号 特許第５６４６４２１号 特許第５６０４７００号

特許文献１、特許文献２、特許文献３に示す従来の動きベクトル取得方法では、処理する画像情報量が大きいため、演算規模が大きくなり消費電力も増大していた。また特許文献５、６では動きの輪郭情報取得は簡便にできるものの、動きベクトルの取得手法、出力方法は示されていない。

本発明の目的は、動きベクトルの取得に関し、従来の後段回路で画像情報を演算処理する負荷を大幅に軽減することである。手法としては、固体撮像装置から得られる動体の輪郭情報を基に、動きベクトル情報を簡便な方法で取得し出力する。

上記課題を解決するため、固体撮像装置や撮像カメラから、動体の輪郭情報を取得し、背景の静止画の情報を削除して情報量を減らし、次にこの輪郭情報を基に動体の方向、動体の速度からなる動きベクトル情報を取得し、動きベクトル情報を出力させた撮像装置を提供する。

このように本発明では、撮像画像の内、静止画像は扱わず、動体のみ扱う。更に動体形状を動体の輪郭情報で表現し、動体の速度、方向は動きベクトルとして表現することで、情報量が大幅に低減する。またビジュアルに動き情報を把握しやすいという利点もある。

本提案の撮像装置（固体撮像装置、撮像カメラ）で、動きベクトルの表現方法としては、矢印の方向及び長さで、それぞれ動体の動きの方向、動きの速度を表現すれば良い。動体が類似の形状をしている場合にはこの動きベクトルの相当した矢印のみを表示し、動体の形状を残したい場合であれば輪郭情報に重畳して矢印を表示すれば良い。また矢印を使わなくても動体輪郭に色を付加し、先端と後端で色を変えて移動方向を表示し、色の幅で移動速度を表現させても良い。

本発明によれば、動きベクトル取得の過程で背景の静止画を削除し演算する情報量を大幅削減し、動体部も輪郭情報のみを処理することで、更に情報量が減る。このため大幅な低消費電力化が実現し、さらに動体の演算を走査線に沿って画素出力と並行して実施することで、演算負荷の大幅な削減を実現でき、実時間で出力できる。

従来の撮像カメラでは後段処理回路で様々な加工を行うため、画像情報量は大きい。一方、本発明では特定の目的（上述では動きベクトル）に限定して、情報量を絞っているので汎用性はないが、演算負荷は軽くなり、撮像装置から出力される情報量を大幅に削減できる。

図１は、本発明の第１実施形態の動き情報撮像装置の構成を示すブロック図。 図２は、図１の動き輪郭抽出部の概略構成を示すブロック図。 図３は、図１の端部抽出部の概略構成を示すブロック図。 図４は、図１の動きベクトル抽出部の概略構成を示すブロック図。 図５は、図４の動き端部判定部の概略構成を示すブロック図。 図６は、図４の動き方向判定部の概略構成を示すブロック図。 図７は、図４の動き速度演算部の概略構成を示すブロック図。 図８は、図４の動き方向情報までを取得するプロセス説明図。 図９は、図２のブロックで動き輪郭情報を取得するプロセスの説明図。 図１０は、図４の動きベクトル抽出部の動き方向情報を取得するプロセス説明図。 図１１は、動体速度情報を取得するプロセス説明図と、動体方向、サイズを取得する図。 図１２は、本発明の第２実施形態の動き情報撮像装置の画素差分処理部の構成を示すブロック図。 図１３は、図１２の固体撮像装置の画素構成、画素出力特性、分離回路構成の説明図。 図１４は、図１２の固体撮像装置の別の画素構成、画素出力特性、分離回路構成の説明図 図１５は、図１２の固体撮像装置を用いた動き方向情報までを取得するプロセス説明図。 図１６は、図１２の固体撮像装置を用いて動き輪郭情報を取得するプロセス説明図 図１７は、本発明の第３実施形態の動き情報撮像装置の構成を示すブロック図。 図１８は、本発明の第３実施形態の固体撮像装置の概略構成を示すブロック図。 図１９は、本発明の第３実施形態の別の固体撮像装置の概略構成を示すブロック図。 図２０は、本発明の第３実施形態の別の固体撮像装置の概略構成の変形例のブロック図。 図２１は、本発明の第４実施形態の画素差分処理部と動き輪郭２値化部のブロック図と駆動例。 図２２は、図２１を用いた動き輪郭情報を取得する方法の説明図 図２３は、図１２の固体撮像装置の別の画素構成、画素出力特性、回路構成の説明図。 図２４は、動きベクトル出力部のブロック図と駆動の説明図。

本発明の実施形態としては、幾つかの選択ケースが可能である。その組み合わせのケースとしては、１）撮像装置としては撮像カメラ、もしくは固体撮像装置のケース。２）動体輪郭抽出の方法としてフレーム差分で行うケース、もしくはフレームメモリを使うことなく画素出力差分で行うケース。３）動体輪郭画像から動きベクトル画像の取得方法として、単一の輪郭画像から行うケース、もしくはフレームメモリを用いて複数枚の輪郭画像から行うケース。
と本発明の実施形態に係る撮像装置は上記のように幾つかのケースに分かれるので、それぞれのケースで図面を参照しながら説明する。これらのケースの組み合わせもあるが、各ケース単独と、代表的な組み合わせに絞り説明を行う。

以下の説明では動き情報撮像装置として撮像カメラのケースを用いて、本発明の撮像装置を構成する各ブロックでの機能の説明を行う。機能の実施形態に付いては、フレームメモリを使用する／しないで更に分かれる。最初に実施形態１として、フレームメモリを使用するケースで説明を行い、次に実施形態２としてフレームメモリを使用しないケースで説明を行う。次に実施形態３として、撮像装置として固体撮像装置を用いるケースについて説明を行う。説明を簡素化するために、固体撮像装置を用いるケースはフレームメモリを使用しないケースでのみ説明を行う。最後に実施形態４として３枚のフレームを用いるケースで説明を行う。
以下説明内において同一部分には同一の符号及び処理名を付し、最初にその詳細な説明をし、重複する同一部分の説明は省略する。

＜撮像装置の実施形態１＞
図１では、本発明の撮像装置として撮像カメラを例にとり、実施形態１に係る撮像画面より動き輪郭（動体のサイズ）情報、動きベクトル（動きの方向、速度）情報を抽出するための概略構成を示すブロック図を示している。
本発明の撮像カメラ１を構成するブロックは、撮像レンズ２を備えた固体撮像装置３と、動き輪郭抽出部４、端部抽出部５、動きベクトル抽出部６から構成されている。動きベクトル出力部６からは動きベクトル情報７が出力される。既存の固体撮像装置を使用した場合には固体撮像装置３からは撮像情報８が出力され、動き輪郭抽出部４、端部抽出部５に入力する。動き輪郭抽出部４からは動き輪郭情報９が、端部抽出部５からは端部情報１０が、それぞれ出力され、いずれも動きベクトル抽出部６に入力される。動き輪郭情報９や、端部情報１０も動体に関する情報であり、動きベクトル情報は通常、動きの方向や、速度のみを指すことが多いが、ここでは、情報動きベクトル情報７の中には、動きの方向、速度だけでなく、動体のサイズや形状も含むものとし、これらを動き情報と表現する。

＜フレームメモリを使用した動き輪郭情報取得方法＞
まず図１に示される撮像情報８より動き輪郭抽出部４で動き輪郭情報９を取得する方法に付き、図２を基に説明する。図２は動き輪郭抽出部４を構成するブロックとそれらに関連する情報の流れを示した図である。動き輪郭抽出部４は、画素差分処理部１１、動き輪郭２値化部１２から構成されている。
情報の流れとしては、固体撮像装置１から出力された撮像情報８が画素差分処理部１１に入力され、露光時刻の異なる画素間の差分演算を行い、画素差分情報１５を出力する。

図２はフレームメモリ１３を使用するケースを示している。このケースでは画素差分処理部１１はフレームメモリ１３と差分回路１４で構成される。１フレーム分の撮像情報８をフレームメモリ１３に格納し、差分回路１４で現在のフレームの撮像画像８との差分を画素毎に対応させて取ることにより、１フレーム分の時間間隔の有る２枚のフレーム間の差分を取ることができる。これを画素差分情報１５と称す。
画素差分情報１５は画素対応で差分を取得しているので、静止領域は同じ出力値の差分となりゼロになる。動きがある場合に動体の出力値に変化がある領域では差分を取得した際にゼロにならない。具体的には、動体パターンの内部で明暗が均一である場合には、フレーム間の差分で内部はゼロになり、動体パターンの周辺部で変化があればゼロにならない。即ち動体の輪郭パターンが残る。

画素差分処理部１１からの出力の画素差分情報１５は、動き輪郭２値化部１２にて動き輪郭情報９に変換される。この方法に付いて同じく図２を基に説明する。
画素差分情報１５は２枚のフレーム間の画素対応差分で取得しており符号を有する。画素差分情報１５が絶対値回路１６を経由した以降は、画素差分情報１５は絶対値情報になり、動き輪郭判定回路１８にて閾値１７と比較し、２値化して取得した動き輪郭情報９を、動き輪郭抽出部４より出力する。

動き輪郭を抽出する場合、静止部分の情報を削除する必要が有り、静止被写体の同一個所に対応した、露光時刻の異なる画素間の差分にて、静止部分の出力が消去できる。図２の画素差分処理部１１では、フレームメモリ１３を使用し、１フレーム前の画像と今の画像とを比較し差分を取っている。この場合、静止被写体の同一個所に対応した画素間とは、静止画の場合には固体撮像装置３の同じ位置の画素間を意味する。

通常、撮像カメラ１は固定して被写体を観察しているため、同じ位置にある画素の撮影時刻の異なる画像を比較し、差分を取得すれば、背景の静止画が消え、動体の輪郭部分が動き輪郭情報として残る。特殊なケースとして、人工衛星から地表を撮影し、地表上での動きを観察する場合には、地表の静止した背景は、一定方向に一定速度で移動しており、固体撮像装置３では、この移動距離に見合った距離だけ、ずれた位置にある画素との差分を取得することで、地表の静止した背景を削除することが出来る。このような特殊なケース（移動物体から見た無限遠に近い静止した背景）でも、移動距離見合いの画素位置ずらし調整を行う事で、背景静止画（地表の静止物体）の全てを消滅することが出来る。

以上の説明ではフレームメモリ１３を使用して、原画像と１フレーム前の画像との比較をすることで、動体パターンの判定をしてきたが、移動物体の速度が遅い場合には、途中何フレームかをスキップした前画像と、原画像とを比較するケースも生ずる。このケースでは固体撮像装置３にフレームスキップの機能があれば、何フレームかスキップされた出力画像同志を、画素差分処理部１１で比較すれば良いが、固体撮像装置３にそのような機能が無い場合には、画素差分処理部１１にそのような機能を付与させれば良い。

＜ビットメモリを使用した端部情報取得方法＞
まず図１に示される撮像情報８より端部抽出部５で端部情報１０を取得する方法に付き、図３を基に説明する。図３は端部抽出部５を構成するブロックとそれらに関連する情報の流れを示した図である。端部抽出部５は、画素微分処理部１９、端部２値化部２０から構成されている。
情報の流れとしては、固体撮像装置１から出力された撮像情報８が画素微分処理部１９に入力され、同色の隣接画素間の差分演算を行い、画素微分情報２３を出力する。

図３は画素微分を取得する方法として、ビットメモリ２１を使用するケースを示している。このケースでは画素差分処理部１１はビットメモリ２１と差分回路２２で構成される。撮像情報８の画素信号をビットメモリ２１に格納し、差分回路２２で現在の画素信号と、同色の隣接する画素信号との差分を取ることにより、同色の隣接画素間の差分演算を行い、画素微分を取ることができる。これを画素微分情報２３と称す。画素微分情報２３は隣接の同色画素間の差分で取得しているので、明暗の変化が無い部分は消え、明暗の変化点は端部情報として出てくる。これは静止領域でも明暗の端部情報１０として出てくる。

同色の隣接画素間の画素微分演算を行う方法としては、同一走査線上の隣接する同色の画素間での差分で行う方法と、隣接する走査線間で隣接する同色の画素間での差分で行う方法がある。
前者の場合には、同色画素間の差分を取るので、図３に示したビットメモリで良いが、後者の場合には隣接する走査線間の差分を取るのでラインメモリが必要になる。図３で示すビットメモリ２１には、このラインメモリの概念も含まれている。

画素微分処理部１９からの出力の画素微分情報２３は、端部２値化部２０にて端部情報１０に変換される。この方法に付いて同じく図３を基に説明する。
画素微分情報２３は同色の隣接画素間の差分で取得しており符号を有する。画素微分情報２３が絶対値回路２４を経由した以降は、画素微分情報２３は絶対値情報になり、端部判定回路２６にて閾値２５と比較し、２値化して取得した端部情報１０を、端部抽出部５より出力する。
図３に示す端部抽出部５には、図２の動き輪郭抽出部４にあったフレームメモリ１３は存在しない、従って画素微分情報２３、端部情報１０は撮像情報８の原画像（最も新しい画像情報）に対しての出力である。

＜動きベクトル取得方法＞
図１に示される動き輪郭抽出部４からの動き輪郭情報９と、端部抽出部５からの端部情報１０とから、動きベクトル抽出部６で動きベクトル情報７を取得する方法に付き、図４を基に説明する。図４は動きベクトル抽出部６を構成するブロックと、それらに関連する情報の流れを示した図である。動きベクトル抽出部６は、動き端部判定部２７、動き方向判定部２８、動き速度演算部２９、動きベクトル出力部３０から構成されている。

情報の流れとしては、動き輪郭情報９が動き端部判定部２７、及び動き方向判定部２８に入力される。端部情報１０は動き端部判定部２７に入力され、出力された動き端部情報３１が動き方向判定部２８に入力する。動き方向判定部２８からは動き方向情報３２が出力され、動き方向情報３２は動きベクトル出力部３０と、動き速度演算部２９に入力される。動き速度演算部２９からは動き速度情報３３が出力され、動きベクトル出力部３０に入力される。動きベクトル出力部３０からは動きベクトル情報７が出力される。

図４に示される、動き輪郭情報９と端部情報１０を用いて、動きベクトル情報７を取得する、動きベクトル抽出部６のブロック構成の内、動き端部判定部２７、動き方向判定部２８、動き速度演算部２９の各ブロックの内容、及び動き端部情報３１、動き方向情報３２、動き速度情報３３の各情報の流れにつき、それぞれ図５、６、７にて順次説明する。

図５は動き端部判定部２７の構成を説明する図であり、動き輪郭情報９と端部情報１０のＡＮＤ回路３４（論理積演算回路）である。端部情報１０の内、動き輪郭情報９の中に含まれる端部情報のみ動き端部情報３１として残す。

図６は動き方向判定部２８の構成を説明する図である。動き端部判定部２７からの動き端部情報３１と、動き輪郭情報９との重畳回路３５（論理和演算回路；ＯＲ回路）である。動き方向判定部２８の重畳回路３５で、動き端部情報３１と、動き輪郭情報９とを重畳することにより、動き端部情報３１が、動き輪郭情報９の中でどちらの側に位置しているかで、移動の方向が分かる。
この際に、端部抽出部５にはフレームメモリ１３が無いので、現画像が撮影情報８になる。従って動き端部判定部２７から出力される動き端部情報３１は、最新の動き端部位置になる。これを動き輪郭情報９に重畳回路３５で重畳させることで、最新の動き端部方向に動いているかが分かり、動き方向情報３２が取得できる。

図７は動き速度演算部２９の構成を説明する図である。動き速度演算部２９は、動き方向情報３２が入力され動き速度を算出する動き速度処理部３６と、換算表３８を基に実際の動き速度に換算する動き速度換算部３７で構成され、動き速度情報３３を出力する。

動き速度処理部３６では、動き方向情報３２より単位時間に移動する動きの輪郭幅をＸ方向、Ｙ方向に求めるが、この幅は変化があった画素数に相当し、実際の速度は分からない。実際の速度に換算するために、撮像カメラ１の光学系２と固体撮像装置３で決まる画素数と被写体の長さの関係を事前に計測しておき、換算表３８に入力しておく。換算表３８の入力データとしては、この画素位置で画素数が幾つの場合には、実際の距離は幾つになる。という関係性である。この表を用いることで、動き速度換算部３７で、Ｘ方向、Ｙ方向の動きの輪郭幅に相当する画素数により、実際の移動距離が分かり、輪郭幅を生ずる時間差で補正することで、実際の速度が算出される。この演算を動き速度演算部２９で行い、動き情報３３として出力させる。この換算表３８を用いて速度だけでなく、動体の寸法の換算も出来る。

＜簡易パターンの動きをベースにした動きベクトル情報の取得方法＞
図４の動きベクトル抽出部６内の動きベクトル出力部３０の説明を行っていないが、以上の各ブロックでの実際の処理に付いて例を基に説明し、更に固体撮像装置を用いた撮像装置の説明を行ってから動きベクトル出力部３０の説明を行う。以下に簡易的な移動物体の動きを例にして、それぞれのブロックでどの様な処理が行われるかを説明していく。

簡易的な移動物体として長方形の形状が横方向に移動するケースを例にして、動きベクトル情報に至るまでの途中ステップを図８で順次説明する。背景は均一とし、移動物体の長方形が背景より明るい／暗い、移動方向が左／右、静止の場合分けとして、ケース（１）；背景より明・右移動、ケース（２）；背景より暗・右移動、ケース（３）；背景より明・左移動、ケース（４）；背景より明・静止、の４つのケースでステップごとにどの様な出力となるか、に付いての説明を以下に順次行う。

図８（ａ）は現画像と前画像（通常は１フレーム前の画像）を示しており、移動物体（長方形）が矢印方向に移動することで、前画像に対し原画像がずれている。横方向に上述したケース（１）～ケース（４）が示されている。ケース（４）は静止なので、原画像と前画像は同じ位置で、移動していないので矢印は無い。

図８（ａ）の図中、一点鎖線で示された走査線上にある画素の出力波形を、それぞれのケースで図８（ｂ）に示す。現画像と前画像の出力波形を上下２段に示している。ケース（１）～ケース（３）で出力波形の立上り、立下りに傾斜が付いている理由は、画像を取得する画素での露光時間（図中でΔｔで記す）内に移動物体が移動するため、移動物体の端部では画素位置で露光時間に差が出るためである。ケース（４）の移動物体が静止している場合には、原画像、前画像共に出力波形の端部で傾斜が付かない（図８（ｂ）、ケース（４）を参照）。

図８（ｂ）の画素出力波形で、横軸は一点鎖線で示された走査線上の画素位置に対応するが、画素での露光時間Δｔの間に、移動物体の端部が出力波形の傾斜幅に相当した画素数だけ移動することを意味しており、Δｔの間に進む画素数ということで、便宜上図８（ｂ）の傾斜幅をΔｔで表記した。
また前画面と現画面の時間差（通常は１フレームの読み出し時間に相当）をΔTで表記している。図８（ｂ）では同様に、前画面と現画面の時間差ΔTの間に、移動物体の端部位置（立ち上がり位置）が画素数分だけ移動することを意味しており、ΔTの間に進む画素数ということで、便宜上図８（ｂ）の立ち上がり位置のズレをΔTで表記した。

図２の画素差分処理部１１の差分回路１４で、原画像の映像情報８と、フレームメモリ１３から出力される前画像（１フレーム前）の映像情報８との差分を取り、画素差分情報１５を取得する。この画素差分情報（原画像―前画像）を取得した例を図８（ｃ）に示す。これは図８（ｂ）の画素出力波形の原画像から前画像を差し引いた出力波形である。画素差分情報には正負の符号が付く。画素差分の出力波形の幅は、前画面と現画面の時間差；ΔTと画素の露光時間Δｔの和（＝ΔＴ＋Δｔ）で表記される。またケース（４）の移動物体が静止している場合は、差分はゼロになる（図８（ｃ）、ケース（４）を参照）。

図２の動き輪郭２値化部１２の絶対値回路１６で、画素差分情報１５の絶対値を取り、動き輪郭判定回路１８にて閾値１７と比較し、２値化して取得した動き輪郭情報９を出力している。図８のケースでは、図８（ｃ）に示す画素差分情報（原画像―前画像）の絶対値を取得し、２値化した出力波形であり、これは図２の動き輪郭情報９に相当し、動き輪郭情報（画素差分絶対値２値化）として図８（ｃ’）に示す。これは動体の輪郭パターンであり、図中Ｌで示す輪郭パターンの距離（ここでは画素数）は動体のサイズに対応し、動き輪郭情報の幅は移動距離に対応する。ケース（４）の移動物体が静止している場合では動き輪郭情報はゼロになる（図８（ｃ’）、ケース（４）を参照）。

図３の画素微分処理部１９の差分回路２２で、現在の画素信号と、同色の隣接する画素信号との差分を取ることにより、同色の隣接画素間の差分演算を行い、画素微分情報２３を取得する。この画素微分情報（原画像）を取得した例を図８（ｄ）に示す。これは図８（ｂ）の原画像の画素出力波形を微分した波形である。画素微分情報には正負の符号が付く。画素微分情報では、動体の端部だけでなく、ケース（４）の移動物体が静止している場合でも、画素出力の微分信号なので、物体の端部で画素微分情報が発生する（図８（ｄ）、ケース（４）を参照）。

図３の端部２値化２０の絶対値回路２４で、画素微分情報２３の絶対値を取り、端部判定回路２６にて閾値２５と比較し、２値化して取得した端部情報１０を出力している。図８のケースでは、図８（ｄ）に示す画素微分情報（原画像）の絶対値を取得し、２値化した出力波形であり、端部情報として図８（ｄ’）に示す。これは図８（ｄ）の画素微分情報（原画像）の絶対値を取り２値化した結果である。ケース（４）の移動物体が静止している場合でも、物体の端部で端部情報が残ったままである（図８（ｄ’）、ケース（４）を参照）。

図３の端部抽出部５の出力である端部情報１０は、図４に示す動きベクトル抽出部６の動き端部判定部２７に入力する。動き端部判定部２７には動き輪郭抽出部４の出力である動き輪郭情報９も入力される。動き端部判定部２７の構成は、図５に示すように、端部情報１０と動き輪郭情報９がＡＮＤ回路３４に入力され、両者の論理積が動き端部情報３１として出力される。
図８のケースでは、図８（ｄ’）に示す端部情報と、図８（ｃ’）に示す動き輪郭情報の論理積が、動き端部情報として出力され、図８（ｄ”）にその結果を示す。注目すべきは、ケース（４）の移動物体が静止している場合では、物体の端部が消えることである（図８（ｄ”）、ケース（４）を参照）。移動物体の原画像の動きの端部のみ残る（図８（ｄ”）、ケース（１）～ケース（３）を参照）。

図４の動き端部判定部２７からの動き端部情報３１は、動き輪郭情報９と共に、動き方向判定部２８に入力される。動き方向判定部２８の構成は、図６に示すように、動き端部情報３１と動き輪郭情報９が重畳回路３５に入力され、両者の論理和が動き方向情報３２として出力される。
図８のケースでは、図８（ｄ”）に示す動き端部情報と、図８（ｃ’）に示す動き輪郭情報の論理和が、動き方向情報として出力され、図８（e）にその結果を示す。図８（e）では動き端部情報を斜線ブロックで示しており、残りの輪郭情報と区別して表示している。

動き端部情報の基となる画素微分情報は現画像で取得しており、現画像と前画像との画素差分で生成する動き輪郭情報よりも新しい情報になる。このため、この動き端部情報の輪郭情報に対する位置関係により、移動物体の移動方向が示される。図８（e）では斜線ブロックで示される動き端部情報は直近の端部情報なので、動体の先端部情報に対応する。この先端部間の距離（図中Ｌ）は動体のサイズ（ここでは画素数）に対応する。
図８（ａ）のケース（１）～ケース（３）の移動方向に対し、移動物体が背景よりも明るいか、暗いかに関わらず、正しく方向を表示している（図８（ｅ）、ケース（１）～ケース（３）を参照）。ケース（４）の移動物体が静止していると、動き方向情報は出てこない（図８（ｅ）、ケース（４）を参照）。

更に注目すべきは、図８（ｅ）の動き方向情報の出力波形には方向だけでなく、動きベクトルの他の要素である、動きの速度の情報も含んでいることである。これは図８（ｂ）、（ｃ）で説明した画素での露光時間Δｔと、前画面と現画面の時間差ΔＴの間に移動する画素数分を矢印の幅で示しているが、この移動することで変化する画素数が分かれば、図７の動き速度演算部２９の換算表３８を用いて動き速度換算を行う事で、それに対応した距離が分かり、この移動に必要な時間はΔｔ、ΔＴで既知であるので、動き速度の算出が可能となる。この演算は動き速度演算部２９で行われる。

動き方向情報３２は動き輪郭情報９と動き端部情報３１（動き輪郭情報９と端部情報１０の論理積）の論理和なので、動き輪郭情報９の幅情報を含んでいる。図８（ｅ）では、ΔT＋Δｔの期間で移動する画素数対応幅ということでΔT＋Δｔの幅の矢印で記載している。図８（ｅ）には１フレームの読み出し時間ΔTで移動する画素数対応幅もΔTで示し、画素の露光時間Δｔで移動する画素数対応幅もΔｔで示している。
この様に、動き方向情報３２には一定時間内で移動する画素数幅の情報と、斜線ブロックで示した直近の動き端部情報が含まれており、動きの方向と速度が画面上で表現でき、視覚的な動きベクトル画像となる。

以上図８（ａ）～（ｅ）では、図１に示す固体撮像装置３の映像情報８を用いて、図２の動き輪郭抽出部４の画素差分処理部１１、動き輪郭２値化部１２を用いた動き輪郭情報９の取得方法が示され、図３の画素微分処理部１９、端部２値化部２０を用いた端部情報１０の取得方法も示され、動き輪郭情報９、端部情報１０を用いて、図４の動き端部判定部２７（図５に具体的回路構成）、動き方向判定部２８（図６に具体的回路構成）、動き速度演算部２９（図７に具体的回路構成）で、動きベクトルの要素である移動方向と移動の速度、及び動体の形状（動き輪郭形状、サイズ）、移動の先端部形状を求めるプロセスに付いて簡易的なパターンで説明した。

＜実パターンの動きをベースにした動き輪郭情報の取得方法＞
図２に示す撮像情報８より、画素差分処理部１１にてフレームメモリ１３を用いて画素差分情報１５を取得し、更に動き輪郭２値化部１２にて動き輪郭情報９を取得する方法に付き、具体的な被写体のケースで図９（ａ）、（ｂ）を基に説明する。

図９（ａ０）では画素差分処理部１１でフレームメモリ１３を使用するケースを示している。具体的な撮影画像として現画像と１フレーム前画像を用い、図９（ａ1）の１フレーム前画像では動体画像を３９’で、図９（ａ２）では１フレーム前画像より少し前進した原画像の動体画像を３９で、それぞれ示している。

図９（ａ０）の撮像画像中の同じ走査線４０上の画素出力を図９（ｂ1）、（ｂ２）に示す。図６（ａ1）の１フレーム前画像中の走査線４０上の画素出力を動体３９‘に対応して図９（ｂ1）、同様に図９（ａ２）の現画像中の走査線４０上の画素出力を動体３９に対応して図９（ｂ２）で示す。動体３９、３９’やセンターライン４１の輝度は背景である道路４２より明るいケースにつき示されており、図９（ｂ1）、（ｂ２）に示されるように、動体３９、３９’やセンターライン４１の画素出力は道路４２より出力が大きい。
図９（ｂ１）、（ｂ２）で動体３９’、３９は画素出力の立上り、立下りに傾斜が付いているが、これは図８（ｂ）の画素出力波形の傾斜と同じ理由である。

図９（ｂ1）、（ｂ２）に示す走査線４０上の画素出力より、図２の差分回路１４で取得した画素差分符号情報１５’、１５”は図９（ｂ３）に示される。これは符合情報を持ちそれぞれ＋、－となる。画素差分情報１５’、１５”は動体画像３９、３９’の周囲に図９（ａ３）様に領域として表示される。

図２では、画素差分情報１５は、動き輪郭２値化部１２において、絶対値回路１６を経由して絶対値情報になり、動き輪郭判定回路１８にて閾値１７と比較して、２値化されて動き輪郭情報９となっている。図９（ｂ３）に示す走査線４０上の画素差分情報１５’、１５”も絶対値情報にされ、閾値判定されて、図９（ｂ４）では２値化された動き輪郭情報９’、９”とし出力される。
図９（ｂ４）は走査線４０上の動き輪郭情報であるが、平面的なイメージとしては図９（ａ４）で示されるように、動体画像３９の周囲に動き輪郭情報９’、９”が領域として示される。この動き輪郭情報９’、９”から動体の概略の外形形状が分かる。

＜実パターンの動きをベースにした端部情報の取得方法＞
図３に示す撮像情報８より、画素微分処理部１９にてビットメモリ２１を用いて画素微分情報２３を取得し、更に端部２値化部２０にて端部情報１０を取得する方法に付き、具体的な被写体のケースで図１０（ａ）、（ｂ）を基に説明する。図３にはフレームメモリ１３が無いので、処理すべき撮像情報８は原画像となる。従って、具体的な撮影画像としては図９（ａ０）の現画像を用いて説明する。図１０（ａ1）の原画像では動体画像は３９で示される。

図９（ａ０）の原画像中の走査線４０上の画素出力を図１０（ｂ1）に示す。動体３９やセンターライン４１の輝度は背景である道路４２より明るいケースにつき示されており、従って、図１０（ｂ1）に示されるように、動体３９やセンターライン４１の画素出力は道路４２より出力が大きい。

図１０（ｂ1）に示す走査線４０上の画素出力より、図３の差分回路２２で取得した動体３９の画素微分情報は２３’、２３”となり、センターライン４１の画素微分情報は２３”’、２３””となり、それぞれ図１０（ｂ２）に示される。これは符合情報を持ち、立上り、立下りに対応しそれぞれ＋、－となる。画素微分情報２３’、２３”は動体画像３９の周囲に図１０（ａ２）の様に領域として表示される。図１０（ａ２）にはセンターライン４１の画素微分情報２３”’、２３””は表示されていない。

図３では、画素微分情報２３は、端部２値化部２０において、絶対値回路２４を経由して絶対値情報になる。走査線４０上の図１０（ｂ２）に示す画素微分情報２３’、２３”、２３”’、２３””は絶対値情報になり、図１０（ｂ３）に示す波形になる。平面的なイメージとしては図１０（ａ３）で示されるように、動体画像３９の周囲に画素微分絶対値情報｜２３’｜、｜２３”｜が領域として示される。

図３に示すように、端部判定回路２６にて閾値２５と比較し、２値化されて端部情報１０となる。図１０（ｂ３）の画素微分絶対値波形も閾値判定されて、図１０（ｂ４）に示すような、２値化された端部情報１０’、１０”、１０”’、１０””として出力される。端部情報１０”’、１０””は静止パターン（センターライン４１）の端部がスパイク状に現れたものであり、図８（ｄ’）、ケース（４）に示す端部情報と同じものである。

図１０（ｂ４）は走査線４０上の動き輪郭情報であるが、平面的なイメージとしては図１０（ａ４）で示されるように、動体画像３９の周囲に端部情報１０’、１０”が領域として示される。この端部情報１０は直近で動き変化が有った端部が幅として表示される。センターライン４１の端部のスパイク状の端部情報１０”’、１０””は表示されていない。

図１０（ｂ４）に示す端部情報１０’、１０”、１０”’、１０””は、動き端部判定部２７のＡＮＤ回路３４で、動き輪郭情報９’、９”との論理積が取られ、図１０（ｂ５）に示す動き端部情報１０’、１０”が取得される。この平面的なイメージとしては、図１０（ａ５）で示される動き端部情報１０’、１０”である。動き端部情報は動き輪郭情報との論理積で残った端部情報なので、記号はそのままとした。センターライン４１の端部情報１０”’、１０””には動き輪郭情報が存在しないので消滅し、動き端部情報としては残らない。

図１０（ｃ１）、（ｃ２）で端部情報を用いた動きの方向に付いて説明する。図１０（ｃ１）は図９（ａ４）に示される動き輪郭情報９’、９”である。この動き輪郭情報９’、９”に、図１０（ａ５）に示される動き端部情報１０’、１０”を、図６の重畳回路３５を用いて重畳させたものを図１０（ｃ２）に示す。これは図８（ｅ）と同じく、動き方向情報３２である。ここで動き端部情報１０’、１０”は直近の撮像情報８の画素微分情報２３から作成しており、１フレーム前画像を用いて作成した動き輪郭情報よりも、より時間的に進んだ情報で、動体の移動方向が分かる。図１０（ｃ２）では動き輪郭情報９’、９”に対し、動き端部情報１０’、１０”の位置する方向に移動しており、ここでは右下方向に移動している。この間の事情は図８（ｅ）での説明と同様である。

＜実パターンの動きをベースにした動き輪郭情報から動きの速度、方向の取得方法＞
図８（ｃ’）の動き輪郭情報の説明の際に、動き輪郭情報の幅はΔＴ＋Δｔの間で進む移動距離に対応する。との説明をしたが、図６に示される動き方向判定部２８の出力の動き方向情報３２は、図７に示される動き速度演算部２９の動き速度処理部３６に入力し、動き速度の演算を行う。ここでは、図１１（ａ）、（ｂ）、（ｃ）を基に、具体的な被写体のケースで動きの速度を取得する方法に付き説明する。

図８（ｅ）に示す動き方向情報３２の幅は、９は図８（ｃ’）にある動き輪郭情報の幅と同じである。ここでは動き輪郭情報９で説明を行う。図９（ａ４）に表示された動き輪郭情報９を、拡大した図を図１１（ａ１）に示す。移動方向はX方向成分とY方向成分を有するケースである。輪郭情報幅は、画素での露光時間Δｔと、前画面と現画面の時間差ΔＴの間（ΔＴ＋Δｔ）に動体が移動する画素数分に対応しており、換算表で速度に換算することが出来る。

輪郭情報幅のＸ方向とＹ方向の画素数を図１１（ａ１）ではＶｘ、Vｙで表現し、動体の輪郭情報９’、９”の移動方向の先端部分をＶ’ｘ、V’ｙで、後端部分をＶ”ｘ、V”ｙで表現する。図１１（ａ１）は図９（ａ４）と同じであるが、図９（ｂ４）に対応した動き輪郭情報９’（先端）、９”（後端）が平面的なイメージで示されている。また図１１（ａ２）は、走査線上の動き輪郭情報９’（先端）、９”（後端）であり、幅がＶ’ｘ、Ｖ”ｘで示されている。

動体速度処理部３６においては、動き輪郭情報９’、９”の幅（画素数に対応）をＸ方向、Ｙ方向に求める。それぞれの動き速度対応画素数はＶ’ｘ、Ｖ”ｘ、及びＶ’ｙ、Ｖ”ｙと表記する。この幅は動体が上述のΔＴ＋Δｔの間で移動する幅（画素数）に対応する。

図１１（ａ１）の動き輪郭情報９’、９”のＸ方向、Ｙ方向の幅に相当する動き速度対応画素数Ｖ’ｘ、Ｖ”ｘ、及びＶ’ｙ、Ｖ”ｙの頻度分布データをそれぞれ図１１（ｂ１）、（ｂ２）に示している。動体の形状により動き速度対応画素数の頻度分布は幅を持つが、ここでは頻度の最も高い速度対応画素数をＸ方向、Ｙ方向の代表速度対応画素数としてそれぞれＶ’ｘ0、Ｖ’ｙ0で記載する。これらの演算は動き速度処理部３６で行われる。

動き輪郭情報９’、９”の動き速度画素数Ｖ’ｘ、Ｖ”ｘ、及びＶ’ｙ、Ｖ”ｙから実際の速度を取得するには、カメラの光学系（被写体までの距離、レンズ倍率、X方向、Y方向の画素ピッチ他）で決まる実際の距離に換算する必要がある。これが前述の換算表３８であり、画面上の各被写体位置での画素数と実際の長さとの換算表である。画素位置により換算係数が異なり、速度測定を行う場合には事前に各撮影場所で換算表を作成する必要がある。輪郭領域の場所と画素幅から換算表３８を基に実際の長さを求め、ΔＴ＋Δｔ期間で換算して実際の速度を求める。これらの演算は動き速度換算部３７で行われ、動き速度情報３３が出力される。尚、通常の携帯電話用の固体撮像装置では、X方向、Y方向の画素ピッチは同じ場合が多い。

代表速度対応画素数Ｖ’ｘ0、Ｖ’ｙ0より換算表３８にて求めたＸ方向、Ｙ方向の代表速度をそれぞれＶｘ0、Ｖｙ0で記載する。以降の説明で長さは画素数対応表示段階ではダッシュ´を付与し、換算表３８を用いた実長段階では付与しない。

図１１（ｃ）には、動体のＸ方向、Ｙ方向の代表速度であるＶｘ0、Ｖｙ0が示されているが、動体の移動速度は、それらの二乗和の平方根がV0で示されている。Ｖ0は動体の代表速度とする。動き速度演算部２９からは動き速度情報３３が出力されるが、この中身は、動体の代表速度V0と、Ｘ方向、Ｙ方向の代表速度であるＶｘ0、Ｖｙ0が含まれている。この動き速度情報３３は動きベクトル出力部３０に入力され、動きベクトルの取得に役立てる。

図１１（ｃ）には、動体のＸ方向（水平方向）、Ｙ方向（垂直方向）の代表速度成分であるＶｘ0、Ｖｙ0が含まれている。このＶｘ0、Ｖｙ0の比の逆ｔａｎを取ることにより、図１１（ｄ）に示すように方向が水平方向からの角度で表示できる。Ｖｘ0、Ｖｙ0は４象限で符合情報を持ち、図ではＶｘ0は正、Ｖｙ0は負である。図１１（ｄ）の動きの方向の角度の演算（逆tanを取る演算）は、動きベクトル出力部３０で行われる。

動きベクトル出力部３０からの出力である動きベクトル情報７は、動きの方向と、速度、動体の形状の情報から構成される。動き方向判定部２８からの動き方向情報３２には、図８（ｅ）で示す動き方向情報や、図１０（ｃ２）に示す動き情報がある。図１０（ｃ２）では動体の外形や動体の速度が動き輪郭情報９’、９”で表現され、動き端部情報１０’、１０”で動きの方向が表示されており、これだけでも動きベクトルの情報になる。動きベクトルの情報の定量的なデータとしては、動き方向情報３２を基に動き速度演算部２９で演算し求められる、図１１（ｃ）に示される動体の代表速度Ｖ0と、図１１（ｃ）に示される動き方向の角度θが相当する。各動体の輪郭パターンの中央にこの代表速度Ｖ0、動き方向の角度θを矢印で表示し、動体の形、寸法を付加することで、動きベクトル情報７になる。このように動きベクトル出力部３０の内部では、動きの方向の角度を演算（逆ｔａｎを取得）する機能と、動きの速度ベクトル情報を表示する機能、動きの形状を表示する機能を有する。

動体の方向、速度に関しては図１１（ｃ）、（ｄ）で説明してきたが、次に動体の形状、寸法に付き、図１１（ｅ）を基に説明する。図１１（ｅ）は図１０（ｃ１）の動き輪郭情報９’、９”であるが、動き輪郭情報９’、９”の動きの端部情報１０’、１０”側の端部を太実線で示しているが、これが動体の外形を示している。この動体のＸ方向、Ｙ方向の長さ；Ｌｘ、Ｌｙが動体のサイズに相当する（図８（ｅ）のＬに対応）。移動方向に沿っての長さを求めるには、動きの方向θを用いて、ｃｏｓθを掛ければ良く、Ｌｘ*ｃｏｓθ、Ｌｙ*cosθで求められる。

以上の説明では、実施形態１のフレームメモリを使用して画素差分情報１５を取得するケースで、本発明の目的である動きベクトル情報を簡便に取得する方法に付き詳細に説明してきた。次に実施形態２としてフレームメモリを使用せずに画素差分情報１５を取得するケースで説明を行う。画素差分情報１５の取得以降は、説明が重複する箇所が多いので、重複する箇所は割愛して説明を行う。

＜撮像装置の実施形態２＞
図１に示す本発明の撮像カメラ１で、実施形態１との違いは固体撮像装置３の構成と、動き輪郭抽出部４のブロックである。他の撮像レンズ２、端部抽出部５、動きベクトル抽出部６の個所は変わらない。また情報の流れも変わらない。また同じ機能の部分には同一の符号及び処理名を付し、若干の機能の違いは同じ番号にしてダッシュを付加する。

＜フレームメモリを使用しない動き輪郭情報取得方法＞
図１２はフレームメモリを使用しないケースを示している。このケースで使用される固体撮像装置３’は図１３、図１４に示すような露光時間の異なる２種類の画素４５から構成されるので、図１の固体撮像装置３と区別して表記する。このケースでは画素差分処理部１１’は分離回路４３、増幅回路４４、及び差分回路１４’（図２のフレームメモリのケースと区別した）で構成される。固体撮像装置３’（図２のフレームメモリ１３を使う固体撮像装置３と区別した）から出力される撮像情報８の中には、長時間露光画素（以降の図中でSTＬと示す）からの撮像情報である撮像ＳＴＬと、短時間露光画素（以降の図中でＳＴＳと示す）からの撮像情報である撮像ＳＴＳが混在している。分離回路４３ではこの２種類の撮像情報を分離し、増幅回路４４で短時間露光画素の撮像ＳＴＳを増幅し、差分回路１４’で長時間露光画素の撮像ＳＴＬとの差分を取ることで画素差分情報１５’（図２のフレームメモリのケースと区別した）を取得する。

画素差分処理部１１’からの出力の画素差分情報１５’から動き輪郭情報９を取得する図１２に示される動き輪郭２値化部１２は、構成、機能共に図２に示される動き輪郭２値化部１２と同一であり説明は省略する。

図１２に示される固体撮像装置３’の画素４５の構成を図１３（ａ）で、画素出力特性を図１３（ｂ）で示し、更に、図１２の画素差分処理部１１’の分離回路４３の構成を図１３（ｃ）に示している。
図１３（ａ）に示される固体撮像装置３’の画素構成としては、短時間露光画素ＳＴＳと長時間露光画素ＳＴＬが配置されている。それぞれの撮像信号は撮像ＳＴＳ、撮像ＳＴＬと表記し区別する。両者の画素４５の画素出力特性としては図１３（ｂ）に示すように、時間の経過とともに画素出力が増える傾き（感度に相当する）が同じケースを示しており、露光時間に見合った画素出力が得られ、撮像情報８として出力される。図１３（ｂ）では短時間露光画素ＳＴＳと長時間露光画素STＬは同じ感度なので、それぞれに対応した露光時間ＴSとＴLに比例して画素出力が異なる。図１３（ａ）では１走査線毎に出力するとする。

図１２に示す画素差分処理部１１’の分離回路４３ではこれらの画素からの撮像情報である撮像STＬと撮像ＳＴＳが分離されるが、分離回路４３の構成としては図１３（ｃ）に示されるように、撮像情報８を１水平（１H）走査期間分遅延させるためのラインメモリ４６、撮像情報８を画素単位で遅延させる遅延回路（ＤＬ）４７から構成される。図１３（ａ）で１走査線毎に出力する場合、図１３（ｃ）でラインメモリ４６が必要となる。短時間露光画素ＳＴＳと長時間露光画素ＳＴＬの２ラインが（一本の走査線として）同時に出力する場合には、図１３（ｃ）でラインメモリ４６は不要である。

短時間露光画素ＳＴＳと長時間露光画素ＳＴＬはそれぞれ露光時間ＴＳとＴＬで動作させ、ライン毎に読み出される。短時間露光画素ＳＴＳと長時間露光画素ＳＴＬとの比較する画素信号の位相が同じになるように、ラインメモリ４６と、画素単位で遅延させる遅延回路４７で調整されている。このため、図１２で示される分離回路４３より出力される短時間露光画素、長時間露光画素からの撮像情報である撮像ＳＴＳと撮像ＳＴＬは、図１３（ａ）の画素配置で上下方向に隣接する（１水平ライン離れた）短時間露光画素ＳＴＳと長時間露光画素ＳＴＬの出力に対応する。

図１２に示す画素差分処理部１１’の増幅回路４４では、短時間露光画素の撮像ＳＴＳは露光時間比（TL/TS）のゲインで増幅され、長時間露光画素の撮像ＳＴＬの信号レベルと同等となるよう処理されている。画素差分処理部１１’の差分回路１４’で撮像ＳＴＳと撮像ＳＴＬの差分を取ることで、画素差分情報１５’を取得することが出来る。

図２の画素差分処理部１１では１フレーム分の時間間隔の有る２枚のフレーム間の差分を取ることで画素差分情報１５を取得していた。一方、図１２の固体撮像装置３’と画素差分処理部１１’の、図１３（ｂ）に示す画素出力特性では、同一フレーム内の露光時間ＴＬとＴＳ見合いのゲイン調整を行う事で、上述したように信号レベルを合わせて、差分で画素差分情報１５’を取得している。図１３（ｂ）に示す場合でも静止領域は同じ信号レベルの差分なのでゼロになり。１フレーム内で動きがある場合で、動体の出力値に変化がある領域では、差分を取得した際にゼロとはならない。
また、動体パターンの内部で明暗が均一である場合には、動体パターン内部は静止画と同様になりゼロとなり、動体の輪郭パターンが残る。このように画素差分情報１５’は動体の輪郭情報を含んでいる。

図１２に示される固体撮像装置３’の別の画素４５の構成を図１４（ａ）で、画素出力特性を図１４（ｂ）で示し、更に、図１２の画素差分処理部１１’の構成を図１４（ｃ）に示している。
図１４（ａ）に示される固体撮像装置３’の画素４５’，４５”の構成としては、短時間露光画素４５’（図中ＳＴＳと示す）と長時間露光画素４５”（図中STＬと示す）が配置されているが、両者の画素のサイズが異なり感度が異なる。短時間露光画素ＳＴＳの感度をＳＳとし、長時間露光画素ＳＴＬの感度をＳＬとすると、両者の感度比；ＳＳ／ＳＬを、両者の露光時間比；ＴＳ／ＴＬの逆数にしたケースでは、その画素出力特性は図１４（ｂ）に示すようになり、短時間露光画素ＳＴＳと長時間露光画素STＬの画素出力が揃う。

図１４（ｃ）に画素差分処理部１１’の構成を示している。分離回路４３は図１２と同じで、短時間露光画素、長時間露光画素からの撮像情報である撮像ＳＴＳと撮像ＳＴＬは、図１４（ａ）の画素配置で上下方向に隣接する（１水平ライン離れた）短時間露光画素ＳＴＳ４５’と長時間露光画素ＳＴＬ４５”の出力に対応する。ここでは短時間露光画素ＳＴＳと長時間露光画素ＳＴＬの両ラインが同時に読み出されるとする。

図１４（ｂ）に示す画素出力特性では、短時間露光画素ＳＴＳと長時間露光画素STＬの画素出力が揃っているので、図１４（ｃ）に示す増幅回路４４の増幅率は１で良く、増幅回路４４は不要になる。しかし感度比でＳＳ／ＳＬで決まる露光時間比（ＴＳ／ＴＬ）しか選択できないので、露光時間の自由度を増すためには図１４（ａ）の画素構成でも増幅回路４４が有った方が良い。両ラインが同時に読み出しではラインメモリ４６は不要となる。図１３（ａ）でも、前述したように、隣接２ライン（ＳＴＳ、ＳＴＬ）の走査線を同時に出力する場合にはラインメモリ４６は不要となる。

図１３に示す露光時間の異なる画素対で、ゲイン調整を行って出力を揃えたり、図１４に示す露光時間の異なる画素対では、露光時間に見合った画素感度に調整して出力を揃えたり、することで、画素差分信号が生じないように調整することで背景の静止画を消滅することが出来る。これは人工衛星で地表の静止している背景を消滅するために差分を取る画素位置をずらすことと、共に差分信号が生じないよう調整する意味で類似の工夫である。

図１２に示す固体撮像装置３’からの撮像情報８より、画素差分処理部１１’にて長時間露光画素ＳＴＬからの撮像情報である撮像ＳＴＬと、短時間露光画素ＳＴＳからの撮像情報である撮像ＳＴＳを分離回路４３で分離し、増幅回路４４で短時間露光画素の撮像ＳＴＳを増幅し、差分回路１４’で長時間露光画素の撮像ＳＴＬとの差分を取ることで画素差分情報１５’を取得し、更に動き輪郭２値化部１２にて動き輪郭情報９を取得する方法に付き、図８と同様に、簡易パターンの動きをベースにしてどの様な処理が行われていくかを簡単に説明していく。

＜簡易パターンの動きをベースにした動きベクトル情報の取得方法＞
図１２の動き輪郭抽出部４’は図２の動き輪郭抽出部４と少し異なるので、図１５で説明する。図１５でも図８と同様なケースで、動きベクトル情報に至るまでの途中ステップを図１５で順次説明する。

図１５（ａ）の撮像画像は２種類の長時間露光画素STL（以下の説明ではSTＬと呼ぶ）と、短時間露光画素ＳＴＳ（以下の説明ではSTSと呼ぶ）で撮影するケースであるが、移動物体（長方形）が矢印方向に移動することで、STSとSTLの露光最終のタイミング（図中Final）は図１４（ｂ）に示すように同じであるが、露光が開始するタイミング（図中Ｉｎｉｔｉａｌ）はズレる。横方向にケース（１）～ケース（４）が示されている。ケース（４）は静止なので、原画像と前画像は同じ位置で、移動していないので矢印は無い。

図１５（ａ）の図中、一点鎖線で示された走査線上にある画素の出力波形を、それぞれのケースで図１５（ｂ）に示す。ＳＴＳとSTLの出力波形を上下２段に示している。図中でＳＴＳの露光時間はΔｔ、STLの露光時間はΔTで示されている。ケース（４）の静止物体の明暗パターンは中央部で明るくなるように明度の傾斜を付けたケースで説明する。

図１５（ｂ）の画素出力波形で、横軸は一点鎖線で示された走査線上の画素位置に対応するが、STSでの露光時間Δｔの間に、移動物体の端部が出力波形の傾斜幅に相当した画素数だけ移動する。またＳＴＬの露光時間ΔTの間に移動する画素数が増え傾斜は緩くなる。

図１２の画素差分処理部１１’の差分回路１４’で、ＳＴＳとＳＴＬの差分（＝STS-STL）を取り、画素差分情報１５’を取得する。この画素差分情報（STS-STL）を取得した例を図１５（ｃ）に示す。画素差分情報には正負の符号が付く。画素差分の出力波形の幅は、ΔTで表記される。またケース（４）の移動物体が静止している場合は、差分はゼロになる（図１５（ｃ）、ケース（４）を参照）。
画素差分情報としては、図１５（ｃ）ではＳＴＳとＳＴＬの差分（＝STS-STL）を取っているが、これは図８（ｃ）の原画像－前画像と同様に、現画像に近いＳＴＳから、より前画像に近い情報を含むＳＴＬを減算している。

図１２の動き輪郭２値化部１２の絶対値回路１６で、画素差分情報１５’の絶対値を取り、動き輪郭判定回路１８にて閾値１７と比較し、２値化して取得した動き輪郭情報９を出力している。図１５のケースでは、図１５（ｃ）に示す画素差分情報（ＳＴＳ－ＳＴＬ）の絶対値を取得し、２値化した出力波形であり、これは図１２の動き輪郭情報９に相当し、動き輪郭情報（画素差分絶対値２値化）として図１５（ｃ’）に示す。これは動体の輪郭パターンであり、動き輪郭情報の幅はΔＴでの移動距離に対応する。ケース（４）の移動物体が静止している場合は動き輪郭情報はゼロになる（図１５（ｃ’）、ケース（４）を参照）。

図３の画素微分処理部１９の差分回路２２で、ＳＴＳの現在の画素信号と、同色の隣接する画素信号との差分を取ることにより、同色のSTSの隣接画素間の差分演算を行い、ＳＴＳ画素の画素微分情報２３を取得する。このＳＴＳ画素で画素微分を行う理由は、露光時間が短くSTLよりも、より現在に近い位置を表示し動きの方向を把握するのに相応しいからである。この画素微分情報（ＳＴＳ）を取得した例を図１５（ｄ）に示す。これは図１５（ｂ）のSTSの画素出力波形を微分した波形である。画素微分情報には正負の符号が付く。画素微分情報では、動体の端部だけでなく、ケース（４）の移動物体が静止している場合でも、画素出力の微分信号なので、静止物体の中央部の明度の傾斜個所と、静止物体の端部で画素微分情報が発生する（図１５（ｄ）、ケース（４）を参照）。

図３の端部２値化２０の絶対値回路２４で、画素微分情報２３の絶対値を取り、端部判定回路２６にて閾値２５と比較し、２値化して取得した端部情報１０を出力している。図１５のケースでは、図１５（ｄ）に示す画素微分情報（ＳＴＳ）の絶対値を取得し、２値化した出力波形であり、端部情報として図１５（ｄ’）に示す。これは図１５（ｄ）の画素微分情報（STS）の絶対値を取り２値化した結果である。ケース（４）の移動物体が静止している場合でも、静止物体の中央部と端部で端部情報が残ったままである（図１５（ｄ’）、ケース（４）を参照）。

図３の端部抽出部５の出力である端部情報１０は、図４に示す動きベクトル抽出部６の動き端部判定部２７に入力する。動き端部判定部２７には動き輪郭抽出部４の出力である動き輪郭情報９も入力される。動き端部判定部２７の構成は、図５に示すように、端部情報１０と動き輪郭情報９がＡＮＤ回路３４に入力され、両者の論理積が動き端部情報３１として出力される。
図１５のケースでは、図１５（ｄ’）に示す端部情報と、図１５（ｃ’）に示す動き輪郭情報の論理積が、動き端部情報として出力され、図１５（ｄ”）にその結果を示す。注目すべきは、ケース（４）の移動物体が静止している場合では、物体の端部が消えることである（図１５（ｄ”）、ケース（４）を参照）。移動物体のSTSの動きの端部のみ残る（図１５（ｄ”）、ケース（１）～ケース（３）を参照）。

図４の動き端部判定部２７からの動き端部情報３１は、動き輪郭情報９と共に、動き方向判定部２８に入力される。動き方向判定部２８の構成は、図６に示すように、動き端部情報３１と動き輪郭情報９が重畳回路３５に入力され、両者の論理和が動き方向情報３２として出力される。
図１５のケースでは、図１５（ｄ”）に示す動き端部情報と、図１５（ｃ’）に示す動き輪郭情報の論理和が、動き方向情報として出力され、図１５（e）にその結果を示す。図１５（e）でも直近の動き端部情報を斜線ブロックで示しており、残りの輪郭情報と区別して表示している。

動き端部情報の基となる画素微分情報はSTSで取得しており、STLで生成する動き輪郭情報よりも新しい情報になる。このため、この動き端部情報の輪郭情報に対する位置関係により、移動物体の移動方向が示される。図１５（ａ）のケース（１）～ケース（３）の移動方向に対し、移動物体が背景よりも明るいか、暗いかに関わらず、正しく方向を表示している（図１５（ｅ）、ケース（１）～ケース（３）を参照）。ケース（４）の移動物体が静止していると、動き方向情報は出てこない（図１５（ｅ）、ケース（４）を参照）ことは図８と同様である。

以上図１５（ａ）～（ｅ）では、図１２に示す固体撮像装置３’の映像情報８を用いて、図１２の動き輪郭抽出部４の画素差分処理部１１’、動き輪郭２値化部１２を用いた動き輪郭情報９の取得方法が示され、以降図８と同様に、図３の画素微分処理部１９、端部２値化部２０を用いた端部情報１０の取得方法も示され、動き輪郭情報９、端部情報１０を用いて、図４の動き端部判定部２７（図５に具体的回路構成）、動き方向判定部２８（図６に具体的回路構成）、動き速度演算部２９（図７に具体的回路構成）で、動きベクトルの要素である移動方向と移動の速度を算出するフローに付いても説明してきた。

＜実パターンの動きをベースにした動き輪郭情報の取得方法＞
図１２に示す固体撮像装置３’からの撮像情報８より、画素差分処理部１１’にて長時間露光画素ＳＴＬからの撮像情報である撮像ＳＴＬと、短時間露光画素ＳＴＳからの撮像情報である撮像ＳＴＳを分離回路４３で分離し、増幅回路４４で短時間露光画素の撮像ＳＴＳを増幅し、差分回路１４’で長時間露光画素の撮像ＳＴＬとの差分を取ることで画素差分情報１５’を取得し、更に動き輪郭２値化部１２にて動き輪郭情報９を取得する方法に付き、具体的な被写体のケースの図１６（ａ）、（ｂ）を基に説明する。図９（ａ）、（ｂ）と類似なので重複する箇所は省いて説明する。

図１６（ａ０）では、画素差分処理部１１’で長時間露光画素（ＳＴＬ）４５”と、短時間露光画素（ＳＴＳ）４５’を使用するケースを示している。具体的な撮影画像としてはＳＴＬの画像とＳＴＳの画像を用い、図１６（ａ１）ではＳＴＬの画像中の動体画像を３９”で、図１６（ａ２）ではＳＴＳの画像中の動体画像を３９で、それぞれ示している。ここでは図１４（ａ）に示す画素構成で説明し、図１４（ｂ）に示す様にSTSとSTLの画素出力タイミングが揃っている。ＳＴＳの動体画像３９は、図９の原画像の動体画像３９に近く、ＳＴＬの動体画像３９”は、図９の１フレーム前画像の動体画像３９’に近いので、それぞれ動体画像３９、動体画像３９”と区別した。
図１４（ｂ）で示すように、露光時間はＳＴLの方が、ＳＴＳよりも長いので、ＳＴＬ画素の動体画像３９”の移動方向の長さの方が、ＳＴＳ画素の動体画像３９の移動方向の長さよりも長くなる。

図１６（ａ０）の撮像画像中の同じタイミングの走査線４０上のＳＴLとＳＴＳの画素出力を、それぞれ図１６（ｂ１）、（ｂ２）に示す。これらは同じフレーム内での走査線４０上の画素出力であり、図９（ｂ１）、（ｂ２）の１フレームずれた画素出力とは異なる。図１６（ａ１）の走査線４０上のＳＴLの画素出力を、動体画像３９”に対応して図１６（ｂ１）で、図１６（ａ２）の走査線４０上のＳＴＳの画素出力を、動体画像３９に対応して図１６（ｂ２）でそれぞれ示す。図９と同様に動体３９、３９”やセンターライン４１の輝度は背景である道路４２より明るいケースにつき示されており、図１６（ｂ１）、（ｂ２）に示されるように、動体画像３９、３９”やセンターライン４１の画素出力は道路４２より出力が大きい。ＳＴＬでは動体画像３９”が長く、端部の画素出力の傾きも緩やかとなる。

図１６（ｂ１）、（ｂ２）に示す走査線４０上の画素出力より、差分回路１４‘で取得した画素差分情報１５’は図１６（ｂ３）に示される。図１６（ｂ３）では画素差分情報１５’、１５”は動体画像３９、３９”の端部に出力される。画素差分情報１５’１５”の平面的なイメージとしては図１６（ａ３）で示されるように、動体画像３９の周囲に領域として示される。

図１２において画素差分情報１５’は、動き輪郭２値化部１２において、絶対値回路１６を経由し絶対値情報になり、閾値１７と比較して、動き輪郭情報９が得られる。２値化された動き輪郭情報１４’、１４”として出力される。
図１６（ｂ４）は走査線４０上の動き輪郭情報９’、９”であるが、平面的なイメージとしては図１６（ａ４）で示されるように、動体画像３９の周囲に動き輪郭情報９’、９”が領域として示される。この動き輪郭情報９’、９”から動体の概略の外形形状が分かることは図９（ａ４）と同様である。

＜撮像装置の実施形態３＞
撮像装置としては撮像カメラ１で説明を行ってきたが、次に撮像装置の実施形態３とし、撮像装置として図１７に示す固体撮像装置３”の説明を行う。

＜フレームメモリを使用しない動きベクトル情報取得方法＞
図１の撮像カメラ１では図１２の固体撮像装置３’から装置から出力される撮像情報８を、動き輪郭抽出部４、端部抽出部５、動きベクトル抽出部６で処理した後に、動きベクトル情報７として外部に出力していた。これに対し図１７で示す固体撮像装置３”は、画素部４５、動き輪郭抽出部４、端部抽出部５、動きベクトル抽出部６を内部に包含する。図１７はそれらのブロック図である。この固体撮像装置３”と称し、図１の固体撮像装置３、図１２の固体撮像装置３’と区別する。図１７に示す固体撮像装置３”はフレームメモリを使用しないケースであり、画素部４５は図１３もしくは図１４で示される露光時間の異なる２種類の画素４５から構成される。それ以外のブロックの機能は図１の撮像カメラ１のブロックの機能と同じであり、個々のブロックの説明は省略する。

図１７の固体撮像装置３”の詳細な構成図を図１８に示す。固体撮像装置３”は、センサチップ（通常の固体撮像装置３’に対応する）に、動き輪郭抽出部４’（差分回路）、端部抽出部５（微分回路）、動きベクトル抽出部６の回路が内蔵されており、各ブロック内の構成も図面に記した。

動き輪郭抽出部４’は図１２に示す画素差分処理部１１’と動き輪郭２値化部１２とから構成され、動き輪郭情報９を出力する。端部抽出部５は図３に示す画素微分処理部１９と端部２値化部２０とから構成され、端部情報１０を出力する。これらの動き輪郭情報９と端部情報１０は、動きベクトル抽出部６に入力される。動きベクトル抽出部６には図４に示す動き端部判定部２７（図５のＡＮＤ回路３４）、動き方向判定部２８（図６の重畳回路３５）、動き速度演算部２９、動きベクトル出力部３０とから構成される。動きベクトル出力部３０からは動きベクトル情報７が出力される。
重畳回路３５からの出力の動き方向情報３２には、動きの方向（動き端部情報）と、動きの速度（輪郭の幅情報）が含まれており、動きベクトル出力部３０を経て、簡易動きベクトル情報７’として外部に出力することも可能である。

図１８の固体撮像装置３”の画素部４５につき説明すると、カラー撮像用として各画素にベイヤー配置の色フィルタが形成されている。これが図中では緑（Ｇｒ、Ｇb）、赤（Ｒ）、青（Ｂ）で示される。
タイミング発生回路４８で発生したマスタークロックを基に、画素での露光制御、垂直走査、水平走査を行う。露光制御方法としては、図１３、図１４で説明した長時間露光画素ＳＴＬと短時間露光画素ＳＴＳの、それぞれの露光時間ＴＬ、ＴＳを露光時間生成回路４９にて生成し、垂直走査回路５０を介して画素部４５を制御する。

垂直並列制御回路５１では、垂直方向に配置した画素駆動ラインを複数本同時にONにすることで、垂直に配置した同色の画素信号を垂直合成（平均化）することができる。画素部４５の上部には、画素部４５から出力される複数の垂直信号線の画素信号を同時に読み出す回路は、水平方向の読出しを走査する水平走査回路５２、垂直信号線を受け水平方向で信号を合成する水平合成回路５３、で構成されている。水平合成回路５３で同色の画素信号を水平合成（平均化）することが出来る。この同色の画素合成は露光時間が同じ画素どうしで行い、短時間露光画素ＳＴＳ、長時間露光画素ＳＴＬに対応し、撮像ＳＴＳ、撮像ＳＴＬになる。

図１３、図１４で示したように、短時間露光画素ＳＴＳと長時間露光画素ＳＴＬは走査線毎に交互に繰り返しているが、同じ露光時間の同色の画素信号の合成化（平均化）は、複数走査線で行われるので、ほぼ同じ領域の長時間露光情報と短時間露光画素情報が取得できて、差分回路１４’で差分して得られる画素差分情報１５’は、ほぼ同じ領域での比較になり動き情報の精度が上がる利点がある。
これは画素単位で短時間露光画素ＳＴＳと長時間露光画素ＳＴＬの差分を取ると、静止物体の場合でも輪郭部では差分がゼロにならない不具合（エッジノイズ）が発生するが、平均化することにより輪郭部のエッジノイズが大幅に抑制でき利点を生じる。

同じ露光時間の同色の画素信号の合成化（平均化）は、垂直、水平方向の合成する画素数にも依存するが、情報量を大幅に減少できる、という利点も生じる。例えば、垂直、水平方向の１０画素ずつ平均化すると、情報量は２桁（１／１００）に削減できる。
従来の動き分析では固体撮像装置から出力される膨大な画像情報を、画素単位でリアルタイムに処理するには、後段処理回路に大きな画像処理負荷が必要となり、バッテリー駆動は困難であった。
本方式では、画素数見合いの情報量が大幅に減り（上記例では２桁）、さらに２値化した動き輪郭情報９を処理することで、画素単位の情報量も大幅に減る（例えば８ビット⇒１ビット）ことも大きな利点である。

画素数見合いの情報量が大幅（例えば２桁）に減り、データの２値化で、更に情報量を減らした動き輪郭情報９を処理すれば良いので、動きベクトル抽出部６での演算負荷は軽くて済む。このため従来の固体撮像装置から画像情報を出力する速度（フレームレート）で、本願の固体撮像装置３”から動きベクトル情報７を出力することが可能となる。

図１８の固体撮像装置３”では、画素部４５の下部には、画素部４５から出力される複数の垂直信号線の画素信号が入力されたカラム型ノイズキャンセル回路（ＣＤＳ）５４、カラム型アナログデジタルコンバータ回路（ＡＤ変換）５５、ラインメモリ５６、水平画素走査回路５７が付加されている。ベイヤー配列（２×２画素）の複数ラインの画素（このためラインメモリ５６が必要になる）を基に、カラー処理をカラー処理部５８で行い、カラー映像情報５９を生成する。

さらに図８（ｅ）で説明したように、動き方向情報３２は、動きの方向と、動きの速度の画素数単位の情報である。重畳回路３５の出力である動き方向情報３２を動きベクトル出力回路３０を経由して、簡易動きベクトル情報７’として外部に出力しても良い。
この際に、動き速度演算部２９を省略して動きベクトル情報７を出さず、動きベクトル情報７’のみ出力させる変形も可能である。

この動き方向情報３２を出力判断部６０に入力し、カラー映像情報５９を出力するかしないかを出力判断部６０で判断し、映像信号を出す場合には水平画素走査回路５７と、カラー処理部５８を駆動することで、生成されたカラー映像情報５９に、簡易動きベクトル情報７’を加算付加回路６１で付加して、映像出力回路６２より映像情報６３として出力させる。この映像情報６３は通常のカラー画像に動きベクトルが重畳表示された画像である。

出力判断部６０の別の使い方として、簡易動きベクトル情報７’で囲われた動体箇所のみでカラー処理を行い、他の部分（静止した背景部）は出力しないとかの動体トリミング機能を付与することもできる。このように撮像装置内（図１８では固体撮像装置）の動きに関する情報（ここでは動き方向情報３２）を基に、映像情報の出力の制御を行う機能（出力を出す、出さない、カラー画像に簡易動きベクトル情報７’を重畳、動体トリミングし静止領域を消す）を追加することができる。

図１８では、出力判断部６０でカラー映像情報５９を出す判断をした場合に、水平画素走査回路５７と、カラー処理部５８を駆動させる信号を出すケースで説明したが、図１８の固体撮像装置３”ではいくつかの変形が可能である。
消費電力が上がるが、水平画素走査回路５７とカラー処理部５８は、常に駆動させておいても良い。この場合には、必要と判断されたカラー映像情報５９を加算付加回路６１で加算付加し、映像出力回路６２より映像情報６３を出力させる。

図１８の説明ではＳＴＳ画素、ＳＴＬ画素を用いフレームメモリを使用しない例に付き説明してきたが、固体撮像装置３”の動き輪郭抽出部４’の中にフレームメモリを挿入させ、通常の画素のフレーム間の画素差分で得た画素差分情報１５から動き輪郭情報９を取得しても良い。

図１８の出力判断部６０を省略し、動きベクトル情報７と独立して、映像情報６３を常に出力しても良い。この映像情報６３はカラー映像情報５９のみである。消費電力も情報量も従来の固体撮像装置と変わらず、動きベクトル情報７が並列して出力されている。

更には図１８の構成から、カラー処理に関連した部分を省略し、動きベクトル情報７のみを出力させる機能でも良い。カラー処理に関連した部分を省略するという意味は、ＣＤＳ回路５４，ADC回路５５、ラインメモリ５６、水平画素走査回路５７、カラー処理部５８、加算回路６１、映像出力回路６２、出力判断部６０を省略することである。

図１８では垂直並列制御回路５１や水平合成回路５３を活用して、それぞれ、垂直に配置した同色の画素信号を垂直合成（平均化）したり、水平方向に同色の画素信号を水平合成（平均化）したりすることで、情報量を減らし、エッジノイズを減らして動きベクトル情報を取得する方法に付き説明した。この水平合成回路５３、水平走査回路５２は、通常の固体撮像装置のカラー処理に関連した部分に追加する形になる。本発明は通常のカラー処理の出力でも同様に適用でき、次の図１９で説明する。

図１９では水平走査回路５２、水平合成回路５３を省略している。カラー撮像用として各画素にベイヤー配置の色フィルタ（図中の緑（Ｇｒ、Ｇb）、赤（Ｒ）、青（Ｂ））が形成されているが、これらをカラー処理するためのラインメモリ５６からの出力から、動き輪郭抽出部４’にて、同色のSTSとＳＴＬから動き輪郭情報９を抽出する。また同様に同色の画素から端部抽出部５から端部情報１０を抽出する。以降は図１８と同じである。ここで動きベクトル３０からは動きベクトル情報７と簡易動きベクトル情報７’が出力される構成にしている。
図１９のカラー処理部５８を省略しカラー映像情報５９は出力させず、動きベクトル情報７、簡易動きベクトル情報７’のみを出力する固体撮像装置でも良い。

図１９から動き速度演算部２９を省略し、出力信号としてカラー映像情報５９と、簡易動きベクトル７’のみにした構成を図２０に示す。簡易ベクトル７’の出力方法としては、図８（ｅ）、図１５（ｅ）の直近の動き端部情報を示す斜線ブロックの画素領域を特定色（例えば赤色）で表示し、輪郭情報を示す残り部分の画素領域を別の色（例えば青）で表示することで、赤領域で動体の移動方向とサイズを、青領域の幅で動体の移動速度を、撮像画面状に出力できる。
更に図２０のカラー処理部５８を省略しカラー映像情報５９は出力させず、簡易動きベクトル情報７’のみを出力する固体撮像装置でも良い。

＜撮像装置の実施形態４＞
以上の説明では、撮影時刻の異なる２枚の画像を用いて動き輪郭情報を抽出し、動体の方向判定を行ってきた。本発明は、撮影時刻の異なる３枚の画像を用いても同様に行うことが出来る。以下にフレームメモリを使用するケースとしないケースの２つのケースにつき説明する。

＜フレームメモリを使用する動き輪郭情報取得方法＞
図２１（ａ）はフレームメモリ１３を使用するケースを示しており、画素差分処理部１１の構成は、図２の画素差分処理部１１と同じであり、同じ記号を使用している。動き輪郭２値化部１２’の構成は、図２の動き輪郭２値化部１２にフレームメモリ１３’と合成部６４が追加される。合成部６４からは、合成された動き輪郭情報９+が出力される。

図２５（ｂ）で動き輪郭情報９+を取得する方法につき説明する。固体撮像装置３で取得した、連続するフレーム画像（撮像情報８）をフレーム１～６と表記する。処理のシーケンスとしては、フレーム１をフレームメモリ１３に格納し、差分回路１４で現在の撮像画像；フレーム２との差分を画素毎に対応させて取ることで、画素差分情報１５を取得する。ここではフレーム２からフレーム１を引いており画素差分情報２－１と表記する。同様に、フレーム２は順次フレームメモリ１３に格納されており、次のタイミングでは差分回路１４で、次の撮像画像；フレーム３との差分を取り画素差分情報３－２を取得する。

画素差分情報２－１は動き輪郭２値化部１２’の絶対値回路１６を経て、動き輪郭判定回路１８にて閾値１７と比較して取得した、動き輪郭情報９をフレームメモリ１３’へ格納する。この動き輪郭情報９は画素差分情報２－１が基になっており、説明の都合上、動き輪郭情報（２－１）と表記する。
次のタイミングにて、画素差分情報３－２が絶対値回路３５、動き輪郭判定回路３６を経て、動き輪郭情報（３－２）として出てくるが、ここで合成部７４にて動き輪郭情報（２－１）、動き輪郭情報（３－２）を合体した動き輪郭情報９+を取得する。

図９（ａ０）に示す具体的な被写体（動体画像３９）のケースで図２２（ａ１）～（ａ５）を基に説明する。具体的な撮影画像としては、現画像がフレーム３に、１フレーム前画像がフレーム２に、２フレーム前画像がフレーム１に対応し、それぞれ動体画像３９、３９’、３９”に対応する。動体画像３９、３９’、３９”は各フレームの時刻の違いで、図２２（ａ１）に示すように微妙に位置がずれている。

図２２（ａ２）はフレーム２とフレーム１より求めた画素差分情報（２－１）である。動体画像３９，３９’の端部に相当する場所に、符号が異なる画素差分情報１５’、１５”が出力される。画素差分情報１５’、１５”は絶対値回路１６を経由し絶対値情報になり、動き輪郭判定回路１８で閾値１７と比較し、図２２（ａ３）に示す２値化された“１”に対応する９’、９”で示される動き輪郭情報（２－１）が得られる。
図２２（ａ４）はフレーム３とフレーム２より求めた画素差分情報（３－２）であり、動体画像３９’、３９”端部に相当する場所に、符号が異なる画素差分情報１５”、１５”’が出力する。画素差分情報１５”、１５”’は絶対値情報になり、閾値１７と比較し、図２２（ａ５）に示す２値化された“１”に対応する９”、９”’で示される動き輪郭情報（３－２）が同様なステップで得られる。

動き輪郭情報（２－１）は、図２１（ａ）で動き輪郭２値化部１２’のフレームメモリ１３’に格納され、次のタイミングで、動き輪郭情報（３－２）が出てくるが、ここで合成部６４にてフレーム１，２，３の同じ場所対応で、動き輪郭情報（２－１）、動き輪郭情報（３－２）を合成し、動き輪郭情報９+を取得する。
合成部６４で合成された結果を図２２（ｂ）で示す。動き輪郭情報（２－１）、動き輪郭情報（３－２）の０か１に対応し、動き輪郭情報９+は各場所が（０、０）、（１，０）、（０，１）、（１，１）に４分類される。

４分類された動き輪郭情報９+の平面パターンを図２２（ｃ）に示す。各領域が（０、０）、（１，０）、（０，１）、（１，１）に４分類される。ここで領域（０，０）、（１，０）、（０，１）、（１，１）は動きが無→無、有→無、無→有、有→有にそれぞれ対応する。ここで（１，０）は動体の後端部、（０，１）は動体の先端部となり動体の方向が分かる。
また領域（１，０）、（０，１）の幅が速度に関連し、フレーム間の時間に移動した距離に対応する。速度をX方向、Y方向に分解すると図２２（ｄ）で示した手法で方向の角度成分が求められる。これは図１１（ｄ）と同じ手法である。動き輪郭情報の外形寸法は動体のサイズに関係する。外形サイズには速度分が入るので、速度を差し引くとサイズが求まる。

図２２（ｂ）、（ｃ）で特徴的なことは、（１，０）は動体の後端部、（０，１）は動体の先端部となり動体の方向が分かることである。図８（ｄ）では原画像の微分情報から動きの方向を判定していた。３枚以上のフレーム画像が必要だが、２枚以上のフレーム差分情報があると、微分情報を取得しなくても動きの方向が分かる。勿論、微分情報を取得して、動きの方向を判定しても良い。

図２１（ｂ）では画素差分情報を取得する際に、連続するフレーム間の差分をとっていたが、間引いたフレーム間；例えばフレーム１、３，５の３枚で各差分を取得しても良い。また４枚以上のフレームで行い、より細かい動き把握を行うことも可能である。

＜フレームメモリを使用しない動き輪郭情報取得方法＞
図２３（ａ）、（ｂ）、（ｃ）でフレームメモリを使用しないケースの動き輪郭情報の取得方法について説明する。使用される固体撮像装置としては、図２３（ａ）に示すように、異なる３種類の露光時間を有する画素４５が配列された構成である。この３種類の露光時間の画素を短時間露光画素STS；４５’、中時間露光画素ＳＴＭ；４５”、長時間露光画素ＳＴＬ；４５”’で表記する。
説明は行わないが４種類以上の露光時間を有する画素で、細かい動き解析を行う発展形もある。

画素出力特性としては図２３（ｂ）に示すように、３種類の画素（ＳＴＳ、ＳＴＭ、ＳＴＬ）は共に同じ感度を有する画素のケースを示している。露光時間（T_S、Ｔ_Ｍ、Ｔ_Ｌ）に見合った画素出力が得られ、撮像情報８’として出力される。ここでは３種類の露光時間の画素は同一タイミングで出力（３走査線同時読み取り）されるとして、図１３（ｃ）で必要だったラインメモリを使用しないケースで説明する。

図２３（ｃ）は動き輪郭抽出部４の構成要素である画素差分処理部１１”と動き輪郭２値化部１２’を示している。画素差分処理部１１”の機能としては、露光時間の異なる３種類の画素（ＳＴＳ、ＳＴＭ、ＳＴＬ）からの撮像情報８’は分離回路４３’を経て、それぞれの撮像情報（撮像ＳＴＳ、撮像ＳＴＭ、撮像ＳＴＬ）に分離される。増幅回路４４’、４４”ではそれぞれの露光時間の違いを補正し、差分回路１４”、１４”’で差分を取り、撮像ＳＴＳ-撮像ＳＴＭを画素差分情報１５”とし、撮像ＳＴＭ-撮像ＳＴＬを画素差分情報１５”’とする。

図２２（ｃ）の動き輪郭２値化部１２’の機能としては、画素差分情報１５”、１５”’は絶対値回路１６’を経て絶対値情報になり、動き輪郭判定回路１８’にて閾値１７と比較して、それぞれ動き輪郭情報９”’、９””が得られる。これらは同時に合成部６４’に入力される。合成部６４’では両者の合成が行われ、図２３（ｄ）のような合成した結果が得られる。動き輪郭情報９”’、９””を基に、領域が０か１に対応し、動き輪郭情報９+では各場所が（０、０）、（１，０）、（０，１）、（１，１）に４分類される。

図２３（ｄ）でも、図２２（ｃ）、（ｄ）と同様に、（１，０）は動体の後端部、（０，１）は動体の先端部となり動体の方向が分かる。３枚以上の露光時間の異なる画素情報が必要だが、２枚以上の画素差分情報があると、微分情報を取得しなくても動きの方向が分かる。勿論、微分情報を取得して、動きの方向を判定しても良い。

本実施形態ではフレームメモリを使用することなく、露光時間の異なる３種類の画素が配置されている隣接する３走査線を同時に読み出すことで、図２３（ｄ）の動き輪郭情報９+がリアルタイムに取得でき、固体撮像装置での走査線の読み出しと連動して出力される。
この動き輪郭情報９+には、動体の主要な情報である、方向、速度、大きさの情報が含まれており、その抽出方法も上述したように複雑な演算が不要である。

即ち、動体の移動方向の先端部分は（０，１）の領域を表示するだけ、動体の速度は動き輪郭情報の幅を換算すれば良いだけである。動体のサイズは動き輪郭情報の大きさで代用できる。即ち、固体撮像装置での走査線の読み出しスキャンと共に上記情報が取得できる。従来方法では膨大な画像データの撮像画像を取り込んだ後に、複雑な演算処理を後段処理回路で行う必要があったが、走査線の読み出しと並行して演算が完了する。ノイズ低減のために画素信号の合成化（平均化）を行うと、画素数が減って更に演算が簡単になる。
このため図１８で示すように固体撮像装置３”と同じ基板上にオンチップで本願の上記処理回路を搭載ができてシステムの大幅な簡素化、低消費電力化が可能となる。

以上の説明では、動きベクトル出力部３０の内容に付いて説明してこなかったが、色々な変形例を踏まえて、次に動きベクトル出力部３０の構成に付き図２４で説明する。動きベクトル出力部３０への入力は動き速度情報３３と動き方向情報３２、出力は動きベクトル情報７と簡易動きベクトル情報７’であった。

図２４に示される動きベクトル出力部３０は、動き速度情報表示部６５、動き方向情報表示部６６、動き速度演算・表示部６７、動き方向演算・表示部６８で構成される。動き速度情報表示部６５、動き方向情報表示部６６は、動き速度情報３３から動きベクトル情報７の表示に使われる。一方、動き速度演算・表示部６７、動き方向演算・表示部６８は動き方向情報３２から簡易動きベクトル情報７’の表示に使われる。動き方向情報３２は動き方向情報表示部６６にも活用される。

動き速度情報３３には、既に動き速度演算部２９で、換算表を用い各画素位置での補正を行い、図１１（ｃ）や図１１（ｄ）で示されるように、各動体について、動き速度や動きの方向の定量データが求められているため、後はこれの情報表示（出力形態）だけで動きベクトル情報７の表示が出来る。この表示形態につき、動き速度情報表示部６５と、動き方向情報表示部６６で処理される。動きベクトルを矢印で表示するのが一般的で、矢印の長さで速度を表示し、矢印の角度で方向を表示するのが一般的である。この矢印に数値を添付する表示方法もある、また速度と方向のデータを表でリアルタイムに出力する方法もある。

動き速度情報３３を用いた動きベクトル情報７の表現方法の、最も相応しい被写体は、高所（例えば所定の高さにホバリングしたドローン、人工衛星）から直下の地表の動きを観察する場合である。この場合、所定の高さ、光学系の所定の倍率で決まる換算表を用いて、画素数データを実際の距離に換算し、実際に近い速度と角度が算出できる。

動き方向情報３２は、図８（ｅ）で示す様に直近の動き端部と動き輪郭が表示されており、定量化がされていないため、動き速度演算・表示部６７で、動き輪郭幅の画素数の頻度ピーク値の演算を行い、速度情報（画素数）を求める。また動き方向演算・表示部６８で、動き輪郭幅の画素数の頻度ピークから求めたＸ方向、Ｙ方向の速度情報から逆ｔａｎで方向情報（角度）を求める。表示方法は、動きベクトル情報７と同様に、動きベクトル表示に矢印を用いたり、数値で示したりする方法もある。

動き方向情報３２には一定時間内で移動する画素数幅の情報と、斜線ブロックで示した直近の動き端部情報が含まれており、動きの方向と速度が画面上で表現できる。視覚的な動きベクトル画像としては、動き速度演算・表示部６７、動き方向演算・表示部６８で、動き方向情報３２のそれぞれの領域を色分けした表示を行わせることで、手っ取り早く簡易動きベクトル情報７’が表示できる。

１ 撮像カメラ
２ 撮像レンズ
３、３’、３” 固体撮像装置
４、４’ 動き輪郭抽出部
５ 端部抽出部
６ 動きベクトル抽出部
７ 動きベクトル情報
８ 撮像情報
９、９’、９”、９”’、９””、９＋、２－１，３－２ 動き輪郭情報
１０ 端部情報
１１、１１’ 画素差分処理部
１２ 動き輪郭２値化部
１３、１３’ フレームメモリ
１４、１４’、１４”、１４”’、２２ 差分回路
１５、１５’、１５”、１５”’ 画素差分情報
１６、１６’２４ 絶対値回路
１７、２５ 閾値
１８、１８’、１８” 動き輪郭判定回路
１９ 画素微分処理部
２０ 端部２値化部
２１ ビットメモリ
２３ 画素微分情報
２６ 端部判定回路
２７ 動き端部判定部
２８ 動き方向判定部
２９ 動き速度演算部
３０ 動きベクトル出力部
３１ 動き端部情報
３２、動き方向情報
３３、動き速度情報
３４、ＡＮＤ回路
３５、重畳回路
３６、動き速度処理部
３７ 動き速度換算部
３８ 換算表
３９、３９’、３９” 動体
４０ 走査線
４１ センターライン
４２ 道路
４３ 分離回路
４４、４４’、４４” 増幅回路
４５ 画素、４５’ ＳＴＳ画素、４５” ＳＴＬ画素、４５”’ STM画素
４６ ラインメモリ
４７ 遅延回路（ＤＬ）
４８ タイミング発生回路
４９ 露光時間生成回路
５０ 垂直走査回路
５１ 垂直並列制御回路
５２ 水平走査回路
５３ 水平合成回路
５４ ＣＤＳ回路（カラム型ノイズキャンセル回路）
５５ ＡＤＣ回路（カラム型アナログデジタルコンバータ回路）
５６ ラインメモリ
５７ 水平画素走査回路
５８ カラー処理部
５９ カラー映像情報
６０ 出力判断部
６１ 加算回路
６２ 映像出力回路
６３、映像情報
６４、６４’ 合成部
６５ 動き速度情報表示部
６６ 動き方向情報表示部
６７ 動き速度演算・表示部
６８ 動き方向演算・表示部

Claims (12)

1. 光学的結像手段で結像した被写体の光信号を電気信号に変換する複数の光電変換素子単位である画素を有する画素部と、
   前記画素部で撮影した撮影時刻の異なる少なくとも２つの撮影信号間の差分信号を生成する手段と、
   静止した被写体からの撮影信号からは、前記差分信号が生じないように調整する手段と、
   前記画素部で撮影した現時点に近い撮影時刻での撮影信号の、同色隣接画素間の微分信号を生成する手段と、
   前記差分信号と、前記微分信号との論理積をとる手段と、
   前記差分信号と、前記論理積との論理和を取る手段と、
   移動物体の動きの情報を演算し、出力する手段と、
   を有することを特徴とする動き情報撮像装置。
   
2. 前記、移動物体の動きの情報を演算し、出力する手段として、被写体の実際の寸法と画素部での画素数との対応関係より換算表を事前に作成し、換算表を用いて動体の実際の速度やサイズ、動体の移動方向角度を演算し、動き情報として出力したことを特徴とする請求項１に記載の動き情報撮像装置。
   
3. 前記、移動物体の動きの情報を演算し、出力する手段として、前記差分信号と、前記論理積との論理和で動体の移動方向を、前記差分情報の外枠の幅で速度を、前記論理積の形状で動体の形状とサイズを、前記換算表を用いずに、撮像画面状に、表示色や表示画素数で出力したことを特徴とする請求項１に記載の動き情報撮像装置。
   
4. 前記画素部で撮影した撮像時刻の異なる少なくとも２つの撮影信号間の差分信号を生成する手法として、フレームメモリを使用し、撮影時刻の異なるフレーム間の画像差分を行うことで実現したことを特徴とする請求項１に記載の動き情報撮像装置。
   
5. 前記画素部で撮影した撮像時刻の異なる少なくとも２つの撮影信号間の差分信号を生成する手法として、フレームメモリを使用し、撮影時刻の異なるフレーム間の画像差分を行う際に、撮影時刻の異なるフレーム間で、撮像装置が移動したことにより、静止した被写体の画素位置がずれた場合には、
   このずれた量だけ画素位置をずらして画像差分を行うことで、静止した被写体からの撮影信号から差分信号が生じないように、調整したことを特徴とする請求項４に記載の動き情報撮像装置。
   
6. 前記画素部で撮影した撮像時刻の異なる少なくとも２つの撮影信号間の差分信号を生成する手法として、画素部で２次元に配置した画素を少なくとも２分割し、露光時間の長さを異ならせて制御する露光時間制御手段と、
   静止した被写体の撮影信号からは、差分信号が生じないように調整した、前記露光時間の異なる前記画素信号間の差分信号を生成する差分信号生成手段と、
   で実現したことを特徴とする請求項１に記載の動き情報撮像装置。
   
7. 動き情報を出力する動き情報撮像装置において、前記画素部で撮影した撮影時刻の異なる少なくとも２つの撮影信号間の差分信号を生成する手段として、同条件の複数の近接画素群をブロックとして扱い、ブロックを単位として撮影信号間の差分信号を生成する手段である、ことを特徴とする請求項１に記載の動き情報撮像装置。
   
8. 動き情報撮像装置は撮像カメラであることを特徴とする請求項１に記載の動き情報撮像装置。
   
9. 動き情報撮像装置は固体撮像装置であることを特徴とする請求項１に記載の動き情報撮像装置。
   
10. 動き情報を出力する動き情報撮像装置において、動き情報と共に撮像した映像情報を出力する手段を付加したことを特徴とする請求項１に記載の動き情報撮像装置。
    
11. 動き情報を出力する動き情報撮像装置において、撮像装置内部の動きに関する情報を基に、映像情報の出力の制御を行う機能を付加したことを特徴とする請求項１０に記載の動き情報撮像装置。
    
12. 光学的結像手段で結像した被写体の光信号を電気信号に変換する複数の光電変換素子単位である画素を有する画素部と、
    前記画素部で撮影した撮影時刻の異なる少なくとも３つの撮影信号間の少なくとも２つの差分信号を生成する手段と、
    静止した被写体からの撮影信号からは、前記差分信号が生じないように調整する手段と、
    少なくとも２つの差分信号を同時に出力表示させることにより、動体の移動方向、サイズ、移動速度に関連した動き情報を、撮像画面状に、表示色や表示画素数で出力したことを特徴とする動き情報撮像装置。
    
    

Images