JP2004192582A - 物体情報処理装置、画像処理システム、ゲーム装置および画像処理方法 - Google Patents

Abstract

【課題】物体認識のために必要な情報量および種類を少なくして、画像中に含まれる物体の認識、物体の移動や変化の検出を比較的容易に行う。
【解決手段】カメラモジュール２から入力された画像データの色相、彩度、輝度（ＨＳＶ）を、物体情報抽出用ＬＳＩ３の物体情報抽出処理回路３２によって、１画素毎に逐次、基準値と比較処理して画像中に含まれる物体を抽出し、抽出された物体の座標データを物体情報保存用レジスタに保存する。画像データをそのまま保存するのではなく、物体抽出結果の座標データのみを保存するため、フレームメモリ、ラインメモリなどのような大容量の画像メモリを必要としない。抽出された物体の情報は、１フレーム毎に１チップマイクロコンピュータ３の中央演算処理装置４１によって読み出されてレジスタまたはメモリ（ＲＡＭ）に保存され、画像中に含まれる物体の認識、物体の移動や変化の検出が行われる。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、入力画像データを処理して画像中に含まれる物体に関する情報を得る物体情報処理装置、この物体情報を用いて画像中に含まれる物体を認識する機能を有する画像処理システム、これを用いたゲーム装置および画像処理方法に関する。
【０００２】
【従来の技術】
従来、ＣＣＤやＣＭＯＳイメージャーなどといった撮像素子および画像処理用ＤＳＰデバイスなどの高機能化・低コスト化に伴って、多くの商品にカメラモジュールが搭載されている。特に、近年、携帯型電話機器を始めとするモバイル機器や玩具およびその周辺機器などにもカメラモジュールが使用されていることが多くなっている。
【０００３】
画像データ入力方法としてのカメラモジュールは、キーやジョグダイヤル、ジョイスティックなど操作入力や音声入力に用いるデータ入力方法と比較して、その情報量が多いことから大変有効な方法である。
【０００４】
ところが、従来のカメラモジュールでは、一般に、入力画像データをモニター上に入力画像として表示させ、その後の最終的な処理、即ちその画像を記憶させたり送信したりするなどの各種判断は人間が行うという方法が取られている。
【０００５】
ところで、操作者が実際に動作を行うことによってリアリティを増加させる手法がゲーム装置等においても応用されており、そのために、動作をセンシングする技術が多数開発されている。特に、操作者の動作を画像データとして画像処理システムに入力し、その動作を認識することができれば、このようなゲーム装置にも広く応用することが可能となる。
【０００６】
このように、操作者の動作を画像データとして画像処理システムに入力して認識しようとした場合、最終的な動作認識処理をコンピューターの中央演算装置で行うことが必要であり、画像データから必要とされる情報を抽出する必要がある。従来から、画像データから物体を抽出する各種方法が多数提案されている。
【０００７】
例えば、物体を認識するために、画像データから過去と現在との異なる特徴を抽出して静止物体を認識し、この認識結果から背景となるデータを算出し、現在のデータとの差分演算を行うことにより、動く物体を認識する物体認識装置が開示されている（特許文献１）。
【０００８】
また、隣接する画素の明暗濃度データから明暗勾配ベクトルを算出し、隣接する画素の明暗勾配ベクトルの角度差によって物体を認識する物体認識方法が開示されている（特許文献２）。
【０００９】
さらに、物体認識に要する処理時間を短縮化するため、物体の輪郭を抽出した結果のみを画像メモリに保存してから、中央演算装置により認識処理を行う画像処理装置が開示されている（特許文献３）。
【００１０】
【特許文献１】
特開平６−２６６８４１号公報
【特許文献２】
特開昭６３−８８６８４号公報
【特許文献３】
特開昭５９−１３２０７５号公報
【００１１】
【発明が解決しようとする課題】
上記従来の物体認識装置（特許文献１）では、物体の特徴の抽出処理、静止物体の認識処理、背景データの算出処理、画像差分処理および動く物体の認識処理という各処理段階で、大量のデータを格納するためのメモリが必要になる。また、それらの処理に要する演算量も多く、しかも、リアルタイムで処理を行うためには、高速演算可能な中央演算処理装置またはそれに相当する演算回路が必要になってくる。
【００１２】
また、上記従来の物体認識方法（特許文献２）においても、隣接する画素の画像データを比較するために、演算処理を行っている間、画像データを保存しておく必要があるため、少なくとも１フレーム分の画像データを格納するための画像メモリを必要としている。
【００１３】
さらに、上記従来の画像処理装置（特許文献３）においても、物体の輪郭を抽出した結果データをメモリに保存した後に、中央演算処理装置により物体の認識処理を行うため、リアルタイムで物体の認識処理を行うことが容易ではない。特に、処理能力が低い中央演算処理装置およびそれを内蔵した１チップマイクロコンピュータを用いる場合には、リアルタイムで物体の認識処理を行うことができない。また、この画像処理装置では、物体の輪郭を抽出した結果を保存する画像メモリも必要とされるため、コストを削減することが容易ではない。
【００１４】
以上の各物体認識方法では、画像メモリを用いて、高度な演算処理を行うことによって、物体認識のための複雑な抽出処理を行っている。よって、画像処理のために大量の画像データ用メモリと、それらのデータを高速に演算処理するための中央演算処理装置またはそれに相当する演算回路とが必要であり、画像処理システムを低コストで実現することが容易ではない。そのため、画像データを用いることは、データ入力方法としては有効であっても、玩具など、低価格の商品に応用するためには適していない。
【００１５】
従来の物体認識方法により得られる物体抽出情報は、種類、量ともに多いが、物体認識のために必要とされる情報は、画像処理システムによって異なるはずである。
【００１６】
本発明は、上記従来の事情を鑑みて為されたもので、物体認識のために必要とされる情報を少ない種類および量で得ることができる物体情報処理装置、この物体情報を用いて物体の認識、物体の移動や変化の検出を比較的容易に行うことができる画像処理システム、これを用いたゲーム装置および画像処理方法を提供することを目的とする。
【００１７】
【課題を解決するための手段】
本発明の物体情報処理装置は、入力画像データから物体情報を得る物体情報処理装置であって、入力画像データに含まれる色情報を、１画素毎に、入力画像データから抽出すべき物体に対して設定された基準値と比較して、抽出すべき物体であるか否かを判定する物体判定手段と、物体判定手段により抽出すべき物体であると判定された物体の座標データを物体情報として物体毎に保持する物体情報保持手段とを備えたものであり、そのことにより上記目的が達成される。
【００１８】
また、好ましくは、本発明の物体情報処理装置における物体判定手段は、第１物体条件に合致するか否かを判定する第１比較手段と、・・・第ｎ（ｎは自然数）物体条件に合致するか否かを判定する第ｎ比較手段と、これらの第１〜第ｎ比較手段からのｎ個の出力を入力とするアンド回路とを有する。
【００１９】
さらに、好ましくは、本発明の物体情報処理装置において、物体判定手段の前段に、入力画像データのＵＹＶＹ値をＨＳＶ値に変換する画像データ変換手段をさらに備え、物体判定手段は、画像データ変換手段からのＨＳＶ値を、１画素毎に、抽出すべき物体に対して設定された基準値と比較して、抽出すべき物体であるか否かを判定する。
【００２０】
さらに、好ましくは、本発明の物体情報処理装置における画像データ変換手段は、入力画像データのＵＶ値を色相のＨ値に変換する第１変換テーブルと、この入力画像データのＵＶ値を彩度のＳ値に変換する第２変換テーブルとを有し、入力画像データの輝度はＹ値をＶ値として出力する。
【００２１】
さらに、好ましくは、本発明の物体情報処理装置において、物体判定手段による判定結果からノイズを除去するノイズ除去処理手段をさらに備えている。
【００２２】
さらに、好ましくは、本発明の物体情報処理装置におけるノイズ除去処理手段は、物体判定手段による判定結果を順次保持するためのシフトレジスタ手段と、シフトレジスタ手段で保持した複数の判定結果のうち所定数以上の判定結果が一致するか否かに基づいて、複数の判定結果がノイズであるか否かを判定するノイズ除去判定手段とを有する。
【００２３】
さらに、好ましくは、本発明の物体情報処理装置におけるノイズ除去処理手段の後段に、物体判定手段で抽出すべき物体であると判定された物体が、既に抽出された物体の一部であるか、または、それまでに抽出されていない新規の物体であるかを判定して、各物体の座標データを生成する物体包含関係判定手段をさらに備え、物体情報保持手段は、物体包含関係判定手段で生成された座標データを、抽出された物体毎に保持する。
【００２４】
さらに、好ましくは、本発明の物体情報処理装置における物体包含関係判定手段は、物体の座標データ（Ｘ，Ｙ）として、Ｘが最大となる座標、Ｘが最小となる座標、Ｙが最大となる座標およびＹが最小となる座標の４座標を生成する。
【００２５】
さらに、好ましくは、本発明の物体情報処理装置において、物体包含関係判定手段は、抽出すべき物体のデータが現れた場合に、その付近に同じ物体条件に合致する物体が存在するか否かを確認し、当該物体が存在する場合に、当該物体の一部として物体の座標データ（Ｘ，Ｙ）を更新可能とする。
【００２６】
さらに、好ましくは、本発明の物体情報処理装置において、抽出すべき物体のデータが現れた場合に、同一物体ではないと判定された場合に、物体は新規に抽出された物体であると判定し、抽出された物体の情報は、当該物体に応じた物体情報保持手段に保存する。
【００２７】
さらに、好ましくは、本発明の物体情報処理装置における物体情報保持手段は、物体抽出条件が複数設定されている場合に、どの条件に合致する物体であるかを示す条件合致フラグを物体情報の一つとしてさらに保持する。
【００２８】
さらに、好ましくは、本発明の物体情報処理装置における物体情報保持手段は、抽出すべき物体であると判定された物体の物体情報を１フレーム分保持する。
【００２９】
本発明の画像処理システムは、請求項１〜７の何れかに記載の物体情報処理装置と、物体情報処理装置に画像データを出力する画像データ出力装置と、物体情報処理装置および画像データ出力装置を制御する制御装置とを備えており、そのことにより上記目的が達成される。
【００３０】
また、好ましくは、本発明の画像処理システムにおける画像データ出力装置には物体画像を撮像する撮像素子が設けられ、物体が存在する位置を示す前記物体の座標データは該撮像素子上の座標データである。
【００３１】
さらに、好ましくは、本発明の画像処理システムにおける制御装置は、物体情報処理装置に保持された物体情報を読み出して、画像データ中に含まれる物体を認識するための演算処理を行う演算処理手段を備えている。
【００３２】
さらに、好ましくは、本発明の画像処理システムにおける演算処理手段は、物体情報処理装置から１フレーム毎に物体情報を読み出す。
【００３３】
さらに、好ましくは、本発明の画像処理システムにおける演算処理手段は、物体情報処理装置から１フレーム毎に抽出された物体情報を読み出して、フレーム間でデータを比較することにより、物体の移動または変化を検出する。
【００３４】
さらに、好ましくは、本発明の画像処理システムにおける制御装置は、物体の座標データが、連続した複数のフレーム間で所定方向に変化している場合には、物体は所定方向に移動していると認識する。
【００３５】
さらに、好ましくは、本発明の画像処理システムにおける制御装置は、物体の座標データが、連続した複数のフレーム間で中心座標位置が変化せず、物体の大きさが大きくなっている場合には、その物体は観測点に近づいていると認識する。
【００３６】
さらに、好ましくは、本発明の画像処理システムにおける制御装置は、物体の座標データが、連続した複数のフレーム間で中心座標位置が変化せず、物体の大きさが小さくなっている場合には、その物体は観測点から遠ざかっていると認識する。
【００３７】
さらに、好ましくは、本発明の画像処理システムにおいて、物体が少なくとも二つの色で構成されている場合に、制御装置は、その物体の各色の座標データがそれぞれ、連続した複数のフレーム間で移動した場合に物体の動作状態を認識する。
【００３８】
本発明のゲーム装置は、請求項１３〜２１の何れかに記載の画像処理システムを用いて物体の動作状態を認識するものであり、そのことにより上記目的が達成される。
【００３９】
本発明の画像処理方法は、画像データ出力装置から物体情報処理装置に画像データを出力するステップと、物体情報処理装置により、入力画像データのＵＹＶＹ値をＨＳＶ値に変換し、変換されたＨＳＶ値を、１画素毎に、抽出すべき物体に対して設定された基準値と比較して、抽出すべき物体であるか否かを判定し、抽出すべき物体であると判定された物体の座標データを物体情報として物体毎に保持するステップと、制御装置の演算処理手段により、物体情報処理装置に保持されている物体情報を１フレーム毎に読み出し、読み出された物体情報に基づいて、画像データ中に含まれる物体を認識するステップとを含んでおり、そのことにより上記目的が達成される。
【００４０】
また、好ましくは、本発明の画像処理方法において、制御装置の演算処理手段により、物体情報処理装置から１フレーム毎に抽出された物体情報を読み出し、読み出された物体情報をフレーム間で比較することにより、物体の移動および変化を検出するステップを含む。
【００４１】
上記構成により、以下に、本発明の作用について説明する。
【００４２】
本発明にあっては、カメラモジュールなどの画像データ出力手段から入力された画像データが、物体情報処理装置の物体判定手段にて１画素毎に逐次処理されて、抽出すべき物体の座標データが物体情報処理装置の物体情報保持手段に保存される。従来のように画像データをメモリにそのまま保存するのではなく、抽出すべき物体の座標データのみが保存されるため、本発明においては、フレームメモリ、ラインメモリなどのような大容量のメモリを必要としない。この物体情報保持手段内の物体情報は、必要に応じて書き換えられ、場合によっては全ての内容が同時に書き換えられ得る。このため、ＲＡＭ等のメモリデバイスではなく、全てのビットに同時にアクセスが可能なレジスタを用いることが好ましい。
【００４３】
また、本発明にあっては、物体情報処理装置にて画像データの色を基準値と比較して画像中に含まれる物体が抽出され、従来のように物体抽出のために中央演算処理装置などを用いた複雑な処理フローを必要としない。抽出された物体の座標データを用いて、中央演算処理装置やその演算回路などの演算処理手段にて画像中に含まれる物体を認識することができる。このため、演算処理手段における画像処理の負荷を大幅に軽減することができる。
【００４４】
したがって、本発明によれば、画像データを保存するための大容量のメモリが不要となり、また、比較的低処理能力の中央演算処理装置や演算回路などを用いることができるため、物体を認識する機能を有する画像処理システムの大幅な小型化および低コスト化を図ることができる。
【００４５】
画像から物体を認識する方法としては、例えば物体の形状を読み取って判断する方法、色の違いから判断する方法、またはこれらを組み合わせる方法などが考えられるが、本発明では画像の色により物体であるか否かを判定している。この場合、画像データ出力手段から物体情報処理装置に入力された画像データを、画像データ変換手段によりＵＹＶＹ値からＨＳＶ値に変換し、ＨＳＶ値を用いて抽出すべき物体であるか否かを判定することが好ましい。色相（Ｈ）および彩度（Ｓ）は、通常０度〜３６０度のカラーホイールにて示され、色相は角度、彩度はその中心点からの大きさ（距離）として表される。したがって、色を指定する際に、例えば「色相が１０度から２０度の間で、彩度の大きさが１０以上の色」というように指定することができるからである。これに対して、ＵＶ値は、色情報を２次元の座標で表したものであるため、ＵＶ値を用いて色を指定することは可能であるが、人間の感覚に合わせてその範囲を規定することは容易ではない。人間の感覚に合わせた色の範囲指定を行うためには、円状に規定された空間によって、角度と大きさ（半径）で示すことが好ましいからである。ＵＹＶＹ値−ＨＳＶ値の変換は、変換テーブルを用いることによって、画像転送用のクロック信号に従って１サイクルで処理を完了させることができ、高速のクロック信号を用いることなくリアルタイムに処理を行うことができる。
【００４６】
また、カメラモジュールによって撮像された画像などのアナログ信号は、ノイズや曖昧な情報も含まれている。そこで、ノイズ除去処理手段を設けて、物体判定手段による判定結果からノイズを除去することが好ましい。
【００４７】
また、物体判定手段により、抽出すべき物体であると判定された物体は、既に抽出された物体の一部である場合もあり得るため、物体包含関係判定手段によって、既に抽出された物体の一部であるか、または、それまでに抽出されていない新規の物体であるかを判定することが好ましい。この物体包含関係判定手段にて、座標データ（Ｘ，Ｙ）において、Ｘが最大となる座標、Ｘが最小となる座標、Ｙが最大となる座標およびＹが最小となる座標の４座標を生成することにより、四つの座標データによって物体を認識することができるため、データ量を更により少なくすることができる。
【００４８】
また、物体情報保持手段に保存されている物体の情報は、演算処理手段によって、１フレーム毎に読み出すことができる。これによって、物体情報保持手段は、例えばレジスタによって、抽出すべき物体であると判定された物体の座標データを１フレーム分だけ保存すればよく、データ保存容量を小さくすることができる。
【００４９】
さらに、演算処理手段によって、物体情報保持手段から１フレーム毎に物体の座標データを読み出して、フレーム間で物体の座標データを比較することにより、物体の移動または変化を検出することもできる。この場合、メモリを用いなくても、物体の座標データをレジスタに一時的に保持しておき、次のフレームで入力されたデータと比較することによって、物体の移動または変化などを検出することもできる。
【００５０】
【発明の実施の形態】
以下に、本発明の画像処理システムの実施形態について図面を参照しながら説明する。
【００５１】
図１は、本発明の画像処理システムの実施形態における要部構成を示すブロック図である。
【００５２】
図１において、画像処理システム１は、画像データ出力装置であるカメラモジュール２と、物体情報処理装置としての物体抽出用ＬＳＩ３と、カメラモジュール２および物体抽出用ＬＳＩ３を制御する制御装置である１チップマイクロコンピュータ４とを備えている。
【００５３】
カメラモジュール２は、レンズ２１、ＣＣＤやＣＭＯＳイメージャーといった撮像素子２２および画像処理用ＤＳＰ２３によって構成されている。
【００５４】
カメラモジュール２を制御するためには、画像処理用ＤＳＰ２３と１チップイクロコンピュータ４間でデータ通信を行う必要がある。画像処理用ＤＳＰ２３では、Ｉ２Ｃバスなどのインターフェイス回路（図示せず）を介して通信が行われるが、安価な１チップマイクロコンピュータ４にはそのようなインターフェイス回路が内蔵されていない場合が多いので、本実施形態では、物体抽出用ＬＳＩ３に、後述するが、カメラモジュール制御用バスインターフェイス回路３１が設けられている。
【００５５】
物体抽出用ＬＳＩ３は、カメラモジュール２と１チップイクロコンピュータ４間をインターフェイスするカメラモジュール制御用バスインターフェイス回路３１と、カメラモジュール２から入力された画像データの色を、１画素毎に、抽出すべき物体に対して設定された基準値と比較して、抽出すべき物体であるか否かを判定し、抽出すべき物体であると判定された物体の座標データを、物体毎に保持する物体情報抽出処理回路３２を備えている。
【００５６】
この物体抽出用ＬＳＩ３は、回路規模が小さいため、カメラモジュール２の画像処理用ＤＳＰ２３や１チップマイクロコンピュータ４に内蔵することも可能である。本実施形態では、汎用のカメラモジュール２および１チップマイクロコンピューター４を使用してシステムが構成できるように、物体抽出用ＬＳＩ３を単体で構成した場合について説明を行う。
【００５７】
１チップマイクロコンピュータ４は制御手段としての中央演算処理装置４１（ＣＰＵ）および、記憶手段としてのＲＯＭ４２などを有しており、ＲＯＭ４２内に格納された画像処理制御プログラムに基づいて、カメラモジュール２および物体抽出用ＬＳＩ３を制御して、画像中に含まれる物体の認識処理、物体の移動や変化を検出する処理を実行する。
【００５８】
また、１チップマイクロコンピュータ４には、図示しない入力設定手段が接続されており、この入力設定手段から操作者が適宜入力を行うことによって、カメラモジュール３および物体抽出用ＬＳＩ４への各種設定が行われる。このカメラモジュール３については、画像データ出力フォーマット、ゲイン、ホワイトバランスなどの項目が設定される。また、物体抽出用ＬＳＩ３については、抽出すべき物体の色相（Ｈ）、彩度（Ｓ）、輝度（Ｙ）の基準値や物体の包含関係を判定するための基準値などが設定されている。例えば、抽出条件として、色相が２０度から３０度、彩度が５０パーセント以上、輝度が３０パーセント以上の物体であり、３画素以内であれば離れていても同一物体であると判定するといったように基準値が設定されている。抽出条件は一つとは限らず、複数の抽出条件を設定することも可能である。
【００５９】
図２は、図１の物体情報抽出処理回路３２の要部構成を示すブロック図である。
【００６０】
図２において、物体情報抽出処理回路３２は、画像データ変換手段としての画像データ変換回路３２１と、物体判定手段としての抽出条件判定回路３２２と、ノイズ除去処理手段としてのノイズ除去処理回路３２３と、物体包含関係判定手段としての物体包含関係判定回路３２４と、物体情報保持手段（物体情報記憶手段）としての物体情報保存用レジスタ３２５とを有している。
【００６１】
画像データ変換回路３２１は、カメラモジュール２から入力された画像データのＵＹＶＹ値がＨＳＶ値にフォーマット変換される。
【００６２】
抽出条件判定回路３２２は、画像データ変換回路３２１から出力されたＨＳＶ値が、１画素毎に、抽出すべき物体に対して設定された基準値と比較されて、抽出すべき物体であるか否かが判定される。
【００６３】
ノイズ除去処理回路３２３では、抽出条件判定回路３２２による判定結果からノイズが除去される。
【００６４】
物体包含関係判定回路３２４では、抽出すべき物体であると判定された物体が、既に抽出された物体の一部であるかまたは、それまでに抽出されていない新規の物体であるかが判定され、各物体の座標データが生成される。本実施形態では、物体の座標データとして、Ｘが最大となる座標、Ｘが最小となる座標、Ｙが最大となる座標およびＹが最小となる座標の４座標が生成される。
【００６５】
物体情報保存用レジスタ３２５では、抽出すべき物体であると判定された物体の座標データが、物体毎に保持される。本実施形態では、抽出すべき物体であると判定された物体の座標データが１フレーム分だけ保持されるようになっている。
【００６６】
なお、本実施形態において、物体情報保持手段としてレジスタ３２５を用いている理由は、以下の通りである。
【００６７】
即ち、抽出された物体情報は、必要に応じて書き換えられ、場合によっては全ての内容が同時に書き換えられることもある。したがって、全部のビットに同時にアクセスが可能なメモリとして、レジスタを用いることが好ましい。ＲＡＭなどのメモリデバイスでは、ゲート効率がよいものの、入出力部から同時にアクセス可能なビット数が限られるため、本実施形態ではレジスタを用いて物体情報保持手段を構成している。
【００６８】
以下に、このように構成された本実施形態の物体情報抽出処理回路３２による物体情報抽出処理方法について説明する。
【００６９】
図３は、図２の物体情報抽出処理回路３２による物体情報抽出処理の制御フローを示すフローチャートである。
【００７０】
まず、ステップＳ１において、カメラモジュール２から出力される画像データ（ＵＹＶＹ）が、１画素ずつ、物体抽出用ＬＳＩ３の画像データ変換回路３２１に入力される。
【００７１】
ステップＳ２では、画像データ変換回路３２１によって、入力画像データに含まれる色情報のＵＹＶＹ値がＨＳＶ値にフォーマット変換される。ここで、入力画像データのＵＹＶＹ値をＨＳＶ値に変換する理由は、色相（Ｈ）および彩度（Ｓ）は０度〜３６０度のカラーホイールにおいて角度および中心点からの大きさ（距離）として表され、人間の感覚に合わせて範囲を指定することが容易になるからである。
【００７２】
次に、ステップＳ３で、抽出条件判定回路３２２によって、画像データ変換回路３２１から出力されたＨＳＶ値がそれぞれ、１画素毎に、抽出すべき物体に対して設定された基準値と比較されて、抽出すべき物体であるか否かが判定される。このフローチャートからも分かるように、本実施形態の物体情報抽出処理フローは、条件分岐によるフィードバックなどがなく、単純に後の処理ステップに送られていくため、複数の条件に対して、並列して抽出条件判定処理を行う回路を容易に構成することができる。
【００７３】
ステップＳ４では、抽出条件判定回路３２２による判定結果からノイズ除去処理回路３２３によってノイズが除去される。
【００７４】
ステップＳ５では、ノイズ除去された抽出条件判定回路３２２の判定結果に基づいて、抽出されるべき物体のデータであるかどうかが判定される。ステップＳ５で抽出されるべき物体のデータであると判定されると（Ｙｅｓ）、ステップＳ６の処理に進む。一方、ステップＳ５で抽出されるべき物体のデータではないと判定されると（Ｎｏ）、ステップＳ８の処理に進み、次に画素のデータが処理される。
【００７５】
ステップＳ６では、ステップＳ５で抽出すべき物体であると判定された物体が、物体包含関係判定回路３２４によって既に抽出された物体の一部であるのか、またはそれまでに抽出されていない新規の物体であるのかどうかが判定され、各物体の座標データが生成される。
【００７６】
ステップＳ７において、物体情報保存用レジスタ３２５内の記憶値が更新されて、抽出すべき物体であると判定された物体の座標データが物体毎に新たに保持される。その後、ステップＳ８の処理に進み、次の画素のデータが処理される。
【００７７】
ここで、以下に、図２の各構成要素および図３の物体抽出処理フローにおける各処理についてさらに詳細に説明する。
【００７８】
まず、ステップＳ２の画像データフォーマット変換処理（図２の画像データ変換回路３２１）について詳細に説明する。
【００７９】
図４は、図２の画像データ変換回路３２１の画像データ変換処理内容を説明するための図である。
【００８０】
図４において、画像データ変換回路３２１は、入力画像データの（Ｕ，Ｖ）値を色相のＨ値に変換する変換テーブルと、入力画像データの（Ｕ，Ｖ）値を彩度のＳ値に変換する変換テーブルとを有しており、変換されたＨ値およびＳ値が抽出条件判定処理回路３２２に供給される。また、画像データ変換処理回路３２１に入力された画像データの輝度は、Ｙ値をＶ値として抽出条件判定処理回路３２２に供給される。
【００８１】
このようなＵＹＶＹ値−ＨＳＶ値のデータ変換は、乗算処理などを含むため、通常の演算処理を行うと、１サイクルでは処理が完了しない。これに対して、本実施形態では、フレームメモリなどの画像メモリを用いておらず、画像データは保存されないため、各処理をリアルタイムに行う必要がある。そのため、画像データ変換処理についても、複数サイクルを必要とする変換方法は好ましくなく、１サイクルで完了する必要がある。そこで、本実施形態では、ＵＹＶＹ値−ＨＳＶ値間の変換テーブルを設けて入力値と出力値とが一対一に対応して出力されるように画像データ変換回路３２１を構成することにより、１サイクルで処理が完了するように構成している。
【００８２】
ここで、１サイクルとは、画像データフォーマット変換処理を行うために使用されるクロックの１サイクルを示す。本実施形態では物体抽出処理回路３２にてクロックを生成しておらず、カメラモジュール２の画像処理用ＤＳＰ２３から送られてくる画像データＵＹＶＹに同期して処理を進めているため、ここで言う１サイクルとは、１画素分の画像データが送られてくる時間およびそのタイミングのことを示す。
【００８３】
次に、ステップＳ３の抽出条件判定処理（図２の抽出条件判定回路３２２）について詳細に説明する。
【００８４】
図５は、図２の抽出条件判定回路３２２の具体的構成例を示すブロック図である。
【００８５】
図５において、抽出条件判定回路３２２は、物体多入力の条件０に合致するか否かを判定するための比較回路３２２ａおよび多入力のＡＮＤ回路３２２Ａと、他の物体抽出用の条件１に合致するか否かを判定するための比較回路３２２ｂおよび多入力のＡＮＤ回路３２２Ｂと、更に他の物体抽出用の条件２に合致するか否かを判定するための比較回路３２２ｃおよび多入力のＡＮＤ回路３２２Ｃと、・・・とを有している。
【００８６】
各比較回路３２２ａ，３２２ｂ，３２２ｃ・・・では、色相（Ｈ）、彩度（Ｓ）、輝度（Ｖ）の各値が、規定した範囲内であるか否かが判定され、ＡＮＤ回路３２２Ａ，３２２Ｂ，３２２Ｃ・・・によって全ての項目が満足している場合には、ＡＮＤ回路からハイレベル出力が為され、その条件に合致したデータであると判定される。この条件判定結果は、条件に合致したか否かの１ビットのデータとして次の処理に送られる。条件が複数設定されている場合には、条件の数だけビットが割り当てられる。
【００８７】
例えば比較回路３２２ａの”条件０輝度Ｖmin判定”では、入力された画像データの輝度（Ｖ）値と、予め１チップマイクロコンピュータ４により物体抽出用ＬＳＩ３内のレジスタに基準値として設定された条件０の輝度値のmin.（最小）値”Ｖmin.”とが比較される。このとき、入力された画像データの輝度値Ｖが、設定された条件０輝度Ｖmin.よりも大きければ条件０に合致したことになり、その判定結果”１”となってＡＮＤ回路３２２Ａに出力される。これと同様に、色相Ｈおよび彩度Ｓなどについても判定が行われる。
【００８８】
その結果、例えば全ての項目が条件０に合致していれば、例えばＡＮＤ回路３２２Ａの入力は全て”１”となり、ＡＮＤ回路３２２Ａの出力も”１”となる。ＡＮＤ回路３２２Ａの出力が”１”になるということは、このときに入力されたデータが条件０に合致したことを示している。同様にして、条件１、条件２、・・・についても物体の画素毎の抽出条件判定が行われ、その条件判定結果が次のノイズ除去処理回路３２３に供給される。
【００８９】
次に、ステップＳ４のノイズ除去処理（ノイズ除去処理回路４２３）について詳細に説明する。なお、カメラモジュール２によって撮像された画像などのアナログ信号は、多くの情報を含むと共に、ノイズや曖昧さをも多分に含んでいる。デジタルデータを処理する場合に、このようなノイズや曖昧さをどのように取り扱うかということが問題となる。そこで、本実施形態では、抽出条件判定処理回路３２２による判定結果を５回、シフトレジスタによって保持し、５個のデータ中に３個以上、同じ判定結果が含まれていれば、ノイズではなく、抽出すべき物体のデータであるという判断を行う。
【００９０】
図６は、図２のノイズ除去処理回路３２３の要部構成を示すブロック図である。
【００９１】
図６において、ノイズ除去処理回路３２３は、判定結果を保持するためのシフトレジスタ１５と、保持した５つの判定結果に基づいてノイズであるか否かを判定するノイズ除去判定回路１６とを有している。
【００９２】
抽出条件判定処理回路３２２により判定された条件判定結果データ（各ＡＮＤ回路出力）は、シフトレジスタ１５に入力される。このシフトレジスタ１５の各段１５ａ〜１５ｅ（ここでは５段）の出力端はそれぞれ、ノイズ除去判定回路１６に接続されており、ノイズ除去判定回路１６によってノイズ除去処理が実行された結果が、ノイズ処理結果データとして物体包含関係判定回路３２４に出力される。
【００９３】
図７は、図２のノイズ除去判定回路３２３の要部構成例を示す回路図である。
【００９４】
図７において、ノイズ除去判定回路１６は、ＡＮＤ回路１６ａ〜１６ｊとＯＲ回路１６ｋとによって構成されている。ＡＮＤ回路１６ａの入力端には３段目のレジスタ１５ｃ〜５段目のレジスタ１５ｅの各出力端が接続されており、これらのレジスタ１５ｃ〜１５ｅのデータが全て”１”となった場合に”１”が出力される。また、ＡＮＤ回路１６ｂ〜１６ｈのそれぞれについても同様に、各入力に接続されたシフトレジスタ１５の各段（ここでは３段）のデータが全て”１”となった場合に”１”が出力されるようになっている。各ＡＮＤ回路１６ａ〜１６ｊの各出力端はＯＲ回路１６ｋの各入力端とそれぞれ接続されており、ＡＮＤ回路１６ａ〜１６ｊのうち少なくとも何れかの出力が”１”となったときにＯＲ回路１６ｋから”１”が出力される。したがって、シフトレジスタ１５の各段に保持されている５個のデータ中、３個以上が”１”となった場合にＯＲ回路１６ｋから”１”がノイズ処理結果データとして出力され、この場合にノイズではなく、抽出条件に該当する物体が存在すると判定される。
【００９５】
以下に、図７のノイズ除去処理回路３２３の実際の具体的動作例について詳細に説明する。
【００９６】
図８は、図２のノイズ除去処理回路３２３の動作例を説明するための図である。
【００９７】
図８（ａ）は初期状態であり、５段のレジスタ１５ａ〜１５ｅの各データは全て”０”となっているため、ノイズ除去判定回路１６から出力されるノイズ処理結果データも”０”となっている。
【００９８】
図８（ｂ）では、データが一つシフトしてシフトレジスタ１５にデータ”１”が読み込まれている。この場合にも、５段のレジスタ１５ａ〜１５ｅのうち、一つのレジスタ１５ａのデータだけが”１”となっているため、ノイズ除去判定回路１６から出力される処理結果データは”０”のままである。
【００９９】
図８（ｃ）ではシフトレジスタ１５にデータ”１”が読み込まれ、図８（ｄ）ではシフトレジスタ１５にデータ”０”が読み込まれている。ところが、５段のレジスタ１５ａ〜１５ｅのうち、データが”１”となっているレジスタの数は二つであるため、ノイズ除去判定回路１６から出力される処理結果データは”０”のままである。
【０１００】
ここで、図８（ｅ）において、シフトレジスタ１５にデータ”１”が読み込まれた場合、５段のレジスタ１５ａ〜１５ｅのうち、データが”１”となっているレジスタの数が三つ以上（ここでは三つ）となるため、ノイズ除去判定回路１６から出力される処理結果データは”１”に変化する。
【０１０１】
図８（ｆ）ではシフトレジスタ１５にデータ”０”が読み込まれているが、５段のレジスタ１５ａ〜１５ｅのうち、データが”１”となっているレジスタの数は三つであるため、ノイズ除去判定回路１６から出力される処理結果データは”１”のままである。
【０１０２】
次に、ステップＳ６の物体包含関係判定処理（物体包含関係判定回路３２４）について詳細に説明する。
【０１０３】
上記ステップＳ１〜ステップＳ５の各処理および各判定によって、抽出されるべき物体であると判定されたデータが現れた場合、そのデータが既に抽出された物体の一部であるのか、または、それまでに抽出されていない新規の物体であるのかについて、判定する必要がある。そこで、本実施形態では、物体包含関係判定回路２３４によって、抽出されるべき物体であると判定された物体が、既に抽出された物体の一部であるのか、または、それまでに抽出されていない新規の物体であるのかについて判定するものである。
【０１０４】
図９は、図３のステップＳ６の物体包含関係判定処理における処理フロー例を示すフローチャート図である。
【０１０５】
図９に示すように、まず、物体を抽出した場合に、物体情報保存用レジスタ３２５には、物体の存在する位置を示す撮像素子２２上の座標データが保存される。また、条件を複数設定した場合には、どの条件に合致する物体であるかということを示す条件合致フラグも保存される。
【０１０６】
座標情報は、例えば、
Ｘが最大となる座標：（ＸＸＭＡＸ，ＹＸＭＡＸ）
Ｘが最小となる座標：（ＸＸＭＩＮ，ＹＸＭＩＮ）
Ｙが最大となる座標：（ＸＹＭＡＸ，ＹＹＭＡＸ）
Ｙが最小となる座標：（ＸＹＭＩＮ，ＹＹＭＩＮ）
の４点の座標データが物体情報保存用レジスタ３２５に保存される。この４点の座標データを保存することによって、物体の位置情報の他に、物体の大きさ、形状などをおおまかに判断することも可能であり、後述する物体の移動および変化を検出することも可能となる。また、一つの物体に対して、４点の座標データのみを保存するため、画像データそのものを保存するよりも、データ量を大幅に少なくすることができる。
【０１０７】
本実施形態の画像処理システム１において、これらの座標データが保存される物体情報保存用レジスタ３２５は、抽出される物体の数を見込んで、システム１に予め組み込まれている。抽出された物体の情報は、抽出された順番に、物体情報保存用レジスタ３２５に保存される。そこで、図９では、新規に抽出された物体を何番目のレジスタに保存するかを示すポインタを、ＯＢＪ＿ＰＯＩＮＴ（ＯＰ）として示している。
【０１０８】
また、上述したように、カメラモジュール２によって撮像された画像などのアナログ信号は、ノイズや曖昧さを多分に含んでいるため、１個の物体であっても、必ずしも隣接する画素にデータが連続して存在しているとは限らない。したがって、抽出すべき物体のデータが現れた場合に、その付近に同じ条件に合致する物体が存在するか否かを確認し、存在する場合には、その物体の一部としてデータをまとめる処理が必要である。どの程度、距離が近接していれば、同一物体であると判定してデータをまとめるかについては、１チップマイクロコンピュータ４によって物体抽出用ＬＳＩ３内のレジスタに設定され、物体包含関係判定回路３２４では、その設定に基づいて処理が行われる。図９では、この距離を（ＤＸ，ＤＹ）として示している。
【０１０９】
条件に合致すると判定されたデータの座標を（Ｘ，Ｙ）とすると、既に抽出された物体の座標データ
Ｘが最大となる座標：（ＸＸＭＡＸ，ＹＸＭＡＸ）
Ｘが最小となる座標：（ＸＸＭＩＮ，ＹＸＭＩＮ）
Ｙが最大となる座標：（ＸＹＭＡＸ，ＹＹＭＡＸ）
Ｙが最小となる座標：（ＸＹＭＩＮ，ＹＹＭＩＮ）
と比較され、
ＸＸＭＩＮ−ＤＸ ＜ Ｘ ＜ ＸＸＭＡＸ＋ＤＸ
であり、かつ、
Ｙ ＜ ＹＹＭＡＸ＋ＤＹ
であれば、その物体の一部であると判断してデータがまとめられ、該当する物体の情報が更新される。ここで、物体の情報の更新とは、Ｘ座標およびＹ座標の最小値または最大値が変更される場合に、物体情報保存用レジスタ３２５のデータを新しい最小値または最大値に更新することを示す。
【０１１０】
図９では、比較回路１３ａによって条件０に合致する（比較回路３２４ａの出力がＹｅｓ：１）と判定されたデータの座標（Ｘ，Ｙ）と、既に抽出された物体ＯＢＪＥＣＴ＿０（例えば条件０に合致する物体）の座標データとを、比較回路３２４ｂ〜３２４ｄによって比較し、
ＸＸＭＩＮ＿０−ＤＸ ＜ Ｘ ＜ ＸＸＭＡＸ＿０＋ＤＸ
（比較回路３２４ｂおよび比較回路３２４ｃの出力が共にＹｅｓ：”１”）であり、かつ、
Ｙ ＜ ＹＹＭＡＸ＿０＋ＤＹ
（比較回路３２４ｄの出力がＹｅｓ：”１”）であれば、ＡＮＤ回路３２４ｅによってその物体ＯＢＪＥＣＴ＿０の一部である（ＡＮＤ回路３２４ｅの出力が”１”）と判定される。他の物体ＯＢＪＥＣＴ＿１、ＯＢＪＥＣＴ＿２（例えばそれぞれ条件１、条件２に合致する物体）・・・についても、同様に、その物体の一部であるか否かが判定される。ＡＮＤ回路１３ａの出力は、ＡＮＤ回路１３ｉ〜１３ｋの入力と接続されている。
【０１１１】
また、座標（Ｘ，Ｙ）と、既に抽出された物体ＯＢＪＥＣＴ＿０の座標データとを、比較回路３２４ｆ〜３２４ｈによって比較して、
Ｙ ＞ ＹＹＭＡＸ＿０
（比較回路３２４ｆの出力がＹｅｓ：”１”、Ｙ座標の最大値を変更する）であり、かつ、ＡＮＤ回路３２４ｅの出力が１であれば、ＡＮＤ回路３２４ｋの出力が”１”となり、物体情報保存用レジスタ３２５の物体ＯＢＪＥＣＴ＿０の座標データＹＹＭＡＸ＿０がＹに更新される。また、
Ｘ ＞ ＸＸＭＡＸ＿０
（比較回路３２４ｇの出力がＹｅｓ：”１”、Ｘ座標の最大値を変更する）であり、かつ、ＡＮＤ回路３２４ｅの出力が”１”であれば、ＡＮＤ回路３２４ｊの出力が”１”となり、物体情報保存用レジスタ３２５の物体ＯＢＪＥＣＴ＿０の座標データＸＸＭＡＸ＿０がＸに更新される。また、
Ｘ ＜ ＸＸＭＩＮ＿０
（比較回路３２４ｈの出力がＹｅｓ：”１”、Ｘ座標の最小値を変更する）であり、かつ、ＡＮＤ回路３２４ｅの出力が”１”であれば、ＡＮＤ回路３２４ｉの出力が”１”となり、物体情報保存用レジスタ３２５の物体ＯＢＪＥＣＴ＿０の座標データＸＸＭＩＮ＿０がＸに更新される。
【０１１２】
一方、座標（Ｘ，Ｙ）と、既に抽出された物体の座標データとを比較して、同一物体であると判断されるものが無かった場合には、その物体は新規に抽出された物体であると判定され、情報が新しい物体情報保存用レジスタ３２５に保存される。
【０１１３】
図９では、座標（Ｘ，Ｙ）と、既に抽出された物体ＯＢＪＥＣＴ＿０、ＯＢＪＥＣＴ＿１、ＯＢＪＥＣＴ＿２、・・・の各座標データとをそれぞれ比較して、同一物体であると判断されるものが無かった場合（ＮＯＲ回路３２４ｌの入力が全て”０”）であれば、座標（Ｘ，Ｙ）は既に抽出された物体に含まれていない（ＡＮＤ回路３２４ｉの出力が”０”）と判定される。物体情報保存用レジスタ３２５の物体ＯＢＪＥＣＴ＿ＯＰの座標データＸＸＭＩＮ＿ＯＰおよびＸＸＭＡＸ＿ＯＰにＸが、ＹＹＭＩＮ＿ＯＰおよびＹＹＭＡＸ＿ＯＰにＹが、それぞれ書き込まれると共に、ＯＢＪ＿ＰＯＩＮＴがインクリメントされてＯＢＪ＿ＰＯＩＮＴ＋１とされ、次に新規物体が抽出されたときに保存されるレジスタが示される。
【０１１４】
物体情報抽出用ＬＳＩ３の物体情報抽出処理回路３２では、カメラモジュール２から１フレーム分の画像データが転送される間、上記ステップＳ１〜ステップＳ８の処理フローが繰り返される。１画素分の画像データが入力される度に逐次処理が行われ、リアルタイムに物体情報保存用レジスタ３２５の情報が更新されるので、１フレーム分の画像データの転送が完了した時点で、最終的な画像抽出結果の情報が既に物体情報保存用レジスタ３２５に格納されている。
【０１１５】
上述した物体情報抽出処理フローについて、さらに具体的な例を挙げて詳細に説明する。
【０１１６】
図１０Ａ〜図１０Ｅにおいて、（ａ）は本実施形態の画像データ走査例を示す図であり、（ｂ）は本実施形態の物体情報保存用レジスタ３２５のデータ状態（Ａ）〜（Ｅ）を示す図である。
【０１１７】
図１０Ａにおいて、画像データの転送は座標（Ｘ，Ｙ）＝（０，０）の点から開始される。Ｘ軸に沿って順次画像データが転送され、Ｘ軸１ライン分の画像データが転送されると、次のＹ座標（Ｘ軸１ライン）へ進むものとする。初期状態では、物体情報保存用レジスタ３２４は、全て”０”となっている。
【０１１８】
図１０Ｂでは、最初の抽出条件合致データが座標（２，１）で検出されている。これまで物体が抽出されていないので、このデータは新規に抽出された物体のものであるとして、物体情報保存用レジスタ３２４において、
Ｘが最大となる座標：（ＸＸＭＡＸ，ＹＸＭＡＸ）
Ｘが最小となる座標：（ＸＸＭＩＮ，ＹＸＭＩＮ）
Ｙが最大となる座標：（ＸＹＭＡＸ，ＹＹＭＡＸ）
Ｙが最小となる座標：（ＸＹＭＩＮ，ＹＹＭＩＮ）
へ、それぞれ座標（２、１）が書き込まれる。
【０１１９】
このとき、条件が複数設定されている場合には、これらの情報に加えて、この物体が本条件に合致した物体であることを示す情報として、条件合致フラグがセットされる。
【０１２０】
さらに処理が進められ、図１０Ｃでは、物体抽出条件に合致したデータが座標（０，２）で検出されている。このとき、この座標のＸ座標値”０”と物体情報保存用レジスタ３２５のＸＸＭＩＮおよびＸＸＭＡＸとの間の距離、並びにＹ座標値”２”とＹＹＭＩＮおよびＹＹＭＡＸとの間の距離が同一の物体として許容できる範囲内であれば、このデータ（座標（０，２））は既に抽出された物体の一部であると判定されて物体情報保存用レジスタ３２５の情報が更新される。ここでは、この条件を満たしているものとして説明を行う。
【０１２１】
この場合に更新される内容は、
Ｘが最小となる座標：（ＸＸＭＩＮ，ＹＸＭＩＮ）
Ｙが最大となる座標：（ＸＹＭＡＸ，ＹＹＭＡＸ）
であり、これらの座標データが（０，２）に更新される。
【０１２２】
同様に、図１０Ｄでは、抽出条件に合致したデータが座標（４，３）で検出され、
Ｘが最大となる座標：（ＸＸＭＡＸ，ＹＸＭＡＸ）
Ｙが最大となる座標：（ＸＹＭＡＸ，ＹＹＭＡＸ）
が座標データ（４，３）に更新されている。
【０１２３】
同様に、図１０Ｅでは、物体抽出条件に合致したデータが座標（３，５）で検出され、
Ｙが最大となる座標：（ＸＹＭＡＸ，ＹＹＭＡＸ）
が座標データ（３，５）に更新されている。
【０１２４】
このようにして、抽出条件に合致したデータが検出される度に、物体情報保存用レジスタ３２４のデータが更新され、物体の情報として、
条件合致フラグ ：１
Ｘが最小となる座標：（０、２）
Ｘが最大となる座標：（４、３）
Ｙが最小となる座標：（２、１）
Ｙが最大となる座標：（３、５）
が保存される。これによって、条件に合致した物体が、これらの座標データによって示される座標位置に存在していることが分かる。また、別の物体が抽出された場合には、このような座標データが、抽出された物体の数だけ、物体情報保存用レジスタ３２４に保存される。
【０１２５】
物体情報保存用レジスタ３２４では、これらの座標データは、カメラモジュール２から物体抽出用ＬＳＩ３に次のフレームの画像データが入力される前に初期化され、最初から物体情報抽出処理が繰り返される。そのため、物体情報保存用レジスタ３２４において情報が初期化される前に、１チップマイクロコンピュータ４の中央演算処理装置４１によって、物体情報保存用レジスタ３２４内に保存されている物体の情報を読み出しておく必要がある。
【０１２６】
１チップマイクロコンピュータ４の中央演算処理装置４１では、物体情報抽出用ＬＳＩ３によって画像から抽出された物体の情報を用いて、画像中に含まれる物体の有無、移動、変化などを検出し、画像処理システムを制御することができる。１フレーム分のデータだけでも、どの位置に、どのような条件（色相、彩度、輝度）の物体が、どのような大きさで存在しているかを認識することができる。また、フレーム間で物体の座標データを比較することによって、物体の移動または変化を検出することができる。
【０１２７】
以下に、抽出された物体の情報（座標データ）を用いて、物体の移動または変化を検出する方法について詳細に説明する。
【０１２８】
上述したように、本実施形態の画像処理システム１では、画像中に含まれる物体の情報として、物体抽出条件、Ｘ座標が最大・最小となる座標、Ｙ座標が最大・最小となる座標のそれぞれが物体情報保存用レジスタ３２４に格納されて保存されている。
【０１２９】
これらの物体情報を、１チップマイクロコンピュータ４によって、１フレーム毎に読み出して１チップマイクロコンピュータ４内のメモリ（例えばＲＡＭ（図示せず））またはレジスタ（図示せず）に保存しておき、別のフレームのデータと比較することによって、物体の移動または変化を検出することができる。このとき、抽出された物体の情報は、処理前の画像データよりも大幅に少ないデータ量となるため、保存のために必要とされるメモリまたはレジスタの容量、および中央演算処理装置４１の処理負荷を大幅に小さくすることができる。
【０１３０】
例えば、画面サイズ３５２ドット×２８８ドットの画像を処理する際に、従来技術のように、１画面（フレーム）分の画像データをそのまま保存する場合には、
ＹＵＶ各８ビット×３５２×２８８＝５１９０４５１２ビット
のデータを処理する必要がある。
【０１３１】
これに対して、本実施形態のように、物体の抽出結果のみを保存する場合には、
(色条件数＋(座標Ｘ軸のビット＋座標Ｙ軸のビット)×座標データ)×物体数
となる。
【０１３２】
例えば、四つの色条件について、同時に１０個までの物体を検出するように設定した場合、画面サイズ３５２ドット×２８８ドットの画像を処理する際に、一つの座標は、
Ｘ軸９ビット＋Ｙ軸９ビット＝１８ビットで表される。
【０１３３】
また、本実施形態では一つの物体に対して４点の座標（Ｘが最小となる座標、Ｘが最大となる座標、Ｙが最小となる座標およびＹが最大となる座標）を保存するため、座標データは
（座標Ｘ軸９ビット＋Ｙ軸９ビット）×４座標）＝７２ビット
のデータとなる。ここで、色条件数として４ビットを付加すれば、一つの物体当たり、
（色条件数４ビット＋（座標Ｘ軸９ビット＋Ｙ軸９ビット）×４座標）＝７６ビット
のデータとなる。さらに、認識される物体の個数を１０個とした場合、
（色条件数４ビット＋（座標Ｘ軸９ビット＋Ｙ軸９ビット）×４座標）
×物体数１０＝７６０ビット
となる。したがって、四つの色条件について同時に１０個までの物体を検出するように設定した場合、本実施形態では、
（４＋（９＋９）×４）×１０＝７６０ビット
となる。
【０１３４】
したがって、本実施形態の画像処理システム１によれば、１画面当たりのデータ量を、従来技術に比べて、
７６０／５１９０４５１２＝０．００００１４６＝０．００１４６パーセントまで小さくすることができる。さらに大きな画面であれば、より一層の差が生じる。
【０１３５】
例えば、６４０×４８０の画面サイズについて、同様に、１画面当たりのデータ量を比較すると、
（４＋（１０＋９）×４）×１０）／（８×８×８×６４０×４８０）
＝８００／１５７２８６４００
＝０．０００００５＝０．０００５パーセントとなる。
【０１３６】
このように、本実施形態の画像処理システム１によれば、抽出された物体の情報を保存するためのメモリまたはレジスタの容量を大幅に小さくすることができる。
【０１３７】
また、本発明の画像処理システム１では、物体情報抽出処理回路３２の物体情報保存用レジスタ３２４から読み出されて１チップマイクロコンピュータ４のレジスタまたはメモリに保存された１フレーム毎の物体抽出情報を用いて、どの位置（座標）にどんな条件（色相、彩度、輝度）の物体がどのような大きさで存在しているかをフレーム毎に比較することで、物体がどのように移動しているかを判断することができる。
【０１３８】
図１１〜図１４は、本実施形態の画像処理システム１による物体の移動または変化の検出例１〜４を示す図である。
【０１３９】
図１１に示す検出例１では、フレーム１〜フレーム３での物体Ａの抽出情報を比較すると、座標位置が図１１中、矢印で示す方向に変化していることから、物体Ａが矢印で示す方向に移動していると判断することができる。
【０１４０】
図１２で示す検出例２では、図１２（ａ）に示すように、フレーム１およびフレーム２での物体Ｂの抽出情報を比較すると、中心の座標位置が変わらず、物体の大きさが大きくなっていることから、図１２（ｂ）に示すように、物体Ｂが観測点（カメラモジュール１）に近づいていると判断することができる。
【０１４１】
図１３に示す検出例３では、図１３（ａ）に示すように、バットのような円柱状の物体の先端と根元とが互いに異なる二つの色で塗られており、二つの色の見え方によって、円柱状の物体がどちらの方向を向いているかを判断することができる。この円柱状の物体をバットして考えた場合、フレーム１〜フレーム３でのバットの物体情報（座標データ）を比較すると、図１３（ｂ）に示すように、その向きおよび位置の変化によって、バットがスイングしたか、どのような軌跡を描いたか、どのような速さか、振るタイミングはどうか等といった内容を読み取るために応用することができる。また、卓球のラケットをイメージする場合には、板状の物体の両面に互いに異なる二つの色を塗り分けると、見えている色によってラケットの面が表であるか裏であるかを判断することができる。
【０１４２】
図１４に示す検出例４では、ボールをイメージして、図１４（ａ）に示すように、球状の物体が互いに異なる二つ色に塗り分けられており、フレーム１〜フレーム３でのボールの抽出情報を比較すると、図１４（ｂ）に示すように、その向き、距離および位置の変化によって、ボールの移動、回転の状況などを判断することができる。
【０１４３】
ここでは、二つの色で物体を塗り分ける一例について説明したが、三つ、四つと複数色に物体色を増やしたり、塗り分ける割合を調節することによって、最適な物体情報が得られるように調整することも可能であり、画像処理システム１の応用範囲を例えばゲーム装置などさらに広げることができる。
【０１４４】
さらに他の応用例として、正六面体を互いに異なる６色に塗り分けることによって、数字の形状認識はできなくても、色条件からサイコロとしての機能を実現することも、本画像処理システム１によれば可能となる。
【０１４５】
以上のように、本実施形態の画像処理システム１によれば、画像中の物体を認識することによって、キー入力やジョイスティックなどの入力デバイスに比較して、様々な情報の入力に応用することが可能である。また、抽出対象となる物体、例えばバットやラケット、ボールやグラブなどに特定の色を塗ることによって、物体情報抽出処理回路３２にて様々な物体の情報を抽出することができる。したがって、画像処理システム１のハードウェア構成を変えることなく、１チップマイクロコンピュータ４に読み込まれる画像処理プログラムと、対象となる物体の彩色を調整することによって、変化に富んだゲームを一つのハードウェアによって実現することができる。
【０１４６】
【発明の効果】
以上説明したように、本発明によれば、カメラモジュールなどの画像データ出力手段からの画像データを物体情報処理装置にて１画素毎に逐次処理することによって、従来のように画像データを保存するために大容量のメモリを必要とせず、物体抽出のために複雑な演算および処理フローを必要としないため、画像転送用クロック信号よりも高速のクロック信号を用いることなくリアルタイムで画像処理を行うことが可能となり、かつ、中央演算処理装置における画像処理の負荷を最小限に抑えることができる。
【０１４７】
したがって、本発明によれば、従来、画像中に含まれる物体を認識するために必要とされていた画像メモリや高性能の中央演算処理装置が不要となり、比較的処理能力が低い安価な中央演算処理装置や演算回路などを用いることができるため、物体を認識する機能、物体の移動や変化を検出する機能を有する画像処理システムを大幅に小型化および低コスト化することができる。これにより、玩具やゲーム装置など、価格を低く抑える必要があるものであっても、画像中の物体を認識し、物体の移動や変化を検出する機能を備えた画像処理システムを実現することができる。
【図面の簡単な説明】
【図１】本発明の画像処理システムの実施形態における要部構成を示すブロック図である。
【図２】図１の物体情報抽出処理回路の要部構成を示すブロック図である。
【図３】図２の物体情報抽出処理回路による物体情報抽出処理の制御フローを示すフローチャートである。
【図４】図２の画像データ変換回路の画像データ変換処理内容を説明するための図である。
【図５】図２の抽出条件判定回路の具体的構成例を示すブロック図である。
【図６】図２のノイズ除去処理回路の要部構成を示すブロック図である。実施形態のノイズ除去処理回路の構成を示すブロック図である。
【図７】図２のノイズ除去判定回路の要部構成例を示す回路図である。
【図８】（ａ）〜（ｆ）は、図２のノイズ除去処理回路の動作例を説明するための図である。
【図９】図３のステップＳ６の物体包含関係判定処理における処理フロー例を示すフローチャート図である。
【図１０Ａ】（ａ）は本実施形態の画像データ走査例を示す図であり、（ｂ）は本実施形態の物体情報保存用レジスタのデータ状態（Ａ）を示す図である。
【図１０Ｂ】（ａ）は本実施形態の画像データ走査例を示す図であり、（ｂ）は本実施形態の物体情報保存用レジスタのデータ状態（Ｂ）を示す図である。
【図１０Ｃ】（ａ）は本実施形態の画像データ走査例を示す図であり、（ｂ）は本実施形態の物体情報保存用レジスタのデータ状態（Ｃ）を示す図である。
【図１０Ｄ】（ａ）は本実施形態の画像データ走査例を示す図であり、（ｂ）は本実施形態の物体情報保存用レジスタのデータ状態（Ｄ）を示す図である。
【図１０Ｅ】（ａ）は本実施形態の画像データ走査例を示す図であり、（ｂ）は本実施形態の物体情報保存用レジスタのデータ状態（Ｅ）を示す図である。
【図１１】実施形態の画像処理システムによる物体の移動変化の検出例１を示す図である。
【図１２】（ａ）および（ｂ）は、実施形態の画像処理システムによる物体の移動変化の検出例２を示す図である。
【図１３】（ａ）および（ｂ）は、実施形態の画像処理システムによる物体の移動変化の検出例３を示す図である。
【図１４】（ａ）および（ｂ）は、実施形態の画像処理システムによる物体の移動変化の検出例４を示す図である。
【符号の説明】
１ 画像処理システム
２ カメラモジュール（画像データ出力装置）
３ 物体情報抽出用ＬＳＩ（物体情報処理装置）
３２ 物体情報抽出処理回路
３２１ 画像データ変換回路（画像データ変換手段）
３２２ 抽出条件判定回路（物体判定手段）
３２３ ノイズ除去処理回路（ノイズ除去処理手段）
１５ シフトレジスタ
１６ ノイズ除去判定回路
３２４ 物体包含関係判定回路（物体包含関係判定手段）
３２５ 物体情報保存用レジスタ（物体情報保持手段）
４ １チップマイクロコンピュータ（制御装置）
４１ 中央演算処理装置（ＣＰＵ）

Claims (24)

1. 入力画像データから物体情報を得る物体情報処理装置であって、
   該入力画像データに含まれる色情報を、１画素毎に、該入力画像データから抽出すべき物体に対して設定された基準値と比較して、該抽出すべき物体であるか否かを判定する物体判定手段と、
   該物体判定手段により抽出すべき物体であると判定された物体の座標データを該物体情報として物体毎に保持する物体情報保持手段とを備えた物体情報処理装置。
2. 前記物体判定手段は、第１物体条件に合致するか否かを判定する第１比較手段と、・・・第ｎ（ｎは自然数）物体条件に合致するか否かを判定する第ｎ比較手段と、該第１〜第ｎ比較手段からのｎ個の出力を入力とするアンド回路とを有した請求項１記載の物体情報処理装置。
3. 前記物体判定手段の前段に、前記入力画像データのＵＹＶＹ値をＨＳＶ値に変換する画像データ変換手段をさらに備え、
   前記物体判定手段は、該画像データ変換手段からのＨＳＶ値を、１画素毎に、抽出すべき物体に対して設定された基準値と比較して、抽出すべき物体であるか否かを判定する請求項１または２記載の物体情報処理装置。
4. 前記画像データ変換手段は、前記入力画像データのＵＶ値を色相のＨ値に変換する第１変換テーブルと、該入力画像データのＵＶ値を彩度のＳ値に変換する第２変換テーブルとを有し、該入力画像データの輝度はＹ値をＶ値として出力する請求項３記載の物体情報処理装置。
5. 前記物体判定手段による判定結果からノイズを除去するノイズ除去処理手段をさらに備えた請求項１または３記載の物体情報処理装置。
6. 前記ノイズ除去処理手段は、前記物体判定手段による判定結果を順次保持するためのシフトレジスタ手段と、該シフトレジスタ手段で保持した複数の判定結果のうち所定数以上の判定結果が一致するか否かに基づいて、該複数の判定結果がノイズであるか否かを判定するノイズ除去判定手段とを有する請求項５記載の物体情報処理装置。
7. 前記物体判定手段で抽出すべき物体であると判定された物体が、既に抽出された物体の一部であるか、または、それまでに抽出されていない新規の物体であるかを判定して、各物体の座標データを生成する物体包含関係判定手段をさらに備え、
   前記物体情報保持手段は、該物体包含関係判定手段で生成された座標データを、抽出された物体毎に保持する請求項１または３記載の物体情報処理装置。
8. 前記物体包含関係判定手段は、前記物体の座標データ（Ｘ，Ｙ）として、Ｘが最大となる座標、Ｘが最小となる座標、Ｙが最大となる座標およびＹが最小となる座標の４座標を生成する請求項７記載の物体情報処理装置。
9. 前記物体包含関係判定手段は、抽出すべき物体のデータが現れた場合に、その付近に同じ物体条件に合致する物体が存在するか否かを確認し、当該物体が存在する場合に、当該物体の一部として前記物体の座標データ（Ｘ，Ｙ）を更新可能とする請求項８記載の物体情報処理装置。
10. 前記抽出すべき物体のデータが現れた場合に、同一物体ではないと判定された場合に、該物体は新規に抽出された物体であると判定し、抽出された物体の情報は、当該物体に応じた物体情報保持手段に保存する請求項９記載の物体情報処理装置。
11. 前記物体情報保持手段は、物体抽出条件が複数設定されている場合に、どの物体条件に合致する物体であるかを示す条件合致フラグを前記物体情報の一つとしてさらに保持する請求項１記載の物体情報処理装置。
12. 前記物体情報保持手段は、抽出すべき物体であると判定された物体の物体情報を１フレーム分保持する請求項１記載の物体情報処理装置。
13. 請求項１〜１２の何れかに記載の物体情報処理装置と、
    該物体情報処理装置に画像データを出力する画像データ出力装置と、
    該物体情報処理装置および画像データ出力装置を制御する制御装置とを備えた画像処理システム。
14. 前記画像データ出力装置には物体画像を撮像する撮像素子が設けられ、物体が存在する位置を示す前記物体の座標データは該撮像素子上の座標データである請求項１３記載の画像処理システム。
15. 前記制御装置は、該物体情報処理装置に保持された物体情報を読み出して、画像データ中に含まれる物体を認識するための演算処理を行う演算処理手段を備えた請求項１３記載の画像処理システム。
16. 前記演算処理手段は、前記物体情報処理装置から１フレーム毎に物体情報を読み出す請求項１５記載の画像処理システム。
17. 前記演算処理手段は、前記物体情報処理装置から１フレーム毎に抽出された物体情報を読み出して、フレーム間でデータを比較することにより物体の移動または変化を検出する請求項１６記載の画像処理システム。
18. 前記制御装置は、前記物体の座標データが、連続した複数のフレーム間で所定方向に変化している場合には、該物体は該所定方向に移動していると認識する請求項１７記載の画像処理システム。
19. 前記制御装置は、前記物体の座標データが、連続した複数のフレーム間で中心座標位置が変化せず、物体の大きさが大きくなっている場合には、該物体は観測点に近づいていると認識する請求項１７記載の画像処理システム。
20. 前記制御装置は、前記物体の座標データが、連続した複数のフレーム間で中心座標位置が変化せず、物体の大きさが小さくなっている場合には、該物体は観測点から遠ざかっていると認識する請求項１７記載の画像処理システム。
21. 前記物体が少なくとも二つの色で構成されている場合に、前記制御装置は、前記物体の各色の座標データがそれぞれ、連続した複数のフレーム間で移動した場合に該物体の動作状態を認識する請求項１７記載の画像処理システム。
22. 請求項１３〜２１の何れかに記載の画像処理システムを用いて物体の動作状態を認識するゲーム装置。
23. 画像データ出力装置から物体情報処理装置に画像データを出力するステップと、
    該物体情報処理装置により、入力画像データのＵＹＶＹ値をＨＳＶ値に変換し、変換されたＨＳＶ値を、１画素毎に、抽出すべき物体に対して設定された基準値と比較して、抽出すべき物体であるか否かを判定し、抽出すべき物体であると判定された物体の座標データを物体情報として物体毎に保持するステップと、
    制御装置の演算処理手段により、該物体情報処理装置に保持されている物体情報を１フレーム毎に読み出し、読み出された物体情報に基づいて、画像データ中に含まれる物体を認識するステップとを含む画像処理方法。
24. 前記制御装置の演算処理手段により、前記物体情報処理装置から１フレーム毎に抽出された物体情報を読み出し、読み出された物体情報をフレーム間で比較することにより、物体の移動および変化を検出するステップを含む請求項２３記載の画像処理方法。

Images