JP2004180240A - 映像入力装置 - Google Patents
映像入力装置 Download PDFInfo
- Publication number
- JP2004180240A JP2004180240A JP2002347301A JP2002347301A JP2004180240A JP 2004180240 A JP2004180240 A JP 2004180240A JP 2002347301 A JP2002347301 A JP 2002347301A JP 2002347301 A JP2002347301 A JP 2002347301A JP 2004180240 A JP2004180240 A JP 2004180240A
- Authority
- JP
- Japan
- Prior art keywords
- resolution
- video
- image
- low
- partial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
- H04N1/0402—Scanning different formats; Scanning with different densities of dots per unit length, e.g. different numbers of dots per inch (dpi); Conversion of scanning standards
- H04N1/0408—Different densities of dots per unit length
- H04N1/0411—Different densities of dots per unit length in the main scanning direction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
- H04N1/0402—Scanning different formats; Scanning with different densities of dots per unit length, e.g. different numbers of dots per inch (dpi); Conversion of scanning standards
- H04N1/0408—Different densities of dots per unit length
- H04N1/0414—Different densities of dots per unit length in the sub scanning direction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
- H04N1/0402—Scanning different formats; Scanning with different densities of dots per unit length, e.g. different numbers of dots per inch (dpi); Conversion of scanning standards
- H04N1/042—Details of the method used
- H04N1/0455—Details of the method used using a single set of scanning elements, e.g. the whole of and a part of an array respectively for different formats
- H04N1/0458—Details of the method used using a single set of scanning elements, e.g. the whole of and a part of an array respectively for different formats using different portions of the scanning elements for different formats or densities of dots
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
- H04N1/19—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays
- H04N1/195—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a two-dimensional array or a combination of two-dimensional arrays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/745—Circuitry for generating timing or clock signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/04—Scanning arrangements
- H04N2201/0402—Arrangements not specific to a particular one of the scanning methods covered by groups H04N1/04 - H04N1/207
- H04N2201/0426—Scanning an image in a series of contiguous zones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/641—Multi-purpose receivers, e.g. for auxiliary information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/642—Multi-standard receivers
Abstract
【課題】低解像度の全体映像と高解像度の部分映像とを同時にかつ高速に取得可能とする。
【解決手段】固体撮像素子１０は複数の受光素子を高密度に配置した高解像度の画素アレイ１２を有する。低解像度全体映像走査出部１４は画素アレイ１２の解像度を落とした全体の読出走査により低解像度の全体映像データを出力させる。高解像度部分映像走査部１６は画素アレイ１２の高解像度を維持した部分的な読出走査によりの高解像度の部分映像データを出力させる。切替部２０は低解像度全体映像走査部１４と高解像度部分映像走査部１６をフレーム周期内で切り替えてビデオレート以上の速度で低解像度全体映像データと高解像度部分映像データとを順次出力させる。映像切出し処理部３２は低解像度全体映像データに基づいて次フレームにおける高解像度映像の切出し位置を自動的に決定して高解像度部分映像走査部１６に指示する。
【選択図】 図１
【解決手段】固体撮像素子１０は複数の受光素子を高密度に配置した高解像度の画素アレイ１２を有する。低解像度全体映像走査出部１４は画素アレイ１２の解像度を落とした全体の読出走査により低解像度の全体映像データを出力させる。高解像度部分映像走査部１６は画素アレイ１２の高解像度を維持した部分的な読出走査によりの高解像度の部分映像データを出力させる。切替部２０は低解像度全体映像走査部１４と高解像度部分映像走査部１６をフレーム周期内で切り替えてビデオレート以上の速度で低解像度全体映像データと高解像度部分映像データとを順次出力させる。映像切出し処理部３２は低解像度全体映像データに基づいて次フレームにおける高解像度映像の切出し位置を自動的に決定して高解像度部分映像走査部１６に指示する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、動画処理システム等の映像入力に使用される映像入力装置に関し、特に、高解像度の固体撮像素子を用いて低解像度の全体映像と高解像度の部分映像を取得する画像入力装置に関する。
【０００２】
【従来の技術】
従来、映像入力装置において、広範囲な観測領域を確保しつつ詳細な映像情報を取得するために、ＣＣＤ撮像素子やＣＭＯＳ撮像素子といった撮像素子の実装密度を上げる一様に解像度の向上させる方法が採られている。撮像素子の解像度を高めれば、広角な光学レンズを用いて広範囲を映しても、比較的小さな対象についても十分な解像度を確保することができ、詳細な内容を取得することができる。
【０００３】
しかしながら、このように撮像素子の解像度を一様に高めると、映像の持つ情報が膨大となってしまい、映像を伝送する伝送路の容量あるいは映像を画像処理装置や表示装置に入力するための装置の入力容量に限りがあるために、映像を伝送するのに時間を要し、映像を取得できるフレームレートが非常に低下する問題があった。
【０００４】
例えば、縦横１７００×１７００画素の３００万画素の撮像素子を用いると、取得できる映像のフレームレートは８ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）程度となる。そのため、対象が移動する場合に高解像度の撮像素子を用いて撮像すると、フレームレートが低いために時々刻々位置が変化する対象に追随できない問題があり、動画像処理システムの画像入力装置としての適用は困難であった。
【０００５】
このようなフレームレートの低下を防ぐための従来技術として、撮影対象の全体映像については解像度を落とすことで画素数を減らした映像と、同時に全体の一部に限っては解像度を落とさずに高解像度の映像を撮影して画素数を増加させずに詳細映像を取得することで、全体の情報量を抑えつつ、全体の観測と部分的な詳細映像の同時取得を実現する方法が提案されている。
【０００６】
これを実現する方式として大きく、デバイスを用いる方法と複数の撮像センサを用いる方法とがある。前者としては、特許文献１にあるように、対象の撮像には受光セル（受光画素）が高密度に配置された高解像度撮像素子を使用し、高解像度映像の間引き処理によって解像度の低い全体映像としてメモリに蓄積し、また、全体映像の一部分に限っては元の高密度の映像情報を切出して詳細映像として別のメモリに蓄積し、その２つの映像を１フレーム毎あるいはそれ以上のフレーム毎に切り替えて取り出し、それぞれのメモリに蓄積された２つの映像を１つの映像に合成してＮＴＳＣ形式で出力し、ＮＴＳＣテレビモニタで映像をモニタリングできる方式を提案している。
【０００７】
また、特許文献２にあっては、高解像度の撮像素子を用いたカメラシステムを対象に、同一フレーム内の映像に対して画角合わせ用の全体映像と自動焦点調整用に部分的な詳細映像とを同時に得る方法を提案している。実現手段の概要は次のようなものである。
【０００８】
まず、１フレームの映像の各行を順次走査して、全体の映像中で低解像度映像にのみ必要となる行については、行毎の間引き処理を行うと共に、必要行については行内の画素列に対して間引き処理を施した結果を間引き映像用メモリに蓄積する。
【０００９】
詳細映像を取得すべき行では間引き処理をせずに行内の全画素の情報を別の詳細映像用メモリに蓄積する。次に、詳細映像用のメモリ内に蓄積している間引き処理をしていない部分映像について行方向および列方向の間引き処理を施し、得られた部分映像の間引き低解像度映像と、前段階で得られている間引き映像用メモリに蓄積している残りの部分の低解像度映像とを一つに合成して、全体の低解像度映像を出力する。
【００１０】
さらに、詳細映像用のメモリ内にある部分映像については、元の高解像度の行全体の映像が蓄積されているので、詳細映像として必要な箇所を切出して、部分的な詳細映像として出力している。
【００１１】
特許文献１，２に提案された方法は、全体映像と詳細映像それぞれの映像サイズは、全体の解像度からみて十分小さいので、転送すべき情報量を抑えることができ、映像のフレームレートを確保することができる。
【００１２】
続いて複数の撮像センサを用いる方法として、本願発明者にあっては、次のものを提案している（特願２００１‐１４０９２５）。この方法は、対象を映した像を二分岐光学系で分光し、一方の像は縮小光学系を用いて像全体を縮小して一つの撮像素子で全体映像を撮影し、他方の像は拡大光学系を用いて拡大された像の一部分を別の撮像素子を用いて撮影することで、部分的な詳細映像を撮影するものである。
【００１３】
その際、撮像素子をＸＹステージなど平面上で位置を可変できる機構上に取り付けることで、部分的な像を撮影する位置を全体映像中の任意の位置に変更できるることが特徴である。この方式によれば、例えば辺々を１０倍に拡大した映像の中から部分的な映像を撮影すれば、等価的に１００倍の高解像度化を実現できる。しかも、全体映像と詳細映像を撮影する撮像素子の大きさを例えばＶＧＡ（６４０×４８０画素）程度にすれば、高々ＶＧＡ２つ分の情報量に抑えることができる。
【００１４】
【特許文献１】
特開平９−２１４８３６号公報
【特許文献２】
特開２０００−３２３１８号公報
【００１５】
【発明が解決しようとする課題】
しかしながら、特許文献１，２の方法は、カメラ撮影システムにおいて画角調整と焦点調整を行う場合に人が簡便に調整できることを目的に行われたもので、ＮＴＳＣテレビモニタで人が目視調整を行うために画角調整用の全体映像と焦点調整用の部分的な詳細映像とを合成して同時に映し出すように出力したり、全体映像を常にＮＴＳＣテレビモニタで人が目視で観測しながら、ある一部分の詳細映像によって自動焦点調整したりするものである。
【００１６】
そのため、特許文献１の方法では、１つのＮＴＳＣ映像（解像度は縦横５１２×４８０画素程度）に全体映像と部分詳細映像が埋め込まれているので、それぞれの映像の持つ解像度は１／２なり、情報量が低下しているほか、全体映像と部分詳細映像は互いに独立に出力されるだけで、詳細映像として撮像する部分は予め決められた固定部分か、装置外部より直接指定する必要があるため、人の介在が必須である。
【００１７】
また、特許文献２の方法では、画角の確認用に情景全体の低解像度映像がＤ／Ａ変換によってＮＴＳＣなどアナログテレビ信号に変換され出力されるのみで、部分的な詳細映像は焦点距離の自動調整のために装置内部で使われるだけで外部への出力はない。さらに、部分的な詳細映像の取得位置は、予め決まった位置か、あるいは装置外部より人が指定した部分である。
【００１８】
一方、動画像処理システムにおける映像入力装置として考えた場合には、処理の安定化や高機能化を考えると、唯一の入力情報である映像情報は可能な限り多くする、つまり詳細な映像情報を入力する必要がある。この点を考慮すると、全体映像と部分詳細映像を１つの映像として出力するカメラシステムでは情報量が低下し、所望の性能を実現できない。
【００１９】
また、動画像処理システムでは、時々刻々対象が移動（変動）する情景を処理対象として扱い、その時々において必要な情報は変化するため、詳細な情報を得る箇所は時々刻々変化する情景中に映る内容に応じて自動的に設定する必要がある。
【００２０】
しかしながら、特許文献１，２の従来装置では、詳細映像の取得位置は装置外部より人手により指定するしかなく、映像情報に応じて詳細映像を取得する位置を変更する機能を有していないため、そのままでは動画像処理システムに必要な要求を満たすことができない。
【００２１】
その他にも従来装置では全体の低解像度映像を作り出す手段に問題がある。従来装置では、高解像度映像の単なる間引き処理によって低解像映像を作り出すが、例えば低解像度の映像の大きさを元の高解像度の映像に対して縦横１／Ｎの大きさとなるように画素を間引いたとすると、映像のサンプリング周波数が１／Ｎに低下するにもかかわらず、映像の持つ周波数帯域は変わらないため、サンプリングレートに対してＮ倍の高い周波数を持つ映像情報が入力されることになる。
【００２２】
このためサンプリング定理によって高周波部分の折り返し（エリアジング）が起こり、偽の映像となってしまう。動画像処理システムの入力映像中に偽の情報が映像に含まれると、誤認識を起こしシステムが異常動作を起こすこともある。エリアジングによる偽の情報は後段処理では除外できないので、エリアジングヲ起こすような場合には、低解像度の映像に変換する際に偽の情報を取り除くことが必須である。
【００２３】
また、特願２００１−１４０９２５では、部分的な高解像度映像を撮影する撮像素子を、ＸＹステージなどを用いて機械的な操作で移動するが、ステージの駆動部分と撮像素子自体の重量のために、移動速度をフレームレート（例えばｌ／３０秒）以内に映像の端から端まで移動するだけ高速にすることが難しく、結果としてフレームレート毎に全く異なる箇所の詳細映像を取得することは困難である。
【００２４】
任意箇所の撮影を完了するまでにＮフレーム要するとすると、高速に移動する物体を対象とする場合には、Ｎフレーム間に対象が移動するため、詳細映像を取得する位置を指定した位置から、その対象の位置がずれてしまい、詳細映像を必要とする対象を詳細映像の中央部で捕らえることが困難で、特に移動が高速の場合は詳細映像から外れてしまう問題がある。また、撮影範囲中に散在する撮影対象をフレームレート単位で撮影位置を変えながら撮影することができない問題もある。
【００２５】
本発明は、低解像度の全体映像と高解像度の部分映像とを同時にかつ高速に取得可能とする映像入力装置を提供することを目的とする。
【００２６】
【課題を解決するための手段】
図１は本発明の原理説明図である。本発明は、映像入力装置であって、結像された像を光電変換によって電気信号の画素値に変換する複数の受光素子を高密度に配置した高解像度の画素アレイ１２を有する固体撮像素子１０と、画素アレイ１２の解像度を落とした撮像範囲全体の読出走査により低解像度の全体映像データを出力する低解像度全体映像走査部１４と、画素アレイ１２の高解像度を維持した撮像範囲の部分的な読出走査によりの高解像度の部分映像データを出力する高解像度部分画像走査部１６と、低解像度全体映像走査部１４と高解像度部分映像走査部１６を予め定めたフレーム周期内で切り替えてビデオレート（３０ｆｐｓ）以上の速度で低解像度全体映像データと高解像度部分画像データとを順次出力させる切替部２０と、低解像度全体映像走査部１４により出力された低解像度全体映像データに基づいて次フレームにおける高解像度映像の切出し位置を自動的に決定して高解像度部分映像走査部に指示する画像処理部３２とを備えたことを特徴とする。
【００２７】
このため本発明によれば、情景全体については低解像度の映像として取得し、部分的な着目箇所についてのみ詳細映像として取得するので、詳細映像の解像度を非常に高くとっても、両映像の画素サイズを同一サイズとした場合、２つ映像の絶対的な情報量は高々２つの映像分に留めることができ、全体映像と詳細映像とを同時にしかもビデオレートあるいはそれ以上のフレームレートで高速に取得できる。
【００２８】
例えば通常のＮＴＳＣ（５１２×４８０画素）サイズやＶＧＡ（６４０×４８０画素）サイズのテレビカメラで広範囲の情景を撮影すると、解像度が不足して映像が潰れてしまい詳細な情報を得ることができない問題があるが、本発明を用いると、高解像度の撮像素子を使用して、全体画像については例えばＮＴＳＣの５１２×４８０画素やＶＧＡの６４０×４８０画素というように解像度を落として撮影しつつ、詳細な情報が必要な箇所については高解像度のまま撮影するので、映像が潰れることなく詳細な映像情報を得ることができる。
【００２９】
しかも、全体映像は低解像度により、また詳細映像は映像領域を一部分に絞ることで、両映像自体の大きさ（情報量）は小さく抑えられ、情報量過多による映像の撮像レートの低下を抑制してビデオレートあるいはそれ以上の速度レートで映像を得ることができる。
【００３０】
また装置内の画像処理部によって全体映像の内容に応じて詳細映像を獲得する部分を自動的かつ高速に選択することができる。
【００３１】
このとき、詳細映像の取得位置は、画素アレイの読み出し位置を電気的に制御して可変するため、機械的な操作を必要とせず、取得位置の変更に要する時間は、画像処理部で行われる次フレームでの詳細映像の撮影位置を決定する処理に要する時間と、次フレームを撮像するまでの時間間隔（フレームレート）の長い方で規定される。
【００３２】
したがって、画像処理部で行う処理をフレームレート以内に抑えれば、次フレームで撮影すべき詳細映像の箇所を現フレーム内に決定できるので、フレーム毎に全く異なる位置を撮影することが可能となる。
【００３３】
また本発明よれば、動画像処理システムに最適な映像入力ができる。動画像処理システムは、広範囲な撮像範囲を移動する比較的小さな対象物体が存在し、撮像範囲を常に観測しながら、対象物体が存在する場合には対象物体の詳細な映像（情報）を必要とし、しかも移動物体を対象とするため、詳細映像を物体の移動に追従して取得する必要があり、更に、映像の撮影レートをビデオレートあるいはそれ以上のレートで撮影しながら、詳細映像の取得位置を時々刻々変更しなければならないといった相反する条件を有するが、本発明は、このような動画像処理システム全般に適用できる。
【００３４】
また本発明は、低解像度全体映像と高解像度部分映像を後段の別の画像処理システムに対する入力情報とする高度な前処理を含む画像入力装置としても適用可能である。
【００３５】
このような画像処理システムの例として、コンベア上を流れる物体を低解像度全体映像で監視しながら、物体に貼られた小さなシールに書かれた文字を高解像度部分映像により読み取って配送を管理する物流管理システムや、領域内への侵入物の有無を低解像度全体映像で監視しながら、高解像度部分映像として得た侵入物の詳細映像を蓄積あるいは画像識別し、対象に応じて適切な警報を発する監視システムなどが挙げられる。
【００３６】
更に、その他にも、撮影範囲全体の各々の位置で高解像度部分映像を撮影し、それら映像を貼りあわせて撮影範囲全体の超高解像度の映像を作成する超高解像度静止画カメラの映像入力装置にも本発明が適用できる。
【００３７】
本発明の映像入力装置は、更に、画素アレイ１２の読出走査で出力された全体低解像度映像データを蓄積する低解像度全体映像蓄積部２８と、低解像度全体映像蓄積部２８の蓄積画像を読出して所定形式（ＮＴＳＣ又はＶＧＡ等）の１つの映像データに調整した低解像度全体映像データを外部に出力する全体映像データ送出部３０と、画素アレイ１２の読出走査で出力された分高解像度部分映像データを蓄積する高解像度部分映像蓄積部２４と、高解像度部分映像蓄積部２４の蓄積画像を読出して所定形式（ＮＴＳＣ又はＶＧＡ等）の１つの映像データに調整した高解像度部分映像データを外部に出力する部分映像データ送出部２６とを備える。
【００３８】
ここで固体撮像素子は、Ｎ１行Ｎ２列に２次元配列した複数の受光素子と、複数の受光素子を個別に選択して画素値を出力させる列選択線及び行選択線と、複数の受光素子に設けられた２本の出力線と、Ｎ１行Ｎ２列の画素数を高解像度映像とし、それより少ないｍ１行ｍ２列の画素数を低解像度映像とした場合、高解像度のＮ１行Ｎ２列を前記低解像度のｍ１行ｍ２列で除して求めた整数のｎ１行ｎ２列の画素単位に各受光素子の一方の出力線を入力接続して加算又は平均など任意の演算を行い、その結果を出力する複数のフィルタとを備える。
【００３９】
この場合、低解像度全体映像走査部は、複数のフィルタ単位のｎ１行ｎ２列毎に受光素子を一括選択しながらｍ１行ｍ２列のフィルタ出力を低解像度全体映像信号として出力させ、高解像度部分映像走査部は、Ｎ１行Ｎ２列の中の切出し位置として指定されたｋ１行ｋ２列の各受光素子を走査して他方の出力線から画素値を高解像度部分映像信号として出力させる。
【００４０】
このように低解像度全体映像の読出走査につき、画素アレイを縦横ｎ１×ｎ２画素領域に区切ってフィルタに入力して画素値の総和あるいは平均値を新たな画素値とする局所平均化処理を施して出力させることで、映像の高周波成分が低解像度映像に偽の情報を形成するエリアジングを抑え、画像処理に良好な映像を与えることができる。
【００４１】
また本発明は画素間引き処理により低解像度全体映像を生成しても良い。即ち、固体撮像素子１０は、Ｎ１行Ｎ２列に２次元配列した複数の受光素子と、複数の受光素子を個別に選択して画素値を出力させる列選択線及び行選択線と、を備え、この場合、低解像度全体映像走査部１４は、Ｎ１行Ｎ２列の画素数を高解像度映像とし、それより少ないｍ１行ｍ２列の画素数を低解像度映像とした場合、高解像度のＮ１行Ｎ２列を前記低解像度のｍ１行ｍ２列で除して求めた整数のｎ１行ｎ２列毎に画素値を間引きしながら低解像度全体映像信号を出力させ、高解像度部分映像走査部は、Ｎ１行Ｎ２列の中の切出し位置として指定されたｋ１行ｋ２列の各受光素子を走査して画素値を高解像度部分映像信号として出力させる。
【００４２】
この場合には、間引きにより低解像度全体画像にエリアジングが起きる可能性があるが、比較的映像の変化が少なくエリアジングの起きにくい観測対象に用途を絞ることで、対応できる。
【００４３】
低像度全体映像走査部１４と高解像度部分映像走査部１６は、低解像度全体映像と解像度部分映像の画素サイズが同一となるように読出走査する。例えば低解像度全体映像と解像度部分映像の画素サイズがＮＴＳＣの行列５１２×４８０画素、ＰＡＬの行列７６８×５７６画素又はＶＧＡの行列６４０×４８０画素の同一画素サイズとなるように読出走査する。
【００４４】
この場合には、詳細画像を得るための高解像度部分映像の解像度を非常に高くしても、２つの映像の情報量は、ＮＴＳＣ５１２×４８０画素又はＶＧＡ６４０×４８０画素の２フレーム分の情報量に留まり、これによって３０ｆｐｓのビデオレート以上のフレームレートで同時に高速に２つの映像を読出することができる。
【００４５】
ここで解像度を高くしても情報量は変化しないが、高解像度部分映像の低解像度全体映像の中に占める領域のサイズが解像度を高くするにつれて小さくなる関係にある。
【００４６】
画像処理部３２は、その処理の一例として、現フレームの低解像度全体映像データと前フレームの背景映像データの画素の差分値に基づいて変化のあった物体領域と変化のなかった非物体領域を抽出する物体領域抽出部と、変化のなかった非物体領域を背景画像データに加えて更新する背景映像更新部と、物体領域データと前フレームの検出済み物体データとの比較により未検出の着目物体を選択して着目位置を決定すとる共に、選択された着目物体を前記検出済み物体データに加えて更新する着目位置検出部と、選択された着目物体の着目位置のフレーム履歴から求めた運動モデルに基づいて次フレームの着目位置を予測して次フレームの映像切出し位置を決定する切出し位置決定部とを備える。
【００４７】
これによって動きのある物体を自動的に追跡しながら必要個所だけは、高解像度映像を取得できる。
【００４８】
画像処理部３２は、低解像度全体映像データに加え、更に高解像度部分映像データに基づいて次フレームにおける高解像度映像の切出し位置を自動的に決定して高解像度部分映像走査部１６に指示するようにしても良い。
【００４９】
具体的に画像処理部は、現フレームの低解像度全体映像データと前フレームの背景映像データの画素の差分値に基づいて変化のあった物体領域と変化のなかった非物体領域を抽出する物体領域抽出部と、変化のなかった非物体領域を背景画像データに加えて更新する背景映像更新部と、現フレームで取得された高解像度部分映像データと前フレームで蓄積された切出し位置の低解像度部分映像データとを比較し、両映像が異なる場合は、前フレームの検出済み物体映像データから着目物体を除去する予測ずれ検出部と、物体領域データと検出済み物体映像データとの比較により特定の未検出の注目物体を選択して注目位置を決定すとる共に、選択された物体を前記検出済み物体映像データに加えて更新する着目位置検出部と、選択された物体のフレーム履歴から求めた運動モデルに基づいて次フレームの物体位置を予測して次フレームの切出し位置を決定する切出し位置決定部とを備える。
【００５０】
このように前フレームで予測して切出した位置の高解像度部分映像に着目物体が存在せず、前フレームで蓄積された切出し位置の低解像度部分映像と異なった場合には、検出済み物体画像の中の注目物体を除去することで、再度、注目物体の高解像度部分映像を再度取得できるようにして、予測外れをリカバリする。
【００５１】
記画像処理部３２は、外部よりロードされて保存された画像処理プログラムの実行又は外部からの指示により映像切出し位置を決定する。
【００５２】
本発明の映像入力装置は、更に、低解像度全体映像走査部１４により出力される低解像度全体映像データ及び高解像度部分映像走査部１６により出力される高解像度部分映像データをアナログ映像信号に変換して伝送路を介して外部の画像処理装置に伝送する映像伝送部を備える。ここで記映像伝送部は、前記低解像度全体映像データと前記高解像度部分映像データを各々アナログ映像信号に変換して並列的に伝送する。
【００５３】
このように低解像度全体映像データと高解像度部分映像データを各々アナログ映像信号に変換して伝送することで、離れた場所に設置されている外部の画像処理装置を利用して低解像度全体映像と高解像度部分映像に基づいた任意の画像認識などの処理が実現できる。
【００５４】
【発明の実施の形態】
図２は、本発明による画像入力装置の実施形態のブロック図である。図２において、本発明の画像入力装置は、画素アレイ１２を備えた固体撮像素子１０、低解像度全体映像走査部１４、高解像度部分映像走査部１６、タイミング発生部１８、切替部２０、切替器２２−１，２２−２、低解像度全体映像蓄積部２４、全体映像データ送出部２６、高解像度部分映像蓄積部２８、部分映像データ送出部３０、画像切出し処理部３２及び画像処理プログラム保存部３４で構成される。
【００５５】
固体撮像素子１０の画素アレイ１２は、高密度に配置された高解像度を得ることのできる複数の受光素子（受光セル）を高密度に２次元配置しており、光学系により結像された像を受光素子の光電変換によって電気信号の画素値に変換する。
【００５６】
低解像度全体映像走査部１４は、切替器２２−１，２２−２が切替部２０により図示の位置ａ側に切り替えられたタイミングで、タイミング発生部１８からのタイミングクロックに基づき、画素アレイ１２の解像度を落とした撮像範囲全体の読出走査により低解像度の全体映像データを蓄積メモリを使用した低解像度全体映像蓄積部２４に出力して蓄積させる。
【００５７】
高解像度部分映像走査部１６は、切替器２２−１，２２−２が切替部２０により図示の位置ｂ側に切り替えられたタイミングで、タイミング発生部１８からのタイミングクロックに基づき、画像切出し処理部３２で指示された画素アレイ１２における高解像度を維持した撮像範囲の部分的な読出し走査により、高解像度の部分映像データを蓄積メモリを使用した高解像度部分映像蓄積部２８に出力して蓄積させる。
【００５８】
切替部２０は、低解像度全体映像走査部１４と高解像度部分映像走査部１６をフレーム周期内で切り替えて、ビデオレート（３０ｆｐｓ）以上の速度で低解像度全体映像データと高解像度部分映像データを順次出力させる。
【００５９】
画像処理部３２は、低解像度全体映像走査部１４の読出走査により画素アレイ１２から出力されて低解像度全体映像蓄積部２４に蓄積された低解像度全体映像データに基づき、次フレームにおける高解像度映像の切出し位置を自動的に決定して高解像度部分映像走査部１６に指示する。
【００６０】
この画像処理部３２に対しては画像処理プログラム保存部３４が設けられ、画像処理プログラム保存部３４に１又は複数の画像処理プログラムがロードされて予め保存されており、そのうちの必要とする画像処理プログラムを画像切出し処理部３２に導入して、低解像度全体映像に基づいて低解像度部分映像の切出し位置を自動的に決定するようにしている。
【００６１】
また画像画像処理部３２は、高解像度部分映像の切出し位置の処理結果を外部に出力しており、また外部から画像切出し位置の指示を受け、例えば画像処理プログラムに優先して高解像度部分映像走査部１６に外部指示を伝えることができる。
【００６２】
更に、全体映像データ送出部２６及び部分映像データ送出部３０は、低解像度全体映像蓄積部２４及び高解像度部分映像蓄積部２８のそれぞれに蓄積された映像データを読み出してＮＴＳＣ形式又はＶＧＡ形式の映像データに調整した後に外部に出力し、ビデオモニタなどで観察したり、更に後の説明で明らかにするように、映像伝送部を使用して、離れた位置に設置されている画像処理システムに映像データを伝送できるようにしている。
【００６３】
図３は、図２の固体撮像素子１０の説明図である。図３において、画素アレイ１２は、光電変換を行う受光素子を行列Ｎ１×Ｎ２画素、２次元配列したもので、光学レンズで集光された光像の各位置で、各受光素子は光強度を電気信号に変換する。
【００６４】
画素アレイ１２に対しては行選択回路３６と列選択回路３８が設けられ、行アドレス指定信号４４と列アドレス指定信号４６に応じて、画素アレイ１２の中の任意の画素を選択的に読み出すことができる。このような画素アレイ１２としてはＣＭＯＳ素子があり、行と列のアドレス指定信号を与えることで、２次元的に配列した画素列の任意の位置での画素値を読み出すことができる。
【００６５】
更に画素アレイ１４の出力側には、低解像度全体映像信号を出力するためのフィルタ回路部４０、高解像度部分映像信号を出力するための画素電圧出力回路部４２及びフィルタ出力電圧又は画素出力電圧をデジタルデータに変換するＡ／Ｄ変換器４５が設けられている。
【００６６】
図４は、図３の画素アレイ１２の中の受光セル（受光画素）を１つ取り出して示している。図４において、受光セル５２に対しては、行を選択する行選択線５４と列を選択する列選択線５６が設けられ、更に受光セル５２で入力光を光電変換した電圧レベルを出力する２本の出力線５８，６０を設けている。
【００６７】
受光セル５２からの出力線５８は低解像度全体映像信号を生成するためのフィルタに対する出力線であり、出力線６０は高解像度の部分映像信号を生成するための個別読出し用の出力線である。
【００６８】
図５は、図３の画素アレイ１２の出力側に設けられている低解像度全体映像信号を生成するためのフィルタ回路部４０の１つのフィルタと、これに対応した受光セルを示している。図５において、フィルタ６２−１１に対しては、行列３×３の合計９個の受光セル５２−１１〜５２−３３が割り当てられ、それぞれより図４の受光セル５２におけると同じ出力線５８がフィルタ６２−１１に入力されている。
【００６９】
９つの受光セル５２−１１〜５２−３３は、行方向３本及び列方向３本の各行選択線及び列選択線に一斉にアドレス指定信号を与えることで、それぞれの画素電圧が一斉に読み出されてフィルタ６２−１１に入力する。フィルタ６２−１１は、入力した画素電圧の加算値または平均値を求めて出力するもので、この例にあっては平均値を出力している。
【００７０】
このように複数の受光セル５２−１１〜５２−３３の平均値（または加算値）をフィルタ６２−１１で求めることは、画素アレイにおける空間的な解像度を落とすことを意味する。この例では行列３×３画素を１つのグループセルとしてフィルタ６２−１１で平均値を出力していることから、空間的な解像度を（１／３）×（１／３）に落としている。
【００７１】
図６は、図５のフィルタと９つの受光セルで構成される低解像度映像用グループセルの２次元配置の説明図であり、図３の画素アレイ１２における左上隅の行列６×６画素を例にとって示している。ここで、１つのグループセルを行方向のｉと列方向のｊによりＳｉｊで表わすと、４つのグループセルはグループセルＳ１１，Ｓ１２，Ｓ２１，Ｓ２２で表わすことができる。
【００７２】
そして、それぞれのセルに対しては行選択線５４−１〜５４−９と列選択線５６−１〜５６−９が設けられており、グループセルＳ１１〜Ｓ２２単位に読み出してフィルタにより低解像度画素出力を得る際には、各グループセルＳ１１〜Ｓ２２の中の９つの受光セルを特定する３本の行選択線と３本の列選択線に同時にアドレス指定信号を与えることで、選択されたグループセルの９つの受光セルから画素電圧を読み出してフィルタに入力し、画素電圧の平均電圧（または加算電圧）を低解像度画素値として出力することができる。
【００７３】
図７は、低解像度映像信号を読み出す際の画素アレイ１２をグループセルＳ１１〜Ｓ４４の部分について表わしており、グループセルＳ１１〜Ｓ４４に対する行選択線５４−１〜５４−１２及び列選択線５６−１〜５６−１２につき３本単位にアドレス指定信号を入力することで、任意のグループセルを指定した読出しができる。
【００７４】
これに対し高解像度映像信号を読み出す場合には、図６における行選択線５４−１〜５４−９及び列選択線５６−１〜５６−９の行列１本ごとにアドレス指定信号を与えることで、任意の受光セルを選択した高解像度映像信号の読出しができる。
【００７５】
図８は、図３の画素アレイ１２におけるアレイサイズ、低解像度画素サイズ及び高解像度部分画素サイズの関係を示している。図８（Ａ）は画素アレイ１２における実際の受光セルのアレイサイズであり、行列Ｎ１×Ｎ２画素の画素サイズを持っている。
【００７６】
このような行列Ｎ１×Ｎ２の画素サイズを持つ画素アレイ１２の解像度を落とした読出し走査で、図８（Ｃ）のようなサイズの小さな行列ｍ１×ｍ２、例えばＮＴＳＣの行列５１２×４８０画素又はＶＧＡの行列６４０×４８０画素の低解像度全体画像領域６４を生成する場合には、図８（Ｂ）に示す行列ｎ１×ｎ２のグループセル領域６３を定め、これを図８（Ａ）のように画素アレイ１２のグループセルＳ１１〜ＳＮ１Ｎ２に割り当てる。
【００７７】
ここで画素アレイ１２、グループセル６２及び低解像度全体画像領域６４の画素サイズの間には次式の関係がある。
【００７８】
【数１】
【００７９】
但し、は小数を切り捨てて整数化することを表す。
このような行列ｎ１×ｎ２のサイズを持つグループセル６２を１単位として、図５に示したような１つのフィルタに対する受光セルからの出力線５８による入力接続として平均値（または加算値）を求めることで、図８（Ａ）の画素アレイ１２における行列Ｎ１×Ｎ２の高解像度の画素領域を、図８（Ｃ）のような行列ｍ１×ｍ２のサイズの低解像度全体画像領域６４となるように解像度を落とすことができる。
【００８０】
また、複数の受光セルでグループセルを構成してフィルタにより平均値または加算値を求めて解像度を落とした画素値として出力する局所平均化処理を行うことによって、映像の高周波成分が低解像度の映像に偽の情報を形成するエリアジングを抑え、画像処理に良好な低解像度全体映像を得ることができる。
【００８１】
更に、図８（Ａ）の画素アレイ１２の中には、図２の画像処理部３２より高解像度部分映像走査部１６に指示される高解像度部分映像の切出し領域６５を示している。この切出し領域６５は行列ｋ１×ｋ２の画素サイズを持っており、このｋ１×ｋ２の画素サイズは基本的には図８（Ｃ）の低解像度全体画像領域６４と同一サイズとする。
【００８２】
例えば低解像度全体画像領域６４がＮＴＳＣの行列５１２×４８０画素又はＶＧＡの行列６４０×４８０画素であれば、高解像度部分映像の切出し領域６５の行列ｋ１×ｋ２の画素サイズも、同じくＮＴＳＣの行列５１２×４８０画素又はＶＧＡの行列６４０×４８０画素とする。
【００８３】
勿論、高解像度部分映像の切出し領域６５における行列ｋ１×ｋ２の画素サイズは、低解像度全体映像領域６４と同一サイズには減退されず、ビデオレート以上での読出し操作を条件に、実際に詳細画像を得たい注目物体の注目部分の大きさに応じて任意に設定することができる。
【００８４】
図９は、図３の画素アレイ１２における低解像度全体映像信号の読出走査のタイミングチャートを部分的に示している。図９にあっては、３つずつの列アドレス指定信号Ｃ１〜Ｃ３、Ｃ４〜Ｃ６、Ｃ７〜Ｃ９について、時刻ｔ１，ｔ２，ｔ３のタイミングで同時に供給し、これに対応して行アドレス指定信号Ｌ１，Ｌ２，Ｌ３を時刻ｔ１から継続的に与えることで、時刻ｔ１〜ｔ３のそれぞれで同時に９個の受光セルを指定して、グループセル単位に一斉に画素電圧を対応するフィルタに読み出して、フィルタから平均化された画素電圧を出力するようにしている。
【００８５】
図１０は、図８（Ａ）における高解像度部分となる切出し領域６５の読出し走査のタイミングチャートの一部を示している。
【００８６】
図１０にあっては、時刻ｔ１で画像切出し位置の先頭アドレスに対応した行アドレス指定信号Ｌｉを出力した状態で、同じく時刻ｔ１より列アドレス指定信号Ｃｊ〜Ｃｊ＋ｋ２を順次出力して受光する単位に読み出した後、時刻ｔ３で次の行の行アドレス指定信号Ｌｉ＋１を供給し、列アドレス指定信号Ｃｊ〜Ｃｊ＋ｋ２の順次出力を同様に繰り返し、行アドレス指定信号がＬｉ＋ｋ１（図示せず）に達するまで、これを繰り返す。
【００８７】
図１１は、図２の切替部２０によるフレーム周期ごとの低解像度全体映像と高解像度部分映像の読出走査タイミングの説明図である。
【００８８】
図１１において、ビデオレートにおける１／３０秒となるフレーム周期におけるタイミングを見ると、まず最初のＴ１時間の間、レンズ系を通じて入射する光像を画素アレイ１２の配列セルで受光して光電変換により電荷を蓄積する露光（画素値蓄積）６６−１を行わせる。
【００８９】
この露光６６−１の時間Ｔ１の終了と同時に、切替器２２−１を低解像度全体映像走査部１４側に切り替え、同時に切替器２２−１も低解像度全体映像蓄積部２４側に切り替える走査選択６８−１をＴ２時間で行う。これによって、低解像度全体映像を読出走査するための回路系統が確立される。
【００９０】
次にＴ３時間に亘り低解像度全体映像走査部１４からの走査信号によるフィルタ単位に入力接続しているｎ１×ｎ２サイズのグループセル単位の読出し走査により、画素アレイ１２より低解像度全体映像信号を出力し、これをデジタルデータに変換した後、低解像度全体映像蓄積部２４に蓄積する。
【００９１】
次にＴ４時間のタイミングで切替器２２−１を高解像度部分映像走査部１６側に切り替えると同時に、切替器２２−２を高解像度部分映像蓄積部２８側に切り替える走査選択７２−１を行う。
【００９２】
そして次のＴ５時間に亘り、高解像度部分映像走査部１６からの行及び列アドレス指定信号により、画像処理部３２から指示された行列ｋ１×ｋ２画素サイズの高解像度部分映像の切出し領域について、受光セル単位の読出走査を行って高解像度部分映像信号を出力し、これをＡ／Ｄ変換器でデジタルデータに変換した後、高解像度部分映像蓄積部２８に蓄積する。
【００９３】
次フレームについても、同様に、露光６６−２、走査選択６８−２、低解像度全体映像読出し７０−１（図示せず）、高解像度部分映像読出し７０−２（図示せず）を繰り返す。また次フレームにあっては、前フレームで低解像度全体映像蓄積部２４及び高解像度部分映像蓄積部２８のそれぞれに保存されている映像データについて、全体映像データ送出部２６及び部分映像データ送出部３０でそれぞれ所定形式の１つの映像データとして必要な整形を施した後、低解像度全体映像データ及び高解像度部分映像データとして外部に出力する。
【００９４】
更に、露光、走査選択、低解像度全体映像読出し、走査選択及び高解像度部分映像読出しが行われているフレーム周期にあっては、画像処理部３２が低解像度全体映像蓄積部２４に蓄積されている前フレームの低解像度全体映像データに基づいて高解像度部分映像の切出し位置を決定し、高解像度部分映像走査部１６に次フレームの切出し位置を指示している。
【００９５】
この実施形態にあっては、画像処理部３２は前フレームの低解像度全体映像データに基づいて高解像度部分映像の画像切出し位置を画像処理プログラムに基づいて決定しているが、装置外部より指定した切出し位置の高解像度部分映像を取得できるようにするため、外部指示による画像切出しのモードを選択することもできる。
【００９６】
この外部指示モードを選択することで、画像処理部３２に外部から画像切出し位置を示す指示信号が入った場合には、画像処理プログラムに優先して外部指定された位置の高解像度部分映像を取得することが可能となる。もちろん、外部からの指示に対するモードをオフしている場合には外部からの指示信号は無視し、画像処理プログラムによる自動的な高解像度部分映像の切出し位置の指定を行うことができる。
【００９７】
次に図２の画像入力装置に設けている画像処理部３２の高解像度部分映像を取得するための処理として、広範囲を移動する複数の物体を注目物体として、その詳細映像を取得する処理を説明する。
【００９８】
このような画像処理部３２における高解像度部分映像として詳細映像を取得する処理は、移動物体を追跡する以外に任意の処理が可能であり、画像処理の内容は画像処理プログラム保存部３４に保存されている画像処理プログラムに依存しており、この説明も画像処理プログラムの一例に過ぎない。
【００９９】
図１２は、広範囲を移動する複数物体についての詳細画像を得るための、本発明の映像入力装置による観測状態の説明図である。本発明の映像入力装置１００は、移動する複数の物体を映像範囲に捕らえることのできる適宜の位置に設置され、例えば物体９５，９６が往来する箇所を撮影している。ここで物体９５は移動ベクトル９５−１の方向に移動しており、また物体９６は移動ベクトル９６−１の方向に移動している。
【０１００】
このとき本発明の映像入力装置１００によって、例えば図１３に示すような低解像度全体映像９８が得られ、同時に低解像度全体映像９８の中の移動している物体９５について、設定された着目部分１０５の高解像度部分映像１０４が得られ、物体９５の先端の着目部分１０５の詳細映像、例えば文字の映像を取得することができる。
【０１０１】
このようにして本発明の映像入力装置１００で所得される低解像度全体映像９８の目的は、広範囲の監視領域の中のどこに物体が存在していて、高解像度部分映像として取得するべき着目部分があるかを判別するためであり、広範囲を撮影していることからひとつの映像入力装置１００で撮影できる空間を広くとることができる特徴を持っている。
【０１０２】
また高解像度部分映像１０４は着目部分だけを選択して得られた着目部分の詳細映像であり、全体を見ていたのでは解像度不足でつぶれてしまうような、例えば文字情報までをもれなくとらえることができるという特徴を持つ。
【０１０３】
これらふたつの低解像度全体映像９８と高解像度部分映像１０４の画像サイズを、例えばＶＧＡの行列６４０×４８０画素に設定することで、２つの映像を３０ｆｐｓのビデオレート以上の高速なレートで取得することができ、時々刻々位置が変化する移動物体に対しても対処することができる。また本発明の映像入力装置１００は全体映像を常にとらえることができるので、複数の物体が往来する場合でも常に全ての物体の位置を特定できる点に特徴を持つ。
【０１０４】
図１４は、図２の画像処理部３２において、広範囲を移動する複数の物体を対象に、物体の着目部分の詳細映像を得るための処理プログラムにより実現される画像処理機能のブロック図である。
【０１０５】
図１４において、画像処理部３２は画像処理プログラムの機能として、物体領域抽出部７６、着目位置算出部８０、背景映像更新部８２及び切出し位置予測決定部８４を備え、更に処理に必要な量を格納したデータベースとして背景映像データベース７８と検出済み物体映像データベース８４を備えている。
【０１０６】
物体領域抽出部７６は、低解像度全体映像データ８６を入力し、背景映像データベース７８に前フレームで更新されて格納されている背景映像データとの差分から画素値に一定値以上の変化のある箇所を物体領域として検出し、この物体領域の画像を取得した後に、物体領域画像から画像領域の塊を抽出することで、物体の位置を算出して、物体部映像８８として着目位置算出部８０に送る。一方、画素値の変化が少なかった箇所を背景部映像データ９０として背景映像更新部８２に出力する。
【０１０７】
着目位置算出部８０は、入力した物体部映像８８による複数物体の領域情報から次フレームで撮影すべき物体と、その物体の映像中での着目位置を決定する。この着目位置の検出には検出済み物体映像データベース８５に保存している前フレームで更新された検出済み物体映像データが利用される。
【０１０８】
切出し位置予測決定部８４は、着目位置算出部８０で得られた着目位置データ９２による着目箇所の画像中での位置と、前フレームまでの観測において得られた該当する物体の動く情報を元に、次フレームでの位置を予測し、次フレームにおいて高解像度部分映像を取得すべき画像の切出し位置を決定し、切出し位置情報９４を図２の高解像度部分映像操作部１６に出力する。
【０１０９】
背景映像更新部８２には、物体領域抽出部７６で得られた背景部映像データ９０により、背景映像データベース７８に蓄積している前フレームの背景映像における該当画素を更新し、次フレーム以降の移動物体の検出に備える。
【０１１０】
次に図１４の画像処理部３２による各処理を図１５及び図１６を参照して具体的に説明する。
【０１１１】
まず図１４の物体領域抽出部７６は、例えば図１５（Ａ）のような低解像度全体映像を入力映像１０６として入力したとする。この入力映像１０６には物体１１４，１１６が存在し、その手前に別の物体１１８，１２０が存在している。
【０１１２】
このとき背景映像データベース７８には図１５（Ｂ）のような背景映像１０８が保存されていたとする。即ち、背景映像１０８には物体１１４，１１６が存在している。そこで物体映像抽出部７６は、入力映像１０６と背景映像１０８の各画素について画素値の差分をとり、差分値と予め決められた閾値との大小を比較して閾値以上となる画素を移動物体の画素としてラベルをふり、閾値より小さい画素を非移動物体の画素として別のラベルをふる。
【０１１３】
ここで画素値の差分を求める操作ＦＤの実現方法については、特別な制限は受けないが画像がモノクロかカラーか、或いは用途に応じて任意に定めることができる。例えば画像がモノクロの場合は、
【０１１４】
【数２】
【０１１５】
によって画素値の差分を求めることができる。
【０１１６】
このような物体領域抽出部７６の処理によって、図１５（Ｃ）のような物体部映像１１０と図１５（Ｄ）のような背景部映像１１２が生成され、物体部映像１１０は着目位置算出部８０に出力され、背景部映像１１２は背景映像更新部８２に出力される。
【０１１７】
ここで物体部映像１１０には背景映像１０８には存在しない新たに物体１１８，１２０が含まれ、一方、背景部映像１１２は入力映像１０６から物体部映像１１０における物体１１８，１２０を削除した映像となっている。
【０１１８】
続いて着目位置算出部８０において、物体領域抽出部７６から物体部映像データ８８を入力し、物体を示す塊ごとに異なるラベルを付した物体ラベル画像を生成する。即ち、物体領域抽出部７６からの物体部映像データ８８は物体部分を表す画素に物体を示すラベルが付られた物体点画像であることから、着目位置算出部８０にあっては、物体ラベルが付してある画素の種類を調べ、物体ラベルを持つ画素が転結する塊を抽出し、塊ごとに異なるラベルを付した物体ラベル画像を生成する。
【０１１９】
図１６（Ａ）は着目位置算出部８０で算出される物体ラベル画像１２２の一例であり、この例では、３つの物体１３０，１３２，１３４、例えば３人の人物が得られている状況を表している。
【０１２０】
続いて、図１６（Ｂ）のような前フレームまでの処理で生成しておいた高解像度部分映像による詳細映像を取得済みの物体１３６が存在する検出済み物体映像１２４と、図１６（Ａ）の物体ラベル映像１２２を図１６（Ｃ）のように重ね合わせたラベル重ね合わせ映像１２６を生成し、検出済み物体映像１２４の検出済み物体１３６に対する物体ラベル画像１２２における物体１３０，１３２，１３４のそれぞれにおける重なり度合を抽出した図１６（Ａ）の重なり部分抽出映像１２７を抽出する。
【０１２１】
この重なり部分抽出映像１２７について、検出済み物体１３４に対しては、前フレームの物体１３６が重なり１３４を持ち、物体１３０，１３２は重なりを持たない。そこで重なり度合の判定にあっては、重なり度合が十分に低い閾値以下の物体１３０，１３２を未検出物体として抽出する。
【０１２２】
更にこの例のように未検出物体１３０，１３２が複数検出された場合には、未検出物体群の中からもっとも映像の外側、あるいは映像の外部にはずれる可能性の高い未検出物体をひとつ選択する。図１６（Ｄ）の例では、映像の最も左側の物体１３０が未検出の着目物体として選択される。
【０１２３】
更に選択された着目物体１３０の領域の中で、高解像度部分映像として撮影したい着目箇所、例えば人の場合には最も情報のある顔の部分の全体映像中での位置を求め、これを着目位置９２として切出し位置予測検出部８４に出力する。
【０１２４】
また着目位置算出部８０にあっては、次フレームでの判断処理に使用する検出済み物体映像データベース８４の検出済み物体画像を更新する。具体的には図１６（Ｅ）のように、未検出物体として検出された着目物体１３０と、図１６（Ｄ）の重なり部分抽出映像１２７において、重なり１４０を持つ重なり度合が閾値以上と判定された検出済み物体１３４とをコピーし、更新された検出済み物体映像１２８を生成して検出済み物体映像データベース８５に格納する。
【０１２５】
続いて切出し位置予測検出部８４において、前フレームの処理により得られた着目箇所の位置と、詳細映像を撮影する対象が前フレームまでにすでに観測されていた場合には、前フレームでの着目箇所の位置と過去の動きの履歴とを用いて運動モデルを生成し、次フレームで観測されるべき位置を予測し、その予測位置を高解像度部分映像による詳細映像を取得するための切出し位置データ９４として決定して出力する。
【０１２６】
この場合、切出し位置データ９４を出力した着目物体については次フレームで詳細映像を取得できるため、この時点で過去の動き履歴情報は削除する。
【０１２７】
一方、詳細映像を作成する対象が前フレームで初めて表れた場合には、過去の移動履歴が存在しないため着目位置算出部８０で算出された着目位置データ９２を詳細映像を取得するための切出し位置データ９４として、そのまま出力する。
【０１２８】
切出し位置予測に用いる運動モデル及び次フレームでの位置を予測する位置予測の方法は、適宜の方法を採用することができるが、例えば運動モデルは等直線運動とし、過去位置フレームの位置、即ち直前の位置を用いれば次式で与えられる。
【０１２９】
【数３】
【０１３０】
最後に背景映像更新部８２において、物体領域抽出部７６で得られた、例えば図１５（Ｄ）の背景部映像１１２と背景映像データベース７８に保存されている、例えば図１５（Ｂ）の背景映像１０８とを用いて、新たな背景映像を作成する更新処理を行う。この背景映像の更新処理は、具体的には図１５（Ｄ）の背景部画像１１２の中で値を持つ画素ごとにその画素値Ｐ１（ｘ，ｙ）と、座標を同一とする背景映像１０８の中の画素の値
【０１３１】
【数４】
【０１３２】
を用いて新たな背景映像１０８の中の画素の値
【０１３３】
【数５】
【０１３４】
を作成する。この画素値の生成に用いる更新式は適宜の更新式を用いることができるが、例えば混合係数β（０≦β≦１）を用いて以下のように表すことができる。
【０１３５】
【数６】
【０１３６】
図１７は、図４の画像処理部３２の処理手順を示したフローチャートである。図１７において、まずステップＳ１で低解像度全体映像データとデータベース７２からの背景映像データを読み込み、ステップＳ２で両者について画素単位の差分映像データを生成した後、ステップＳ３で閾値以上の差分画素値の画素領域に移動物体を示すラベル付して物体部映像を生成し、ステップＳ４で閾値未満の差分画素値の画素領域に非移動物体を示すラベルを付して背景部映像を生成する。
【０１３７】
続いてステップＳ５で物体部映像に対する画素値の輪郭探索により一塊の領域となる物体を抽出して、物体ごとに異なるラベル付けを行う。続いてステップＳ６でデータベースから取得した前フレームの検出済み物体映像とステップＳ５でラベル付けが済んだ物体映像とを重ね合わせ、重ね度合いが閾値以下を未検出物体と判定する。
【０１３８】
続いてステップＳ７で未検出物体が複数か否かチェックし、複数であった場合には捨てプＳ８で映像から外れる可能性の高い物体を選択する。続いてステップＳ９で選択した物体の着目部分、例えば人であれば顔の部分を着目部分として、ここを詳細映像の取得位置に決定する。
【０１３９】
次にステップＳ１０で選択した物体と検出済み物体をコピーして次フレーム用に検出済み物体映像を更新する。続いてステップＳ１１で物体着目部分の履歴から運動モデルを生成して、次フレームの位置を予測し、ステップＳ１２で予測位置を映像切出し部に決定して出力する。
【０１４０】
尚、ステップＳ１１，Ｓ１２の処理は着目物体が初めて出現した場合には、ステップＳ９で決定した取得位置をそのまま出力することになる。続いてステップＳ１３で前フレームで生成した背景部映像を用いて背景映像データベース７２に保存している前フレームの背景映像を更新する。このようなステップＳ１〜Ｓ１３の処理をフレームごとに実行することになる。
【０１４１】
図１８は、本発明による映像入力装置の第２実施形態のブロック図であり、この実施形態にあっては、画像処理部３２−１に対し低解像度全体映像データに加えて、更に高解像度部分映像データを入力して任意の画像処理を行うようにしたことを特徴とする。
【０１４２】
図１８において、画像アレイを備えた固体撮像素子１０、低解像度全体映像走査部１４、高解像度部分映像走査部１６、タイミング発生部１８、切替部２０、切替器２２−１，２２−２、低解像度全体映像蓄積部２４、全体映像データ送出部２６、高解像度部分映像蓄積部２８、部分映像データ送出部３０は次の実施形態と同じである。
【０１４３】
これに加えて第２実施形態にあっては、画像処理部３２−１が設けられ、画像処理３２−１に対しては低解像度全体映像蓄積部２４から低解像度全体映像データが入力すると同時に、更に高解像度部分映像蓄積部２８より高解像度部分映像データが入力するようにしたことを特徴とし、低解像度全体映像データと高解像度部分映像データの両方、或いは一方の高解像度部分映像データのみを用いて、高解像度部分映像の切出し位置を決定する処理を含む任意の画像処理を行うことを可能としている。
【０１４４】
図１９は、図１８の画像処理部３２−１の機能構成のブロック図である。図１９において、画像処理部３２−１は、物体領域抽出部７６、背景映像データベース７８、着目位置算出部８０、背景映像更新部８２、切出し位置予測決定部８４及び検出済み物体映像データベース８５を備える点は第１実施形態における図１４の画像処理部３２と同じであるが、これに加えて高解像度部分映像データ１３８を入力して処理する予測ずれ検出部１４０を新たに設けたことを特徴とする。
【０１４５】
予測ずれ検出部１４０は、切出し部位置予測決定部８４で予測を行う前の着目位置算出部８０で算出された着目位置周辺の低解像度全体映像データを前フレームにおいて予測低解像全体映像データとして保存しておき、この予測低解像度全体映像データと前フレームで取得した高解像度部分映像データ１３８を比較する。
【０１４６】
このような前フレームの着目位置周辺の予測低解像映像と前フレームの高解像度部分映像とを比較することで両者が大きく異なる場合には、着目部分の高解像度部分映像を得るための位置の予測が測れていると判断し、着目位置算出部８０に対し、着目物体の高解像度部分映像である詳細映像の未取得１４２を通知し、着目位置算出部８０の状態を前フレームで算出した着目物体を再度抽出可能な状態に変更する。
【０１４７】
即ち、着目位置算出部８０に対し設けている検出済み物体映像データベース８５における前フレームで更新した検出済み物体映像の中から前フレームで算出した着目物体の物体映像を削除し、着目物体について高解像部分映像を更に取得できるように設定する。
【０１４８】
具体的には前フレームで例えば図１６（Ｅ）のような更新済みの検出済み物体画像１２８が保存されていたとすると、物体１３０が注目物体であることから、この注目物体１３０に相当する物体ラベルを除去し、図１５（Ｂ）のような検出済み物体映像１２４に変更する。
【０１４９】
このため所属した注目部分の高解像度部分映像が得られずに予測はずれとなった場合には、前フレームと同じ処理によって再度、同じ着目物体についての高解像度部分映像を取得することができる。
【０１５０】
図２０は、図１９における画像処理の手順のフローチャートである。図２０においてステップＳ１〜Ｓ５の処理は図１７のフローチャートと同じであり、これに続いてステップＳ６で新たに予測ずれ検出処理を設けている。
【０１５１】
これに続くステップＳ７〜Ｓ１０は図１７のステップＳ６〜Ｓ９の処理と同じであるが、ステップＳ１０において選択した着目位置周辺の低解像度映像を次フレームの予測はずれ検出に使用する予測低解像度映像として保存する点が相違する。残りのステップＳ１２〜Ｓ１５は図１７のステップＳ１０〜Ｓ１３の処理と同じである
図２１は、図２０のステップＳ６の予測ずれ検出処理の詳細な手順のフローチャートである。図２１において、予測ずれ検出処理はステップＳ１で高解像度部分映像を読み込み、ステップＳ２で前フレームで保存された運動能力により位置を予測する前の着目位置周辺の予測低解像度映像データを読み込んで比較する。
【０１５２】
この比較によりステップｓ３で両者をのマッチング度合いが予め定められた閾値以下となって大きく相違することが判定された場合には、ステップＳ４で前フレームの着目物体を検出済み物体映像から削除し、ステップＳ７にリターンしてそれ以降の処理において前フレームの着目物体について再度、高解像度部分映像を取得できるように切出し位置の決定を行う。
【０１５３】
図２２は、本発明の画像入力処理で得られた低解像度全体映像と高解像度部分映像のそれぞれを外部の画像処理装置に転送して、任意の画像処理を可能とする本発明の他の実施形態のブロック図である。
【０１５４】
図２２において、図２もしくは図１８の実施形態に示した本発明の映像入力装置１００に対しては、映像送信部１４６が設けられている。映像送信部１４６には、映像入力装置１００から出力された低解像度全体映像データを、例えばＮＴＳＣなどのアナログ映像信号に変換するＤ／Ａ変換器１５６と、変換されたアナログ映像信号を伝送路１４５に送信する映像送信器１５８を備えている。
【０１５５】
また映像入力装置１００から出力される高解像度部分映像データをＮＴＳＣなどのアナログ映像信号に変換するＤ／Ａ変換器１６０と、変換されたアナログ信号を伝送路１４５に送信する映像送信器１６２を設けている。
【０１５６】
この映像入力装置１００からの伝送路１４５に対しては、外部の離れた位置に設置されている画像処理装置１５０が映像受信部１４８を介して接続される。映像受信部１４８には、映像受信器１６４，１６８及びＡ／Ｄ変換器１６６，１７０が設けられている。
【０１５７】
映像受信器１６４は伝送路１４５を介して映像入力装置１００側から送られた低解像度全体映像のアナログ映像信号を受信し、Ａ／Ｄ変換器１６６でデジタルデータに変換して画像処理装置１５０に入力する。映像受信器１６８は伝送路１４５を介して映像入力装置１００より送信された高解像度部分映像のアナログ映像信号を受信し、Ａ／Ｄ変換器１７０でデジタルデータに変換して画像処理装置１５０に入力する。
【０１５８】
これによって画像処理装置１５０は、本発明の映像入力装置１００で取得された低解像度全体映像と高解像度部分映像を３０ｆｓｐのビデオレート以上のフレームレートで受信し、低解像度全体映像と本発明の映像入力装置１００側の自動追跡で取得されている着目箇所の高解像度部分映像を用いて、高解像部分映像として得られた詳細映像について特定の認識処理を行うような機能を分散的に実行することができる。
【０１５９】
また映像入力装置１００側にはデータ伝送部１５２が設けられ、データ伝送部１５２にはデータ送信器１７２とデータ受信器１７４が設けられている。これに対し外部の画像処理装置１５０側にもデータ伝送路１５４が設けられ、データ受信器１７６とデータ送信器１７８を備えている。
【０１６０】
データ送信器１７２とデータ受信器１７４は、映像入力装置１００側に設けている図２の画像処理部３２または図１４の画像処理部３２−１で決定された高解像度部分映像の切出し位置の位置情報を外部の画像処理装置１５０に伝送路１５４を介して伝送する。
【０１６１】
またデータ送信器１７８とデータ受信器１７６は、外部の画像処理装置１５０から本発明の映像入力装置１００に対して、高解像度部分映像の切出し位置の指示情報を伝送路１５４を介して伝送して映像入力装置１００に外部指定する。
【０１６２】
このような図２２の実施形態によれば、外部の画像処理装置１５０に対し、本発明の映像入力装置１００より全体映像と部分映像を伝送することで、２つの映像を用いた任意の認識処理について機能を分離した処理ができる。また画像処理の複雑さに応じ、処理を本発明の映像入力装置１００側と外部の１または複数の画像処理装置１５０側に振り分け、処理が複雑になると任意の規模を持つ画像処理システムを構築することができる。
【０１６３】
また映像入力装置１００から画像処理装置１５０に伝送する映像情報をアナログ信号に変換して伝送していることから、この間の伝送距離を長くとることができ、位置的に離れた場所にそれぞれ画像処理装置をおいた分散環境でのシステム構築が可能となる。
【０１６４】
図２３は、図２または図１４の実施形態で使用する固定撮像素子の他の実施形態であり、この実施形態にあっては低解像全体映像を画素アレイにおける間引き処理により生成するようにしたことを特徴とする。
【０１６５】
図２３において、画素アレイ１０−１は図３の実施形態と同様、行列Ｎ１×Ｎ２画素の高密度配置の実行セルを配置しているが、図３の実施形態で低解像度画素値を得るために行列ｍ１×ｍ２のグループセルごとに設けていたフィルタが全て除去され、これに伴い図２４に示す受光セルの構造としている。
【０１６６】
図２４の受光セルの構造にあっては、受光セル５２に対し行選択線５４と列選択線５６を設け、受光セル５２からは個別画素出力のための１本の出力線６０のみが引き出されている。
【０１６７】
このような固体撮像素子１０−１に対し、低解像全体映像の読出走査を行う図２及び図１４の低解像度全体映像走査部１４は、画素アレイ１２−１における行方向については、行選択回路３６に対し行アドレス指定信号４４としてｎ１画素ごとに読み飛ばしたアドレス指定を行い、列方向となる列選択回路３８に対する列アドレス指定信号４６としてはｎ２画素ごとに読み飛ばしたアドレス指定を行うことで、行列Ｎ１×Ｎ２画素からｍ１×ｍ２画素の低解像度全体映像を読み出すことができる。
【０１６８】
この実施形態における画素間引き処理にあっては、映像の高周波成分が低解像度の映像に偽の情報を生成するエリアジングが起きる可能性が高いことから、この実施形態の固体撮像素子１０−１を用いた観察対象としては、観察対象の全体映像の空間周波数が比較的低い映像となる対象に絞って使用すれば、画素間引き処理による低解像度画像におけるエリアジングの問題を抑制することができる。
【０１６９】
尚、上記の実施形態は画像処理を目的とした映像入力装置の機能を主体に説明するものであったが、本発明による画像入力装置を監視用の映像センサとして使用し、ビデオレート以上で取得できる動画像としての低解像度全体映像と注目部分の自動決定で得られた高解像度部分映像をモニタにそれぞれ表示して、人間が直接監視するような監視システムに適応しても良いことはもちろんである。
【０１７０】
更に本発明で得られた低解像度全体映像と高解像度部分映像をＶＴＲやハードディスクのついてビデオ透過システムで直接透過するようなシステムに適用することも可能である。
【０１７１】
また上記の実施形態における低解像度及び高解像度の画素サイズは相対的なものであり、必要に応じて適宜の基準により低解像度と高解像度の関係を設定することができる。
【０１７２】
また上記の実施形態にあっては、本発明の映像入力装置より取得される低解像度全体映像と高解像度部分映像の画素サイズを同一サイズとして出力する場合を例にとっているが、３０ｆｐｓのビデオレートを下回らない範囲で高解像度部分映像の映像サイズを更に大きくしても良いし、低解像度全体映像の画素サイズより小さい画素サイズとしても良い。
【０１７３】
また本発明は上記の実施形態に限定されず、その目的と利点を損なうことのない適宜の変形を含む。更に本発明は上記の実施形態に示した数値よる限定は受けない。
【０１７４】
ここで本発明の特徴を列挙すると、次の付記のようになる。
（付記）
（付記１）
結像された像を光電変換によって電気信号の画素値に変換する複数の受光素子を高密度に配置した高解像度の画素アレイを有する固体撮像素子と、
前記画素アレイの解像度を落とした撮像範囲全体の読出走査により低解像度の全体映像データを出力する低解像度全体映像走査出部と、
前記画素アレイの高解像度を維持した撮像範囲の部分的な読出走査により高解像度の部分映像データを出力する高解像度部分映像走査部と、
前記低解像度全体映像走査部と高解像度部分映像走査部を予め定めたフレーム周期内で切り替えてビデオレート以上の速度で前記低解像度全体映像データと高解像度部分画像データとを順次出力させる切替部と、
前記低解像度全体映像走査部により出力された低解像度全体映像データに基づいて次フレームにおける高解像度部分映像の切出し位置を自動的に決定して前記高解像度部分映像走査部に指示する画像処理部と、
を備えたことを特徴とする映像入力装置。（１）
【０１７５】
（付記２）
付記１記載の映像入力装置に於いて、更に、
前記画素アレイの読出走査で出力された全体低解像度映像データを蓄積する低解像度全体映像蓄積部と、
前記低解像度全体映像蓄積部の蓄積画像を読出して低解像度全体映像データを所定形式の１つの映像データに整形して外部に出力する全体映像データ送出部と、前記画素アレイの読出走査で出力された分高解像度部分映像データを蓄積する高解像度部分映像蓄積部と、
前記高解像度部分映像蓄積部の蓄積画像を読出して高解像度部分映像データを所定形式の１つの映像データに外部に出力する部分映像データ送出部と、
を備えたことを特徴とする映像入力装置。
【０１７６】
（付記３）
付記１記載の映像入力装置に於いて、前記固体撮像素子は、
Ｎ１行Ｎ２列に２次元配列した複数の受光素子と、
前記複数の受光素子を個別に選択して画素値を出力させる列選択線及び行選択線と、
前記複数の受光素子に設けられた２本の出力線と、
前記Ｎ１行Ｎ２列の画素数を高解像度映像とし、それより少ないｍ１行ｍ２列の画素数を低解像度映像とした場合、前記高解像度のＮ１行Ｎ２列を前記低解像度のｍ１行ｍ２列で除して求めた整数のｎ１行ｎ２列の画素単位に各受光素子の一方の出力線を入力接続して加算又は平均を算出して出力する複数のフィルタと、
とを備え、
前記低解像度全体映像走査部は、前記複数のフィルタ単位のｎ１行ｎ２列毎に受光素子を一括選択しながらｍ１行ｍ２列のフィルタ出力を低解像度全体映像信号として出力させ、
前記高解像度部分映像走査部は、前記Ｎ１行Ｎ２列の中の切出し位置として指定されたｋ１行ｋ２列の各受光素子を走査して他方の出力線から画素値を高解像度部分映像信号として出力させることを特徴とする映像入力装置。（２）
【０１７７】
（付記４）
付記１記載の映像入力装置に於いて、前記固体撮像素子は、
Ｎ１行Ｎ２列に２次元配列した複数の受光素子と、
前記複数の受光素子を個別に選択して画素値を出力させる列選択線及び行選択線と、
を備え、
前記低解像度全体映像走査部は、前記Ｎ１行Ｎ２列の画素数を高解像度映像とし、それより少ないｍ１行ｍ２列の画素数を低解像度映像とした場合、前記高解像度のＮ１行Ｎ２列を前記低解像度のｍ１行ｍ２列で除して求めた整数のｎ１行ｎ２列毎に画素値を間引きしながら低解像度全体映像信号を出力させ、
前記高解像度部分映像走査部は、前記Ｎ１行Ｎ２列の中の切出し位置として指定されたｋ１行ｋ２列の各受光素子を走査して画素値を高解像度部分映像信号として出力させることを特徴とする映像入力装置。
【０１７８】
（付記５）
付記３又は４記載の映像撮影装置に於いて、前記低像度全体映像走査部と高解像度部分映像走査部は、前記低解像度全体映像と解像度部分映像の画素サイズが同一となるように読出走査することを特徴とする映像入力装置。
【０１７９】
（付記６）
付記３又は４記載の映像撮影装置に於いて、前記低像度全体映像走査部と高解像度部分映像走査部は、前記低解像度全体映像と解像度部分映像の画素サイズがＮＴＳＣの行列５１２×４８０画素、ＰＡＬの行列７６８×５７６画素又はＶＧＡの行列６４０×４８０画素の同一画素サイズとなるように読出走査することを特徴とする映像入力装置。
【０１８０】
（付記７）
付記１記載の映像入力装置に於いて、前記画像処理部は、
現フレームの低解像度全体映像データと前フレームの背景映像データの画素の差分値に基づいて変化のあった物体領域と変化のなかった非物体領域を抽出する物体領域抽出部と、
前記変化のなかった非物体領域を前記背景画像データに加えて更新する背景映像更新部と、
前記物体領域データと前フレームの検出済み物体データとの比較により未検出の着目物体を選択して着目位置を決定すとる共に、選択された着目物体を前記検出済み物体データに加えて更新する着目位置検出部と、
前記選択された着目物体の着目位置のフレーム履歴から求めた運動モデルに基づいて次フレームの着目位置を予測して次フレームの映像切出し位置を決定する切出し位置決定部と、
を備えたことを特徴とする映像入力装置。
【０１８１】
（付記８）
付記１記載の映像入力装置に於いて、前記画像処理部は、前記低解像度全体映像データに加え、更に前記高解像度部分映像データに基づいて次フレームにおける高解像度映像の切出し位置を自動的に決定して前記高解像度部分映像走査部に指示することを特徴とする映像入力装置。（３）
【０１８２】
（付記９）
付記６記載の映像入力装置に於いて、前記画像処理部は、
現フレームの低解像度全体映像データと前フレームの背景映像データの画素の差分値に基づいて変化のあった物体領域と変化のなかった非物体領域を抽出する物体領域抽出部と、
前記変化のなかった非物体領域を前記背景画像データに加えて更新する背景映像更新部と、
現フレームで取得された高解像度部分映像データと前フレームで蓄積された切出し位置の低解像度部分映像データとを比較し、両映像が異なる場合は、前フレームの検出済み物体映像から着目物体を除去する予測ずれ検出部と、
前記物体領域データと前記検出済み物体映像データとの比較により特定の未検出の注目物体を選択して注目位置を決定すとる共に、選択された物体を前記検出済み物体映像データに加えて更新する着目位置検出部と、
前記選択された物体のフレーム履歴から求めた運動モデルに基づいて次フレームの物体位置を予測して次フレームの切出し位置を決定する切出し位置決定部と、を備えたことを特徴とする映像入力装置。
【０１８３】
（付記１０）
付記１記載の映像入力装置に於いて、前記画像処理部は、外部よりロードされて保存された画像処理プログラムの実行又は外部からの指示により高解像度部分映像の切出し位置を決定することを特徴とする映像入力装置。（４）
【０１８４】
（付記１１）
付記１記載の映像入力装置に於いて、更に、前記低解像度全体映像走査部により出力される低解像度全体映像データ及び前記高解像度部分映像走査部により出力される高解像度部分映像データをアナログ映像信号に変換して伝送路を介して外部の画像処理装置に伝送する映像伝送部を備えたことを特徴とする映像入力装置。（５）
【０１８５】
（付記１２）
付記１１記載の映像入力装置に於いて、前記映像伝送部は、前記低解像度全体映像データと前記高解像度部分映像データを各々アナログ映像信号に変換して並列的に伝送することを特徴とする映像入力装置。
【０１８６】
【発明の効果】
以上説明してきたように本発明によれば、観察対象の情景全体については低解像度の全体映像として取得され、その中の部分的な着目箇所についてのみ高解像度部分映像として詳細映像を取得することができ、例えば低解像度全体映像と高解像度部分映像のサイズを同一とした場合、高解像度部分映像の解像度を非常に高くとったとしても、２つの映像の全体的な情報量は低解像度全体映像の２映像分の情報量にとすることができ、これによって低解像度全体映像と高解像度部分映像（詳細映像）とを同時にしかもビデオレート或いはそれ以上のフレームレートで取得することができる。
【０１８７】
また本発明の映像入力装置にあっては装置内に設けている画像処理部における任意の画像処理プログラムの実行によって低解像度全体映像の内容に応じて、高解像度部分映像としての詳細映像を獲得する着目部分を自動的かつ高速に選択して決定することができる。
【０１８８】
この機能を用いることで時々刻々対象が移動するまたは変動する情景を処理対象として、その時々刻々の変化に応じてフレーム毎に全体の撮影領域の全く異なる箇所を高解像度の情報を取得する位置として決定する画像処理と、この選択することでフレーム毎に全く異なる撮影位置での高解像度映像を撮影することが可能となる。
【０１８９】
また低解像度全体映像の生成について高密度画素配置をもった固体撮像素子の画素アレイについて、低解像度映像を生成するために行列画素数に区切った画素くの集合、いわゆるグループセルごとにフィルタを設けて複数の画素値を総和あるいは平均値を新たな画素値として出力する局所平均化処理によって低解像度映像を生成するため、映像の高周波成分が低解像度の映像に偽の情報を生成するエリアジングを起こすことがなく、低解像度全体映像を用いた画像処理に良好な画像を与えることができる。
【図面の簡単な説明】
【図１】本発明の原理説明図
【図２】本発明の第１実施形態のブロック図
【図３】図２の固体撮像素子の説明図
【図４】画素アレイに配置した受光セルの説明図
【図５】低解像度映像画素信号を生成する受光セルとフィルタの説明図
【図６】高解像度用受光セルと低解像度用グループセルの説明図
【図７】フィルタ単位にまとめられる低解像度映像用グループセルの２次元配置の説明図
【図８】本発明における画素アレイサイズ、低解像度画素サイズ、高解像度部分画素サイズの関係を示した説明図
【図９】本発明における低解像度全体映像信号を出力させる読出走査のタイムチャート
【図１０】本発明における高解像度部分映像信号を出力させる読出走査のタイムチャート
【図１１】本発明におけるフレーム周期毎の低解像度全体映像と高解像度部分映像の読出走査タイミングの説明図、
【図１２】本発明の映像入力装置による観測状態の説明図
【図１３】図１２の観測で得られた低解像度全体映像と注目物体の高解像度部分映像の説明図
【図１４】図２の画像処理部の機能構成のブロック図
【図１５】図１４における移動物体処理の説明図
【図１６】図１４における未検出物体抽出処理の説明図
【図１７】図１２の画像処理のフローチャート
【図１８】映像切出し処理に高輝度部分映像を使用する本発明の第２実施形態のブロック図
【図１９】図１８の画像処理部の機能構成のブロック図
【図２０】図１８の画像処理のフローチャート
【図２１】図２０の予測ずれ検出処理のフローチャート
【図２２】外部の画像処理装置に映像信号を伝送して処理させる本発明の第３実施形態のブロック図
【図２３】画素の間引き走査により低解像度全体映像を生成する本発明の第４実施形態で使用する固体撮像素子の説明図
【図２４】図２３の画素アレイに設けている受光セルの説明図
【符号の説明】
１０，１０−１：固体撮像素子
１２，１２−１：画素アレイ
１４：低解像度全体映像走査部
１６：高解像度部分映像送走査部
１８：タイミング発生部
２０：切替部
２２：切替器
２４：低解像度全体映像蓄積部
２６：全体映像データ送出部
２８：高解像度部分映像蓄積部
３０：部分映像データ送出部
３２：映像切出し処理部
３４：画像処理プログラム保持部
３６：行選択回路
３８：列選択回路
４０：フィルタ回路部
４２：画素電圧出力回路部
５２：受光セル
５４、５４−１〜５４−９：行選択線
５６，５６−１〜５６−９：列選択線
５８，６０：出力線
６２−１１：フィルタ
６３：グループセル領域
６４：低解像度全体映像領域
６５：切出し領域
６６−１，６６−２：露光
６８−１，６８−２，７２−１：選択走査
７０−１：低解像度全体映像読出
７４−１：高解像度部分映像読出
７６：物体領域抽出部
７８：背景映像データベース
８０：着目位置算出部
８２：背景映像更新部
８４：切出し位置予測決定部
８５：：検出済み物体データベース
９５，９６：物体
９５−１，９６−１：移動ベクトル
９８：低解像度全体映像
１００：映像入力装置
１０２：着目位置
１０４：高解像度部分映像（詳細映像）
１０５：着目部分
１０６：入力映像
１０８：背景映像
１１０：物体部映像
１１２：背景部映像
１２２：物体ラベル映像
１２４：検出済み物体映像
１２６：ラベル重ね合わせ映像
１２８：重なり部分抽出映像
１２８：更新された物体検出済み映像
１４２：予測ずれ検出部
１４５：伝送路
１４６：映像送信部
１４８：映像受信部
１５０：画像処理装置
１５２，１５４：データ伝送部゛
１５６，１６０：Ｄ／Ａ変換器
１５８，１６２：映像送信器
１６４，１６８：映像受信器
１６６，１７０：Ａ／Ｄ変換器
１７２，１７８：データ送信器
１７４，１７６：データ受信器
【発明の属する技術分野】
本発明は、動画処理システム等の映像入力に使用される映像入力装置に関し、特に、高解像度の固体撮像素子を用いて低解像度の全体映像と高解像度の部分映像を取得する画像入力装置に関する。
【０００２】
【従来の技術】
従来、映像入力装置において、広範囲な観測領域を確保しつつ詳細な映像情報を取得するために、ＣＣＤ撮像素子やＣＭＯＳ撮像素子といった撮像素子の実装密度を上げる一様に解像度の向上させる方法が採られている。撮像素子の解像度を高めれば、広角な光学レンズを用いて広範囲を映しても、比較的小さな対象についても十分な解像度を確保することができ、詳細な内容を取得することができる。
【０００３】
しかしながら、このように撮像素子の解像度を一様に高めると、映像の持つ情報が膨大となってしまい、映像を伝送する伝送路の容量あるいは映像を画像処理装置や表示装置に入力するための装置の入力容量に限りがあるために、映像を伝送するのに時間を要し、映像を取得できるフレームレートが非常に低下する問題があった。
【０００４】
例えば、縦横１７００×１７００画素の３００万画素の撮像素子を用いると、取得できる映像のフレームレートは８ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）程度となる。そのため、対象が移動する場合に高解像度の撮像素子を用いて撮像すると、フレームレートが低いために時々刻々位置が変化する対象に追随できない問題があり、動画像処理システムの画像入力装置としての適用は困難であった。
【０００５】
このようなフレームレートの低下を防ぐための従来技術として、撮影対象の全体映像については解像度を落とすことで画素数を減らした映像と、同時に全体の一部に限っては解像度を落とさずに高解像度の映像を撮影して画素数を増加させずに詳細映像を取得することで、全体の情報量を抑えつつ、全体の観測と部分的な詳細映像の同時取得を実現する方法が提案されている。
【０００６】
これを実現する方式として大きく、デバイスを用いる方法と複数の撮像センサを用いる方法とがある。前者としては、特許文献１にあるように、対象の撮像には受光セル（受光画素）が高密度に配置された高解像度撮像素子を使用し、高解像度映像の間引き処理によって解像度の低い全体映像としてメモリに蓄積し、また、全体映像の一部分に限っては元の高密度の映像情報を切出して詳細映像として別のメモリに蓄積し、その２つの映像を１フレーム毎あるいはそれ以上のフレーム毎に切り替えて取り出し、それぞれのメモリに蓄積された２つの映像を１つの映像に合成してＮＴＳＣ形式で出力し、ＮＴＳＣテレビモニタで映像をモニタリングできる方式を提案している。
【０００７】
また、特許文献２にあっては、高解像度の撮像素子を用いたカメラシステムを対象に、同一フレーム内の映像に対して画角合わせ用の全体映像と自動焦点調整用に部分的な詳細映像とを同時に得る方法を提案している。実現手段の概要は次のようなものである。
【０００８】
まず、１フレームの映像の各行を順次走査して、全体の映像中で低解像度映像にのみ必要となる行については、行毎の間引き処理を行うと共に、必要行については行内の画素列に対して間引き処理を施した結果を間引き映像用メモリに蓄積する。
【０００９】
詳細映像を取得すべき行では間引き処理をせずに行内の全画素の情報を別の詳細映像用メモリに蓄積する。次に、詳細映像用のメモリ内に蓄積している間引き処理をしていない部分映像について行方向および列方向の間引き処理を施し、得られた部分映像の間引き低解像度映像と、前段階で得られている間引き映像用メモリに蓄積している残りの部分の低解像度映像とを一つに合成して、全体の低解像度映像を出力する。
【００１０】
さらに、詳細映像用のメモリ内にある部分映像については、元の高解像度の行全体の映像が蓄積されているので、詳細映像として必要な箇所を切出して、部分的な詳細映像として出力している。
【００１１】
特許文献１，２に提案された方法は、全体映像と詳細映像それぞれの映像サイズは、全体の解像度からみて十分小さいので、転送すべき情報量を抑えることができ、映像のフレームレートを確保することができる。
【００１２】
続いて複数の撮像センサを用いる方法として、本願発明者にあっては、次のものを提案している（特願２００１‐１４０９２５）。この方法は、対象を映した像を二分岐光学系で分光し、一方の像は縮小光学系を用いて像全体を縮小して一つの撮像素子で全体映像を撮影し、他方の像は拡大光学系を用いて拡大された像の一部分を別の撮像素子を用いて撮影することで、部分的な詳細映像を撮影するものである。
【００１３】
その際、撮像素子をＸＹステージなど平面上で位置を可変できる機構上に取り付けることで、部分的な像を撮影する位置を全体映像中の任意の位置に変更できるることが特徴である。この方式によれば、例えば辺々を１０倍に拡大した映像の中から部分的な映像を撮影すれば、等価的に１００倍の高解像度化を実現できる。しかも、全体映像と詳細映像を撮影する撮像素子の大きさを例えばＶＧＡ（６４０×４８０画素）程度にすれば、高々ＶＧＡ２つ分の情報量に抑えることができる。
【００１４】
【特許文献１】
特開平９−２１４８３６号公報
【特許文献２】
特開２０００−３２３１８号公報
【００１５】
【発明が解決しようとする課題】
しかしながら、特許文献１，２の方法は、カメラ撮影システムにおいて画角調整と焦点調整を行う場合に人が簡便に調整できることを目的に行われたもので、ＮＴＳＣテレビモニタで人が目視調整を行うために画角調整用の全体映像と焦点調整用の部分的な詳細映像とを合成して同時に映し出すように出力したり、全体映像を常にＮＴＳＣテレビモニタで人が目視で観測しながら、ある一部分の詳細映像によって自動焦点調整したりするものである。
【００１６】
そのため、特許文献１の方法では、１つのＮＴＳＣ映像（解像度は縦横５１２×４８０画素程度）に全体映像と部分詳細映像が埋め込まれているので、それぞれの映像の持つ解像度は１／２なり、情報量が低下しているほか、全体映像と部分詳細映像は互いに独立に出力されるだけで、詳細映像として撮像する部分は予め決められた固定部分か、装置外部より直接指定する必要があるため、人の介在が必須である。
【００１７】
また、特許文献２の方法では、画角の確認用に情景全体の低解像度映像がＤ／Ａ変換によってＮＴＳＣなどアナログテレビ信号に変換され出力されるのみで、部分的な詳細映像は焦点距離の自動調整のために装置内部で使われるだけで外部への出力はない。さらに、部分的な詳細映像の取得位置は、予め決まった位置か、あるいは装置外部より人が指定した部分である。
【００１８】
一方、動画像処理システムにおける映像入力装置として考えた場合には、処理の安定化や高機能化を考えると、唯一の入力情報である映像情報は可能な限り多くする、つまり詳細な映像情報を入力する必要がある。この点を考慮すると、全体映像と部分詳細映像を１つの映像として出力するカメラシステムでは情報量が低下し、所望の性能を実現できない。
【００１９】
また、動画像処理システムでは、時々刻々対象が移動（変動）する情景を処理対象として扱い、その時々において必要な情報は変化するため、詳細な情報を得る箇所は時々刻々変化する情景中に映る内容に応じて自動的に設定する必要がある。
【００２０】
しかしながら、特許文献１，２の従来装置では、詳細映像の取得位置は装置外部より人手により指定するしかなく、映像情報に応じて詳細映像を取得する位置を変更する機能を有していないため、そのままでは動画像処理システムに必要な要求を満たすことができない。
【００２１】
その他にも従来装置では全体の低解像度映像を作り出す手段に問題がある。従来装置では、高解像度映像の単なる間引き処理によって低解像映像を作り出すが、例えば低解像度の映像の大きさを元の高解像度の映像に対して縦横１／Ｎの大きさとなるように画素を間引いたとすると、映像のサンプリング周波数が１／Ｎに低下するにもかかわらず、映像の持つ周波数帯域は変わらないため、サンプリングレートに対してＮ倍の高い周波数を持つ映像情報が入力されることになる。
【００２２】
このためサンプリング定理によって高周波部分の折り返し（エリアジング）が起こり、偽の映像となってしまう。動画像処理システムの入力映像中に偽の情報が映像に含まれると、誤認識を起こしシステムが異常動作を起こすこともある。エリアジングによる偽の情報は後段処理では除外できないので、エリアジングヲ起こすような場合には、低解像度の映像に変換する際に偽の情報を取り除くことが必須である。
【００２３】
また、特願２００１−１４０９２５では、部分的な高解像度映像を撮影する撮像素子を、ＸＹステージなどを用いて機械的な操作で移動するが、ステージの駆動部分と撮像素子自体の重量のために、移動速度をフレームレート（例えばｌ／３０秒）以内に映像の端から端まで移動するだけ高速にすることが難しく、結果としてフレームレート毎に全く異なる箇所の詳細映像を取得することは困難である。
【００２４】
任意箇所の撮影を完了するまでにＮフレーム要するとすると、高速に移動する物体を対象とする場合には、Ｎフレーム間に対象が移動するため、詳細映像を取得する位置を指定した位置から、その対象の位置がずれてしまい、詳細映像を必要とする対象を詳細映像の中央部で捕らえることが困難で、特に移動が高速の場合は詳細映像から外れてしまう問題がある。また、撮影範囲中に散在する撮影対象をフレームレート単位で撮影位置を変えながら撮影することができない問題もある。
【００２５】
本発明は、低解像度の全体映像と高解像度の部分映像とを同時にかつ高速に取得可能とする映像入力装置を提供することを目的とする。
【００２６】
【課題を解決するための手段】
図１は本発明の原理説明図である。本発明は、映像入力装置であって、結像された像を光電変換によって電気信号の画素値に変換する複数の受光素子を高密度に配置した高解像度の画素アレイ１２を有する固体撮像素子１０と、画素アレイ１２の解像度を落とした撮像範囲全体の読出走査により低解像度の全体映像データを出力する低解像度全体映像走査部１４と、画素アレイ１２の高解像度を維持した撮像範囲の部分的な読出走査によりの高解像度の部分映像データを出力する高解像度部分画像走査部１６と、低解像度全体映像走査部１４と高解像度部分映像走査部１６を予め定めたフレーム周期内で切り替えてビデオレート（３０ｆｐｓ）以上の速度で低解像度全体映像データと高解像度部分画像データとを順次出力させる切替部２０と、低解像度全体映像走査部１４により出力された低解像度全体映像データに基づいて次フレームにおける高解像度映像の切出し位置を自動的に決定して高解像度部分映像走査部に指示する画像処理部３２とを備えたことを特徴とする。
【００２７】
このため本発明によれば、情景全体については低解像度の映像として取得し、部分的な着目箇所についてのみ詳細映像として取得するので、詳細映像の解像度を非常に高くとっても、両映像の画素サイズを同一サイズとした場合、２つ映像の絶対的な情報量は高々２つの映像分に留めることができ、全体映像と詳細映像とを同時にしかもビデオレートあるいはそれ以上のフレームレートで高速に取得できる。
【００２８】
例えば通常のＮＴＳＣ（５１２×４８０画素）サイズやＶＧＡ（６４０×４８０画素）サイズのテレビカメラで広範囲の情景を撮影すると、解像度が不足して映像が潰れてしまい詳細な情報を得ることができない問題があるが、本発明を用いると、高解像度の撮像素子を使用して、全体画像については例えばＮＴＳＣの５１２×４８０画素やＶＧＡの６４０×４８０画素というように解像度を落として撮影しつつ、詳細な情報が必要な箇所については高解像度のまま撮影するので、映像が潰れることなく詳細な映像情報を得ることができる。
【００２９】
しかも、全体映像は低解像度により、また詳細映像は映像領域を一部分に絞ることで、両映像自体の大きさ（情報量）は小さく抑えられ、情報量過多による映像の撮像レートの低下を抑制してビデオレートあるいはそれ以上の速度レートで映像を得ることができる。
【００３０】
また装置内の画像処理部によって全体映像の内容に応じて詳細映像を獲得する部分を自動的かつ高速に選択することができる。
【００３１】
このとき、詳細映像の取得位置は、画素アレイの読み出し位置を電気的に制御して可変するため、機械的な操作を必要とせず、取得位置の変更に要する時間は、画像処理部で行われる次フレームでの詳細映像の撮影位置を決定する処理に要する時間と、次フレームを撮像するまでの時間間隔（フレームレート）の長い方で規定される。
【００３２】
したがって、画像処理部で行う処理をフレームレート以内に抑えれば、次フレームで撮影すべき詳細映像の箇所を現フレーム内に決定できるので、フレーム毎に全く異なる位置を撮影することが可能となる。
【００３３】
また本発明よれば、動画像処理システムに最適な映像入力ができる。動画像処理システムは、広範囲な撮像範囲を移動する比較的小さな対象物体が存在し、撮像範囲を常に観測しながら、対象物体が存在する場合には対象物体の詳細な映像（情報）を必要とし、しかも移動物体を対象とするため、詳細映像を物体の移動に追従して取得する必要があり、更に、映像の撮影レートをビデオレートあるいはそれ以上のレートで撮影しながら、詳細映像の取得位置を時々刻々変更しなければならないといった相反する条件を有するが、本発明は、このような動画像処理システム全般に適用できる。
【００３４】
また本発明は、低解像度全体映像と高解像度部分映像を後段の別の画像処理システムに対する入力情報とする高度な前処理を含む画像入力装置としても適用可能である。
【００３５】
このような画像処理システムの例として、コンベア上を流れる物体を低解像度全体映像で監視しながら、物体に貼られた小さなシールに書かれた文字を高解像度部分映像により読み取って配送を管理する物流管理システムや、領域内への侵入物の有無を低解像度全体映像で監視しながら、高解像度部分映像として得た侵入物の詳細映像を蓄積あるいは画像識別し、対象に応じて適切な警報を発する監視システムなどが挙げられる。
【００３６】
更に、その他にも、撮影範囲全体の各々の位置で高解像度部分映像を撮影し、それら映像を貼りあわせて撮影範囲全体の超高解像度の映像を作成する超高解像度静止画カメラの映像入力装置にも本発明が適用できる。
【００３７】
本発明の映像入力装置は、更に、画素アレイ１２の読出走査で出力された全体低解像度映像データを蓄積する低解像度全体映像蓄積部２８と、低解像度全体映像蓄積部２８の蓄積画像を読出して所定形式（ＮＴＳＣ又はＶＧＡ等）の１つの映像データに調整した低解像度全体映像データを外部に出力する全体映像データ送出部３０と、画素アレイ１２の読出走査で出力された分高解像度部分映像データを蓄積する高解像度部分映像蓄積部２４と、高解像度部分映像蓄積部２４の蓄積画像を読出して所定形式（ＮＴＳＣ又はＶＧＡ等）の１つの映像データに調整した高解像度部分映像データを外部に出力する部分映像データ送出部２６とを備える。
【００３８】
ここで固体撮像素子は、Ｎ１行Ｎ２列に２次元配列した複数の受光素子と、複数の受光素子を個別に選択して画素値を出力させる列選択線及び行選択線と、複数の受光素子に設けられた２本の出力線と、Ｎ１行Ｎ２列の画素数を高解像度映像とし、それより少ないｍ１行ｍ２列の画素数を低解像度映像とした場合、高解像度のＮ１行Ｎ２列を前記低解像度のｍ１行ｍ２列で除して求めた整数のｎ１行ｎ２列の画素単位に各受光素子の一方の出力線を入力接続して加算又は平均など任意の演算を行い、その結果を出力する複数のフィルタとを備える。
【００３９】
この場合、低解像度全体映像走査部は、複数のフィルタ単位のｎ１行ｎ２列毎に受光素子を一括選択しながらｍ１行ｍ２列のフィルタ出力を低解像度全体映像信号として出力させ、高解像度部分映像走査部は、Ｎ１行Ｎ２列の中の切出し位置として指定されたｋ１行ｋ２列の各受光素子を走査して他方の出力線から画素値を高解像度部分映像信号として出力させる。
【００４０】
このように低解像度全体映像の読出走査につき、画素アレイを縦横ｎ１×ｎ２画素領域に区切ってフィルタに入力して画素値の総和あるいは平均値を新たな画素値とする局所平均化処理を施して出力させることで、映像の高周波成分が低解像度映像に偽の情報を形成するエリアジングを抑え、画像処理に良好な映像を与えることができる。
【００４１】
また本発明は画素間引き処理により低解像度全体映像を生成しても良い。即ち、固体撮像素子１０は、Ｎ１行Ｎ２列に２次元配列した複数の受光素子と、複数の受光素子を個別に選択して画素値を出力させる列選択線及び行選択線と、を備え、この場合、低解像度全体映像走査部１４は、Ｎ１行Ｎ２列の画素数を高解像度映像とし、それより少ないｍ１行ｍ２列の画素数を低解像度映像とした場合、高解像度のＮ１行Ｎ２列を前記低解像度のｍ１行ｍ２列で除して求めた整数のｎ１行ｎ２列毎に画素値を間引きしながら低解像度全体映像信号を出力させ、高解像度部分映像走査部は、Ｎ１行Ｎ２列の中の切出し位置として指定されたｋ１行ｋ２列の各受光素子を走査して画素値を高解像度部分映像信号として出力させる。
【００４２】
この場合には、間引きにより低解像度全体画像にエリアジングが起きる可能性があるが、比較的映像の変化が少なくエリアジングの起きにくい観測対象に用途を絞ることで、対応できる。
【００４３】
低像度全体映像走査部１４と高解像度部分映像走査部１６は、低解像度全体映像と解像度部分映像の画素サイズが同一となるように読出走査する。例えば低解像度全体映像と解像度部分映像の画素サイズがＮＴＳＣの行列５１２×４８０画素、ＰＡＬの行列７６８×５７６画素又はＶＧＡの行列６４０×４８０画素の同一画素サイズとなるように読出走査する。
【００４４】
この場合には、詳細画像を得るための高解像度部分映像の解像度を非常に高くしても、２つの映像の情報量は、ＮＴＳＣ５１２×４８０画素又はＶＧＡ６４０×４８０画素の２フレーム分の情報量に留まり、これによって３０ｆｐｓのビデオレート以上のフレームレートで同時に高速に２つの映像を読出することができる。
【００４５】
ここで解像度を高くしても情報量は変化しないが、高解像度部分映像の低解像度全体映像の中に占める領域のサイズが解像度を高くするにつれて小さくなる関係にある。
【００４６】
画像処理部３２は、その処理の一例として、現フレームの低解像度全体映像データと前フレームの背景映像データの画素の差分値に基づいて変化のあった物体領域と変化のなかった非物体領域を抽出する物体領域抽出部と、変化のなかった非物体領域を背景画像データに加えて更新する背景映像更新部と、物体領域データと前フレームの検出済み物体データとの比較により未検出の着目物体を選択して着目位置を決定すとる共に、選択された着目物体を前記検出済み物体データに加えて更新する着目位置検出部と、選択された着目物体の着目位置のフレーム履歴から求めた運動モデルに基づいて次フレームの着目位置を予測して次フレームの映像切出し位置を決定する切出し位置決定部とを備える。
【００４７】
これによって動きのある物体を自動的に追跡しながら必要個所だけは、高解像度映像を取得できる。
【００４８】
画像処理部３２は、低解像度全体映像データに加え、更に高解像度部分映像データに基づいて次フレームにおける高解像度映像の切出し位置を自動的に決定して高解像度部分映像走査部１６に指示するようにしても良い。
【００４９】
具体的に画像処理部は、現フレームの低解像度全体映像データと前フレームの背景映像データの画素の差分値に基づいて変化のあった物体領域と変化のなかった非物体領域を抽出する物体領域抽出部と、変化のなかった非物体領域を背景画像データに加えて更新する背景映像更新部と、現フレームで取得された高解像度部分映像データと前フレームで蓄積された切出し位置の低解像度部分映像データとを比較し、両映像が異なる場合は、前フレームの検出済み物体映像データから着目物体を除去する予測ずれ検出部と、物体領域データと検出済み物体映像データとの比較により特定の未検出の注目物体を選択して注目位置を決定すとる共に、選択された物体を前記検出済み物体映像データに加えて更新する着目位置検出部と、選択された物体のフレーム履歴から求めた運動モデルに基づいて次フレームの物体位置を予測して次フレームの切出し位置を決定する切出し位置決定部とを備える。
【００５０】
このように前フレームで予測して切出した位置の高解像度部分映像に着目物体が存在せず、前フレームで蓄積された切出し位置の低解像度部分映像と異なった場合には、検出済み物体画像の中の注目物体を除去することで、再度、注目物体の高解像度部分映像を再度取得できるようにして、予測外れをリカバリする。
【００５１】
記画像処理部３２は、外部よりロードされて保存された画像処理プログラムの実行又は外部からの指示により映像切出し位置を決定する。
【００５２】
本発明の映像入力装置は、更に、低解像度全体映像走査部１４により出力される低解像度全体映像データ及び高解像度部分映像走査部１６により出力される高解像度部分映像データをアナログ映像信号に変換して伝送路を介して外部の画像処理装置に伝送する映像伝送部を備える。ここで記映像伝送部は、前記低解像度全体映像データと前記高解像度部分映像データを各々アナログ映像信号に変換して並列的に伝送する。
【００５３】
このように低解像度全体映像データと高解像度部分映像データを各々アナログ映像信号に変換して伝送することで、離れた場所に設置されている外部の画像処理装置を利用して低解像度全体映像と高解像度部分映像に基づいた任意の画像認識などの処理が実現できる。
【００５４】
【発明の実施の形態】
図２は、本発明による画像入力装置の実施形態のブロック図である。図２において、本発明の画像入力装置は、画素アレイ１２を備えた固体撮像素子１０、低解像度全体映像走査部１４、高解像度部分映像走査部１６、タイミング発生部１８、切替部２０、切替器２２−１，２２−２、低解像度全体映像蓄積部２４、全体映像データ送出部２６、高解像度部分映像蓄積部２８、部分映像データ送出部３０、画像切出し処理部３２及び画像処理プログラム保存部３４で構成される。
【００５５】
固体撮像素子１０の画素アレイ１２は、高密度に配置された高解像度を得ることのできる複数の受光素子（受光セル）を高密度に２次元配置しており、光学系により結像された像を受光素子の光電変換によって電気信号の画素値に変換する。
【００５６】
低解像度全体映像走査部１４は、切替器２２−１，２２−２が切替部２０により図示の位置ａ側に切り替えられたタイミングで、タイミング発生部１８からのタイミングクロックに基づき、画素アレイ１２の解像度を落とした撮像範囲全体の読出走査により低解像度の全体映像データを蓄積メモリを使用した低解像度全体映像蓄積部２４に出力して蓄積させる。
【００５７】
高解像度部分映像走査部１６は、切替器２２−１，２２−２が切替部２０により図示の位置ｂ側に切り替えられたタイミングで、タイミング発生部１８からのタイミングクロックに基づき、画像切出し処理部３２で指示された画素アレイ１２における高解像度を維持した撮像範囲の部分的な読出し走査により、高解像度の部分映像データを蓄積メモリを使用した高解像度部分映像蓄積部２８に出力して蓄積させる。
【００５８】
切替部２０は、低解像度全体映像走査部１４と高解像度部分映像走査部１６をフレーム周期内で切り替えて、ビデオレート（３０ｆｐｓ）以上の速度で低解像度全体映像データと高解像度部分映像データを順次出力させる。
【００５９】
画像処理部３２は、低解像度全体映像走査部１４の読出走査により画素アレイ１２から出力されて低解像度全体映像蓄積部２４に蓄積された低解像度全体映像データに基づき、次フレームにおける高解像度映像の切出し位置を自動的に決定して高解像度部分映像走査部１６に指示する。
【００６０】
この画像処理部３２に対しては画像処理プログラム保存部３４が設けられ、画像処理プログラム保存部３４に１又は複数の画像処理プログラムがロードされて予め保存されており、そのうちの必要とする画像処理プログラムを画像切出し処理部３２に導入して、低解像度全体映像に基づいて低解像度部分映像の切出し位置を自動的に決定するようにしている。
【００６１】
また画像画像処理部３２は、高解像度部分映像の切出し位置の処理結果を外部に出力しており、また外部から画像切出し位置の指示を受け、例えば画像処理プログラムに優先して高解像度部分映像走査部１６に外部指示を伝えることができる。
【００６２】
更に、全体映像データ送出部２６及び部分映像データ送出部３０は、低解像度全体映像蓄積部２４及び高解像度部分映像蓄積部２８のそれぞれに蓄積された映像データを読み出してＮＴＳＣ形式又はＶＧＡ形式の映像データに調整した後に外部に出力し、ビデオモニタなどで観察したり、更に後の説明で明らかにするように、映像伝送部を使用して、離れた位置に設置されている画像処理システムに映像データを伝送できるようにしている。
【００６３】
図３は、図２の固体撮像素子１０の説明図である。図３において、画素アレイ１２は、光電変換を行う受光素子を行列Ｎ１×Ｎ２画素、２次元配列したもので、光学レンズで集光された光像の各位置で、各受光素子は光強度を電気信号に変換する。
【００６４】
画素アレイ１２に対しては行選択回路３６と列選択回路３８が設けられ、行アドレス指定信号４４と列アドレス指定信号４６に応じて、画素アレイ１２の中の任意の画素を選択的に読み出すことができる。このような画素アレイ１２としてはＣＭＯＳ素子があり、行と列のアドレス指定信号を与えることで、２次元的に配列した画素列の任意の位置での画素値を読み出すことができる。
【００６５】
更に画素アレイ１４の出力側には、低解像度全体映像信号を出力するためのフィルタ回路部４０、高解像度部分映像信号を出力するための画素電圧出力回路部４２及びフィルタ出力電圧又は画素出力電圧をデジタルデータに変換するＡ／Ｄ変換器４５が設けられている。
【００６６】
図４は、図３の画素アレイ１２の中の受光セル（受光画素）を１つ取り出して示している。図４において、受光セル５２に対しては、行を選択する行選択線５４と列を選択する列選択線５６が設けられ、更に受光セル５２で入力光を光電変換した電圧レベルを出力する２本の出力線５８，６０を設けている。
【００６７】
受光セル５２からの出力線５８は低解像度全体映像信号を生成するためのフィルタに対する出力線であり、出力線６０は高解像度の部分映像信号を生成するための個別読出し用の出力線である。
【００６８】
図５は、図３の画素アレイ１２の出力側に設けられている低解像度全体映像信号を生成するためのフィルタ回路部４０の１つのフィルタと、これに対応した受光セルを示している。図５において、フィルタ６２−１１に対しては、行列３×３の合計９個の受光セル５２−１１〜５２−３３が割り当てられ、それぞれより図４の受光セル５２におけると同じ出力線５８がフィルタ６２−１１に入力されている。
【００６９】
９つの受光セル５２−１１〜５２−３３は、行方向３本及び列方向３本の各行選択線及び列選択線に一斉にアドレス指定信号を与えることで、それぞれの画素電圧が一斉に読み出されてフィルタ６２−１１に入力する。フィルタ６２−１１は、入力した画素電圧の加算値または平均値を求めて出力するもので、この例にあっては平均値を出力している。
【００７０】
このように複数の受光セル５２−１１〜５２−３３の平均値（または加算値）をフィルタ６２−１１で求めることは、画素アレイにおける空間的な解像度を落とすことを意味する。この例では行列３×３画素を１つのグループセルとしてフィルタ６２−１１で平均値を出力していることから、空間的な解像度を（１／３）×（１／３）に落としている。
【００７１】
図６は、図５のフィルタと９つの受光セルで構成される低解像度映像用グループセルの２次元配置の説明図であり、図３の画素アレイ１２における左上隅の行列６×６画素を例にとって示している。ここで、１つのグループセルを行方向のｉと列方向のｊによりＳｉｊで表わすと、４つのグループセルはグループセルＳ１１，Ｓ１２，Ｓ２１，Ｓ２２で表わすことができる。
【００７２】
そして、それぞれのセルに対しては行選択線５４−１〜５４−９と列選択線５６−１〜５６−９が設けられており、グループセルＳ１１〜Ｓ２２単位に読み出してフィルタにより低解像度画素出力を得る際には、各グループセルＳ１１〜Ｓ２２の中の９つの受光セルを特定する３本の行選択線と３本の列選択線に同時にアドレス指定信号を与えることで、選択されたグループセルの９つの受光セルから画素電圧を読み出してフィルタに入力し、画素電圧の平均電圧（または加算電圧）を低解像度画素値として出力することができる。
【００７３】
図７は、低解像度映像信号を読み出す際の画素アレイ１２をグループセルＳ１１〜Ｓ４４の部分について表わしており、グループセルＳ１１〜Ｓ４４に対する行選択線５４−１〜５４−１２及び列選択線５６−１〜５６−１２につき３本単位にアドレス指定信号を入力することで、任意のグループセルを指定した読出しができる。
【００７４】
これに対し高解像度映像信号を読み出す場合には、図６における行選択線５４−１〜５４−９及び列選択線５６−１〜５６−９の行列１本ごとにアドレス指定信号を与えることで、任意の受光セルを選択した高解像度映像信号の読出しができる。
【００７５】
図８は、図３の画素アレイ１２におけるアレイサイズ、低解像度画素サイズ及び高解像度部分画素サイズの関係を示している。図８（Ａ）は画素アレイ１２における実際の受光セルのアレイサイズであり、行列Ｎ１×Ｎ２画素の画素サイズを持っている。
【００７６】
このような行列Ｎ１×Ｎ２の画素サイズを持つ画素アレイ１２の解像度を落とした読出し走査で、図８（Ｃ）のようなサイズの小さな行列ｍ１×ｍ２、例えばＮＴＳＣの行列５１２×４８０画素又はＶＧＡの行列６４０×４８０画素の低解像度全体画像領域６４を生成する場合には、図８（Ｂ）に示す行列ｎ１×ｎ２のグループセル領域６３を定め、これを図８（Ａ）のように画素アレイ１２のグループセルＳ１１〜ＳＮ１Ｎ２に割り当てる。
【００７７】
ここで画素アレイ１２、グループセル６２及び低解像度全体画像領域６４の画素サイズの間には次式の関係がある。
【００７８】
【数１】
但し、は小数を切り捨てて整数化することを表す。
このような行列ｎ１×ｎ２のサイズを持つグループセル６２を１単位として、図５に示したような１つのフィルタに対する受光セルからの出力線５８による入力接続として平均値（または加算値）を求めることで、図８（Ａ）の画素アレイ１２における行列Ｎ１×Ｎ２の高解像度の画素領域を、図８（Ｃ）のような行列ｍ１×ｍ２のサイズの低解像度全体画像領域６４となるように解像度を落とすことができる。
【００８０】
また、複数の受光セルでグループセルを構成してフィルタにより平均値または加算値を求めて解像度を落とした画素値として出力する局所平均化処理を行うことによって、映像の高周波成分が低解像度の映像に偽の情報を形成するエリアジングを抑え、画像処理に良好な低解像度全体映像を得ることができる。
【００８１】
更に、図８（Ａ）の画素アレイ１２の中には、図２の画像処理部３２より高解像度部分映像走査部１６に指示される高解像度部分映像の切出し領域６５を示している。この切出し領域６５は行列ｋ１×ｋ２の画素サイズを持っており、このｋ１×ｋ２の画素サイズは基本的には図８（Ｃ）の低解像度全体画像領域６４と同一サイズとする。
【００８２】
例えば低解像度全体画像領域６４がＮＴＳＣの行列５１２×４８０画素又はＶＧＡの行列６４０×４８０画素であれば、高解像度部分映像の切出し領域６５の行列ｋ１×ｋ２の画素サイズも、同じくＮＴＳＣの行列５１２×４８０画素又はＶＧＡの行列６４０×４８０画素とする。
【００８３】
勿論、高解像度部分映像の切出し領域６５における行列ｋ１×ｋ２の画素サイズは、低解像度全体映像領域６４と同一サイズには減退されず、ビデオレート以上での読出し操作を条件に、実際に詳細画像を得たい注目物体の注目部分の大きさに応じて任意に設定することができる。
【００８４】
図９は、図３の画素アレイ１２における低解像度全体映像信号の読出走査のタイミングチャートを部分的に示している。図９にあっては、３つずつの列アドレス指定信号Ｃ１〜Ｃ３、Ｃ４〜Ｃ６、Ｃ７〜Ｃ９について、時刻ｔ１，ｔ２，ｔ３のタイミングで同時に供給し、これに対応して行アドレス指定信号Ｌ１，Ｌ２，Ｌ３を時刻ｔ１から継続的に与えることで、時刻ｔ１〜ｔ３のそれぞれで同時に９個の受光セルを指定して、グループセル単位に一斉に画素電圧を対応するフィルタに読み出して、フィルタから平均化された画素電圧を出力するようにしている。
【００８５】
図１０は、図８（Ａ）における高解像度部分となる切出し領域６５の読出し走査のタイミングチャートの一部を示している。
【００８６】
図１０にあっては、時刻ｔ１で画像切出し位置の先頭アドレスに対応した行アドレス指定信号Ｌｉを出力した状態で、同じく時刻ｔ１より列アドレス指定信号Ｃｊ〜Ｃｊ＋ｋ２を順次出力して受光する単位に読み出した後、時刻ｔ３で次の行の行アドレス指定信号Ｌｉ＋１を供給し、列アドレス指定信号Ｃｊ〜Ｃｊ＋ｋ２の順次出力を同様に繰り返し、行アドレス指定信号がＬｉ＋ｋ１（図示せず）に達するまで、これを繰り返す。
【００８７】
図１１は、図２の切替部２０によるフレーム周期ごとの低解像度全体映像と高解像度部分映像の読出走査タイミングの説明図である。
【００８８】
図１１において、ビデオレートにおける１／３０秒となるフレーム周期におけるタイミングを見ると、まず最初のＴ１時間の間、レンズ系を通じて入射する光像を画素アレイ１２の配列セルで受光して光電変換により電荷を蓄積する露光（画素値蓄積）６６−１を行わせる。
【００８９】
この露光６６−１の時間Ｔ１の終了と同時に、切替器２２−１を低解像度全体映像走査部１４側に切り替え、同時に切替器２２−１も低解像度全体映像蓄積部２４側に切り替える走査選択６８−１をＴ２時間で行う。これによって、低解像度全体映像を読出走査するための回路系統が確立される。
【００９０】
次にＴ３時間に亘り低解像度全体映像走査部１４からの走査信号によるフィルタ単位に入力接続しているｎ１×ｎ２サイズのグループセル単位の読出し走査により、画素アレイ１２より低解像度全体映像信号を出力し、これをデジタルデータに変換した後、低解像度全体映像蓄積部２４に蓄積する。
【００９１】
次にＴ４時間のタイミングで切替器２２−１を高解像度部分映像走査部１６側に切り替えると同時に、切替器２２−２を高解像度部分映像蓄積部２８側に切り替える走査選択７２−１を行う。
【００９２】
そして次のＴ５時間に亘り、高解像度部分映像走査部１６からの行及び列アドレス指定信号により、画像処理部３２から指示された行列ｋ１×ｋ２画素サイズの高解像度部分映像の切出し領域について、受光セル単位の読出走査を行って高解像度部分映像信号を出力し、これをＡ／Ｄ変換器でデジタルデータに変換した後、高解像度部分映像蓄積部２８に蓄積する。
【００９３】
次フレームについても、同様に、露光６６−２、走査選択６８−２、低解像度全体映像読出し７０−１（図示せず）、高解像度部分映像読出し７０−２（図示せず）を繰り返す。また次フレームにあっては、前フレームで低解像度全体映像蓄積部２４及び高解像度部分映像蓄積部２８のそれぞれに保存されている映像データについて、全体映像データ送出部２６及び部分映像データ送出部３０でそれぞれ所定形式の１つの映像データとして必要な整形を施した後、低解像度全体映像データ及び高解像度部分映像データとして外部に出力する。
【００９４】
更に、露光、走査選択、低解像度全体映像読出し、走査選択及び高解像度部分映像読出しが行われているフレーム周期にあっては、画像処理部３２が低解像度全体映像蓄積部２４に蓄積されている前フレームの低解像度全体映像データに基づいて高解像度部分映像の切出し位置を決定し、高解像度部分映像走査部１６に次フレームの切出し位置を指示している。
【００９５】
この実施形態にあっては、画像処理部３２は前フレームの低解像度全体映像データに基づいて高解像度部分映像の画像切出し位置を画像処理プログラムに基づいて決定しているが、装置外部より指定した切出し位置の高解像度部分映像を取得できるようにするため、外部指示による画像切出しのモードを選択することもできる。
【００９６】
この外部指示モードを選択することで、画像処理部３２に外部から画像切出し位置を示す指示信号が入った場合には、画像処理プログラムに優先して外部指定された位置の高解像度部分映像を取得することが可能となる。もちろん、外部からの指示に対するモードをオフしている場合には外部からの指示信号は無視し、画像処理プログラムによる自動的な高解像度部分映像の切出し位置の指定を行うことができる。
【００９７】
次に図２の画像入力装置に設けている画像処理部３２の高解像度部分映像を取得するための処理として、広範囲を移動する複数の物体を注目物体として、その詳細映像を取得する処理を説明する。
【００９８】
このような画像処理部３２における高解像度部分映像として詳細映像を取得する処理は、移動物体を追跡する以外に任意の処理が可能であり、画像処理の内容は画像処理プログラム保存部３４に保存されている画像処理プログラムに依存しており、この説明も画像処理プログラムの一例に過ぎない。
【００９９】
図１２は、広範囲を移動する複数物体についての詳細画像を得るための、本発明の映像入力装置による観測状態の説明図である。本発明の映像入力装置１００は、移動する複数の物体を映像範囲に捕らえることのできる適宜の位置に設置され、例えば物体９５，９６が往来する箇所を撮影している。ここで物体９５は移動ベクトル９５−１の方向に移動しており、また物体９６は移動ベクトル９６−１の方向に移動している。
【０１００】
このとき本発明の映像入力装置１００によって、例えば図１３に示すような低解像度全体映像９８が得られ、同時に低解像度全体映像９８の中の移動している物体９５について、設定された着目部分１０５の高解像度部分映像１０４が得られ、物体９５の先端の着目部分１０５の詳細映像、例えば文字の映像を取得することができる。
【０１０１】
このようにして本発明の映像入力装置１００で所得される低解像度全体映像９８の目的は、広範囲の監視領域の中のどこに物体が存在していて、高解像度部分映像として取得するべき着目部分があるかを判別するためであり、広範囲を撮影していることからひとつの映像入力装置１００で撮影できる空間を広くとることができる特徴を持っている。
【０１０２】
また高解像度部分映像１０４は着目部分だけを選択して得られた着目部分の詳細映像であり、全体を見ていたのでは解像度不足でつぶれてしまうような、例えば文字情報までをもれなくとらえることができるという特徴を持つ。
【０１０３】
これらふたつの低解像度全体映像９８と高解像度部分映像１０４の画像サイズを、例えばＶＧＡの行列６４０×４８０画素に設定することで、２つの映像を３０ｆｐｓのビデオレート以上の高速なレートで取得することができ、時々刻々位置が変化する移動物体に対しても対処することができる。また本発明の映像入力装置１００は全体映像を常にとらえることができるので、複数の物体が往来する場合でも常に全ての物体の位置を特定できる点に特徴を持つ。
【０１０４】
図１４は、図２の画像処理部３２において、広範囲を移動する複数の物体を対象に、物体の着目部分の詳細映像を得るための処理プログラムにより実現される画像処理機能のブロック図である。
【０１０５】
図１４において、画像処理部３２は画像処理プログラムの機能として、物体領域抽出部７６、着目位置算出部８０、背景映像更新部８２及び切出し位置予測決定部８４を備え、更に処理に必要な量を格納したデータベースとして背景映像データベース７８と検出済み物体映像データベース８４を備えている。
【０１０６】
物体領域抽出部７６は、低解像度全体映像データ８６を入力し、背景映像データベース７８に前フレームで更新されて格納されている背景映像データとの差分から画素値に一定値以上の変化のある箇所を物体領域として検出し、この物体領域の画像を取得した後に、物体領域画像から画像領域の塊を抽出することで、物体の位置を算出して、物体部映像８８として着目位置算出部８０に送る。一方、画素値の変化が少なかった箇所を背景部映像データ９０として背景映像更新部８２に出力する。
【０１０７】
着目位置算出部８０は、入力した物体部映像８８による複数物体の領域情報から次フレームで撮影すべき物体と、その物体の映像中での着目位置を決定する。この着目位置の検出には検出済み物体映像データベース８５に保存している前フレームで更新された検出済み物体映像データが利用される。
【０１０８】
切出し位置予測決定部８４は、着目位置算出部８０で得られた着目位置データ９２による着目箇所の画像中での位置と、前フレームまでの観測において得られた該当する物体の動く情報を元に、次フレームでの位置を予測し、次フレームにおいて高解像度部分映像を取得すべき画像の切出し位置を決定し、切出し位置情報９４を図２の高解像度部分映像操作部１６に出力する。
【０１０９】
背景映像更新部８２には、物体領域抽出部７６で得られた背景部映像データ９０により、背景映像データベース７８に蓄積している前フレームの背景映像における該当画素を更新し、次フレーム以降の移動物体の検出に備える。
【０１１０】
次に図１４の画像処理部３２による各処理を図１５及び図１６を参照して具体的に説明する。
【０１１１】
まず図１４の物体領域抽出部７６は、例えば図１５（Ａ）のような低解像度全体映像を入力映像１０６として入力したとする。この入力映像１０６には物体１１４，１１６が存在し、その手前に別の物体１１８，１２０が存在している。
【０１１２】
このとき背景映像データベース７８には図１５（Ｂ）のような背景映像１０８が保存されていたとする。即ち、背景映像１０８には物体１１４，１１６が存在している。そこで物体映像抽出部７６は、入力映像１０６と背景映像１０８の各画素について画素値の差分をとり、差分値と予め決められた閾値との大小を比較して閾値以上となる画素を移動物体の画素としてラベルをふり、閾値より小さい画素を非移動物体の画素として別のラベルをふる。
【０１１３】
ここで画素値の差分を求める操作ＦＤの実現方法については、特別な制限は受けないが画像がモノクロかカラーか、或いは用途に応じて任意に定めることができる。例えば画像がモノクロの場合は、
【０１１４】
【数２】
によって画素値の差分を求めることができる。
【０１１６】
このような物体領域抽出部７６の処理によって、図１５（Ｃ）のような物体部映像１１０と図１５（Ｄ）のような背景部映像１１２が生成され、物体部映像１１０は着目位置算出部８０に出力され、背景部映像１１２は背景映像更新部８２に出力される。
【０１１７】
ここで物体部映像１１０には背景映像１０８には存在しない新たに物体１１８，１２０が含まれ、一方、背景部映像１１２は入力映像１０６から物体部映像１１０における物体１１８，１２０を削除した映像となっている。
【０１１８】
続いて着目位置算出部８０において、物体領域抽出部７６から物体部映像データ８８を入力し、物体を示す塊ごとに異なるラベルを付した物体ラベル画像を生成する。即ち、物体領域抽出部７６からの物体部映像データ８８は物体部分を表す画素に物体を示すラベルが付られた物体点画像であることから、着目位置算出部８０にあっては、物体ラベルが付してある画素の種類を調べ、物体ラベルを持つ画素が転結する塊を抽出し、塊ごとに異なるラベルを付した物体ラベル画像を生成する。
【０１１９】
図１６（Ａ）は着目位置算出部８０で算出される物体ラベル画像１２２の一例であり、この例では、３つの物体１３０，１３２，１３４、例えば３人の人物が得られている状況を表している。
【０１２０】
続いて、図１６（Ｂ）のような前フレームまでの処理で生成しておいた高解像度部分映像による詳細映像を取得済みの物体１３６が存在する検出済み物体映像１２４と、図１６（Ａ）の物体ラベル映像１２２を図１６（Ｃ）のように重ね合わせたラベル重ね合わせ映像１２６を生成し、検出済み物体映像１２４の検出済み物体１３６に対する物体ラベル画像１２２における物体１３０，１３２，１３４のそれぞれにおける重なり度合を抽出した図１６（Ａ）の重なり部分抽出映像１２７を抽出する。
【０１２１】
この重なり部分抽出映像１２７について、検出済み物体１３４に対しては、前フレームの物体１３６が重なり１３４を持ち、物体１３０，１３２は重なりを持たない。そこで重なり度合の判定にあっては、重なり度合が十分に低い閾値以下の物体１３０，１３２を未検出物体として抽出する。
【０１２２】
更にこの例のように未検出物体１３０，１３２が複数検出された場合には、未検出物体群の中からもっとも映像の外側、あるいは映像の外部にはずれる可能性の高い未検出物体をひとつ選択する。図１６（Ｄ）の例では、映像の最も左側の物体１３０が未検出の着目物体として選択される。
【０１２３】
更に選択された着目物体１３０の領域の中で、高解像度部分映像として撮影したい着目箇所、例えば人の場合には最も情報のある顔の部分の全体映像中での位置を求め、これを着目位置９２として切出し位置予測検出部８４に出力する。
【０１２４】
また着目位置算出部８０にあっては、次フレームでの判断処理に使用する検出済み物体映像データベース８４の検出済み物体画像を更新する。具体的には図１６（Ｅ）のように、未検出物体として検出された着目物体１３０と、図１６（Ｄ）の重なり部分抽出映像１２７において、重なり１４０を持つ重なり度合が閾値以上と判定された検出済み物体１３４とをコピーし、更新された検出済み物体映像１２８を生成して検出済み物体映像データベース８５に格納する。
【０１２５】
続いて切出し位置予測検出部８４において、前フレームの処理により得られた着目箇所の位置と、詳細映像を撮影する対象が前フレームまでにすでに観測されていた場合には、前フレームでの着目箇所の位置と過去の動きの履歴とを用いて運動モデルを生成し、次フレームで観測されるべき位置を予測し、その予測位置を高解像度部分映像による詳細映像を取得するための切出し位置データ９４として決定して出力する。
【０１２６】
この場合、切出し位置データ９４を出力した着目物体については次フレームで詳細映像を取得できるため、この時点で過去の動き履歴情報は削除する。
【０１２７】
一方、詳細映像を作成する対象が前フレームで初めて表れた場合には、過去の移動履歴が存在しないため着目位置算出部８０で算出された着目位置データ９２を詳細映像を取得するための切出し位置データ９４として、そのまま出力する。
【０１２８】
切出し位置予測に用いる運動モデル及び次フレームでの位置を予測する位置予測の方法は、適宜の方法を採用することができるが、例えば運動モデルは等直線運動とし、過去位置フレームの位置、即ち直前の位置を用いれば次式で与えられる。
【０１２９】
【数３】
最後に背景映像更新部８２において、物体領域抽出部７６で得られた、例えば図１５（Ｄ）の背景部映像１１２と背景映像データベース７８に保存されている、例えば図１５（Ｂ）の背景映像１０８とを用いて、新たな背景映像を作成する更新処理を行う。この背景映像の更新処理は、具体的には図１５（Ｄ）の背景部画像１１２の中で値を持つ画素ごとにその画素値Ｐ１（ｘ，ｙ）と、座標を同一とする背景映像１０８の中の画素の値
【０１３１】
【数４】
を用いて新たな背景映像１０８の中の画素の値
【０１３３】
【数５】
を作成する。この画素値の生成に用いる更新式は適宜の更新式を用いることができるが、例えば混合係数β（０≦β≦１）を用いて以下のように表すことができる。
【０１３５】
【数６】
図１７は、図４の画像処理部３２の処理手順を示したフローチャートである。図１７において、まずステップＳ１で低解像度全体映像データとデータベース７２からの背景映像データを読み込み、ステップＳ２で両者について画素単位の差分映像データを生成した後、ステップＳ３で閾値以上の差分画素値の画素領域に移動物体を示すラベル付して物体部映像を生成し、ステップＳ４で閾値未満の差分画素値の画素領域に非移動物体を示すラベルを付して背景部映像を生成する。
【０１３７】
続いてステップＳ５で物体部映像に対する画素値の輪郭探索により一塊の領域となる物体を抽出して、物体ごとに異なるラベル付けを行う。続いてステップＳ６でデータベースから取得した前フレームの検出済み物体映像とステップＳ５でラベル付けが済んだ物体映像とを重ね合わせ、重ね度合いが閾値以下を未検出物体と判定する。
【０１３８】
続いてステップＳ７で未検出物体が複数か否かチェックし、複数であった場合には捨てプＳ８で映像から外れる可能性の高い物体を選択する。続いてステップＳ９で選択した物体の着目部分、例えば人であれば顔の部分を着目部分として、ここを詳細映像の取得位置に決定する。
【０１３９】
次にステップＳ１０で選択した物体と検出済み物体をコピーして次フレーム用に検出済み物体映像を更新する。続いてステップＳ１１で物体着目部分の履歴から運動モデルを生成して、次フレームの位置を予測し、ステップＳ１２で予測位置を映像切出し部に決定して出力する。
【０１４０】
尚、ステップＳ１１，Ｓ１２の処理は着目物体が初めて出現した場合には、ステップＳ９で決定した取得位置をそのまま出力することになる。続いてステップＳ１３で前フレームで生成した背景部映像を用いて背景映像データベース７２に保存している前フレームの背景映像を更新する。このようなステップＳ１〜Ｓ１３の処理をフレームごとに実行することになる。
【０１４１】
図１８は、本発明による映像入力装置の第２実施形態のブロック図であり、この実施形態にあっては、画像処理部３２−１に対し低解像度全体映像データに加えて、更に高解像度部分映像データを入力して任意の画像処理を行うようにしたことを特徴とする。
【０１４２】
図１８において、画像アレイを備えた固体撮像素子１０、低解像度全体映像走査部１４、高解像度部分映像走査部１６、タイミング発生部１８、切替部２０、切替器２２−１，２２−２、低解像度全体映像蓄積部２４、全体映像データ送出部２６、高解像度部分映像蓄積部２８、部分映像データ送出部３０は次の実施形態と同じである。
【０１４３】
これに加えて第２実施形態にあっては、画像処理部３２−１が設けられ、画像処理３２−１に対しては低解像度全体映像蓄積部２４から低解像度全体映像データが入力すると同時に、更に高解像度部分映像蓄積部２８より高解像度部分映像データが入力するようにしたことを特徴とし、低解像度全体映像データと高解像度部分映像データの両方、或いは一方の高解像度部分映像データのみを用いて、高解像度部分映像の切出し位置を決定する処理を含む任意の画像処理を行うことを可能としている。
【０１４４】
図１９は、図１８の画像処理部３２−１の機能構成のブロック図である。図１９において、画像処理部３２−１は、物体領域抽出部７６、背景映像データベース７８、着目位置算出部８０、背景映像更新部８２、切出し位置予測決定部８４及び検出済み物体映像データベース８５を備える点は第１実施形態における図１４の画像処理部３２と同じであるが、これに加えて高解像度部分映像データ１３８を入力して処理する予測ずれ検出部１４０を新たに設けたことを特徴とする。
【０１４５】
予測ずれ検出部１４０は、切出し部位置予測決定部８４で予測を行う前の着目位置算出部８０で算出された着目位置周辺の低解像度全体映像データを前フレームにおいて予測低解像全体映像データとして保存しておき、この予測低解像度全体映像データと前フレームで取得した高解像度部分映像データ１３８を比較する。
【０１４６】
このような前フレームの着目位置周辺の予測低解像映像と前フレームの高解像度部分映像とを比較することで両者が大きく異なる場合には、着目部分の高解像度部分映像を得るための位置の予測が測れていると判断し、着目位置算出部８０に対し、着目物体の高解像度部分映像である詳細映像の未取得１４２を通知し、着目位置算出部８０の状態を前フレームで算出した着目物体を再度抽出可能な状態に変更する。
【０１４７】
即ち、着目位置算出部８０に対し設けている検出済み物体映像データベース８５における前フレームで更新した検出済み物体映像の中から前フレームで算出した着目物体の物体映像を削除し、着目物体について高解像部分映像を更に取得できるように設定する。
【０１４８】
具体的には前フレームで例えば図１６（Ｅ）のような更新済みの検出済み物体画像１２８が保存されていたとすると、物体１３０が注目物体であることから、この注目物体１３０に相当する物体ラベルを除去し、図１５（Ｂ）のような検出済み物体映像１２４に変更する。
【０１４９】
このため所属した注目部分の高解像度部分映像が得られずに予測はずれとなった場合には、前フレームと同じ処理によって再度、同じ着目物体についての高解像度部分映像を取得することができる。
【０１５０】
図２０は、図１９における画像処理の手順のフローチャートである。図２０においてステップＳ１〜Ｓ５の処理は図１７のフローチャートと同じであり、これに続いてステップＳ６で新たに予測ずれ検出処理を設けている。
【０１５１】
これに続くステップＳ７〜Ｓ１０は図１７のステップＳ６〜Ｓ９の処理と同じであるが、ステップＳ１０において選択した着目位置周辺の低解像度映像を次フレームの予測はずれ検出に使用する予測低解像度映像として保存する点が相違する。残りのステップＳ１２〜Ｓ１５は図１７のステップＳ１０〜Ｓ１３の処理と同じである
図２１は、図２０のステップＳ６の予測ずれ検出処理の詳細な手順のフローチャートである。図２１において、予測ずれ検出処理はステップＳ１で高解像度部分映像を読み込み、ステップＳ２で前フレームで保存された運動能力により位置を予測する前の着目位置周辺の予測低解像度映像データを読み込んで比較する。
【０１５２】
この比較によりステップｓ３で両者をのマッチング度合いが予め定められた閾値以下となって大きく相違することが判定された場合には、ステップＳ４で前フレームの着目物体を検出済み物体映像から削除し、ステップＳ７にリターンしてそれ以降の処理において前フレームの着目物体について再度、高解像度部分映像を取得できるように切出し位置の決定を行う。
【０１５３】
図２２は、本発明の画像入力処理で得られた低解像度全体映像と高解像度部分映像のそれぞれを外部の画像処理装置に転送して、任意の画像処理を可能とする本発明の他の実施形態のブロック図である。
【０１５４】
図２２において、図２もしくは図１８の実施形態に示した本発明の映像入力装置１００に対しては、映像送信部１４６が設けられている。映像送信部１４６には、映像入力装置１００から出力された低解像度全体映像データを、例えばＮＴＳＣなどのアナログ映像信号に変換するＤ／Ａ変換器１５６と、変換されたアナログ映像信号を伝送路１４５に送信する映像送信器１５８を備えている。
【０１５５】
また映像入力装置１００から出力される高解像度部分映像データをＮＴＳＣなどのアナログ映像信号に変換するＤ／Ａ変換器１６０と、変換されたアナログ信号を伝送路１４５に送信する映像送信器１６２を設けている。
【０１５６】
この映像入力装置１００からの伝送路１４５に対しては、外部の離れた位置に設置されている画像処理装置１５０が映像受信部１４８を介して接続される。映像受信部１４８には、映像受信器１６４，１６８及びＡ／Ｄ変換器１６６，１７０が設けられている。
【０１５７】
映像受信器１６４は伝送路１４５を介して映像入力装置１００側から送られた低解像度全体映像のアナログ映像信号を受信し、Ａ／Ｄ変換器１６６でデジタルデータに変換して画像処理装置１５０に入力する。映像受信器１６８は伝送路１４５を介して映像入力装置１００より送信された高解像度部分映像のアナログ映像信号を受信し、Ａ／Ｄ変換器１７０でデジタルデータに変換して画像処理装置１５０に入力する。
【０１５８】
これによって画像処理装置１５０は、本発明の映像入力装置１００で取得された低解像度全体映像と高解像度部分映像を３０ｆｓｐのビデオレート以上のフレームレートで受信し、低解像度全体映像と本発明の映像入力装置１００側の自動追跡で取得されている着目箇所の高解像度部分映像を用いて、高解像部分映像として得られた詳細映像について特定の認識処理を行うような機能を分散的に実行することができる。
【０１５９】
また映像入力装置１００側にはデータ伝送部１５２が設けられ、データ伝送部１５２にはデータ送信器１７２とデータ受信器１７４が設けられている。これに対し外部の画像処理装置１５０側にもデータ伝送路１５４が設けられ、データ受信器１７６とデータ送信器１７８を備えている。
【０１６０】
データ送信器１７２とデータ受信器１７４は、映像入力装置１００側に設けている図２の画像処理部３２または図１４の画像処理部３２−１で決定された高解像度部分映像の切出し位置の位置情報を外部の画像処理装置１５０に伝送路１５４を介して伝送する。
【０１６１】
またデータ送信器１７８とデータ受信器１７６は、外部の画像処理装置１５０から本発明の映像入力装置１００に対して、高解像度部分映像の切出し位置の指示情報を伝送路１５４を介して伝送して映像入力装置１００に外部指定する。
【０１６２】
このような図２２の実施形態によれば、外部の画像処理装置１５０に対し、本発明の映像入力装置１００より全体映像と部分映像を伝送することで、２つの映像を用いた任意の認識処理について機能を分離した処理ができる。また画像処理の複雑さに応じ、処理を本発明の映像入力装置１００側と外部の１または複数の画像処理装置１５０側に振り分け、処理が複雑になると任意の規模を持つ画像処理システムを構築することができる。
【０１６３】
また映像入力装置１００から画像処理装置１５０に伝送する映像情報をアナログ信号に変換して伝送していることから、この間の伝送距離を長くとることができ、位置的に離れた場所にそれぞれ画像処理装置をおいた分散環境でのシステム構築が可能となる。
【０１６４】
図２３は、図２または図１４の実施形態で使用する固定撮像素子の他の実施形態であり、この実施形態にあっては低解像全体映像を画素アレイにおける間引き処理により生成するようにしたことを特徴とする。
【０１６５】
図２３において、画素アレイ１０−１は図３の実施形態と同様、行列Ｎ１×Ｎ２画素の高密度配置の実行セルを配置しているが、図３の実施形態で低解像度画素値を得るために行列ｍ１×ｍ２のグループセルごとに設けていたフィルタが全て除去され、これに伴い図２４に示す受光セルの構造としている。
【０１６６】
図２４の受光セルの構造にあっては、受光セル５２に対し行選択線５４と列選択線５６を設け、受光セル５２からは個別画素出力のための１本の出力線６０のみが引き出されている。
【０１６７】
このような固体撮像素子１０−１に対し、低解像全体映像の読出走査を行う図２及び図１４の低解像度全体映像走査部１４は、画素アレイ１２−１における行方向については、行選択回路３６に対し行アドレス指定信号４４としてｎ１画素ごとに読み飛ばしたアドレス指定を行い、列方向となる列選択回路３８に対する列アドレス指定信号４６としてはｎ２画素ごとに読み飛ばしたアドレス指定を行うことで、行列Ｎ１×Ｎ２画素からｍ１×ｍ２画素の低解像度全体映像を読み出すことができる。
【０１６８】
この実施形態における画素間引き処理にあっては、映像の高周波成分が低解像度の映像に偽の情報を生成するエリアジングが起きる可能性が高いことから、この実施形態の固体撮像素子１０−１を用いた観察対象としては、観察対象の全体映像の空間周波数が比較的低い映像となる対象に絞って使用すれば、画素間引き処理による低解像度画像におけるエリアジングの問題を抑制することができる。
【０１６９】
尚、上記の実施形態は画像処理を目的とした映像入力装置の機能を主体に説明するものであったが、本発明による画像入力装置を監視用の映像センサとして使用し、ビデオレート以上で取得できる動画像としての低解像度全体映像と注目部分の自動決定で得られた高解像度部分映像をモニタにそれぞれ表示して、人間が直接監視するような監視システムに適応しても良いことはもちろんである。
【０１７０】
更に本発明で得られた低解像度全体映像と高解像度部分映像をＶＴＲやハードディスクのついてビデオ透過システムで直接透過するようなシステムに適用することも可能である。
【０１７１】
また上記の実施形態における低解像度及び高解像度の画素サイズは相対的なものであり、必要に応じて適宜の基準により低解像度と高解像度の関係を設定することができる。
【０１７２】
また上記の実施形態にあっては、本発明の映像入力装置より取得される低解像度全体映像と高解像度部分映像の画素サイズを同一サイズとして出力する場合を例にとっているが、３０ｆｐｓのビデオレートを下回らない範囲で高解像度部分映像の映像サイズを更に大きくしても良いし、低解像度全体映像の画素サイズより小さい画素サイズとしても良い。
【０１７３】
また本発明は上記の実施形態に限定されず、その目的と利点を損なうことのない適宜の変形を含む。更に本発明は上記の実施形態に示した数値よる限定は受けない。
【０１７４】
ここで本発明の特徴を列挙すると、次の付記のようになる。
（付記）
（付記１）
結像された像を光電変換によって電気信号の画素値に変換する複数の受光素子を高密度に配置した高解像度の画素アレイを有する固体撮像素子と、
前記画素アレイの解像度を落とした撮像範囲全体の読出走査により低解像度の全体映像データを出力する低解像度全体映像走査出部と、
前記画素アレイの高解像度を維持した撮像範囲の部分的な読出走査により高解像度の部分映像データを出力する高解像度部分映像走査部と、
前記低解像度全体映像走査部と高解像度部分映像走査部を予め定めたフレーム周期内で切り替えてビデオレート以上の速度で前記低解像度全体映像データと高解像度部分画像データとを順次出力させる切替部と、
前記低解像度全体映像走査部により出力された低解像度全体映像データに基づいて次フレームにおける高解像度部分映像の切出し位置を自動的に決定して前記高解像度部分映像走査部に指示する画像処理部と、
を備えたことを特徴とする映像入力装置。（１）
【０１７５】
（付記２）
付記１記載の映像入力装置に於いて、更に、
前記画素アレイの読出走査で出力された全体低解像度映像データを蓄積する低解像度全体映像蓄積部と、
前記低解像度全体映像蓄積部の蓄積画像を読出して低解像度全体映像データを所定形式の１つの映像データに整形して外部に出力する全体映像データ送出部と、前記画素アレイの読出走査で出力された分高解像度部分映像データを蓄積する高解像度部分映像蓄積部と、
前記高解像度部分映像蓄積部の蓄積画像を読出して高解像度部分映像データを所定形式の１つの映像データに外部に出力する部分映像データ送出部と、
を備えたことを特徴とする映像入力装置。
【０１７６】
（付記３）
付記１記載の映像入力装置に於いて、前記固体撮像素子は、
Ｎ１行Ｎ２列に２次元配列した複数の受光素子と、
前記複数の受光素子を個別に選択して画素値を出力させる列選択線及び行選択線と、
前記複数の受光素子に設けられた２本の出力線と、
前記Ｎ１行Ｎ２列の画素数を高解像度映像とし、それより少ないｍ１行ｍ２列の画素数を低解像度映像とした場合、前記高解像度のＮ１行Ｎ２列を前記低解像度のｍ１行ｍ２列で除して求めた整数のｎ１行ｎ２列の画素単位に各受光素子の一方の出力線を入力接続して加算又は平均を算出して出力する複数のフィルタと、
とを備え、
前記低解像度全体映像走査部は、前記複数のフィルタ単位のｎ１行ｎ２列毎に受光素子を一括選択しながらｍ１行ｍ２列のフィルタ出力を低解像度全体映像信号として出力させ、
前記高解像度部分映像走査部は、前記Ｎ１行Ｎ２列の中の切出し位置として指定されたｋ１行ｋ２列の各受光素子を走査して他方の出力線から画素値を高解像度部分映像信号として出力させることを特徴とする映像入力装置。（２）
【０１７７】
（付記４）
付記１記載の映像入力装置に於いて、前記固体撮像素子は、
Ｎ１行Ｎ２列に２次元配列した複数の受光素子と、
前記複数の受光素子を個別に選択して画素値を出力させる列選択線及び行選択線と、
を備え、
前記低解像度全体映像走査部は、前記Ｎ１行Ｎ２列の画素数を高解像度映像とし、それより少ないｍ１行ｍ２列の画素数を低解像度映像とした場合、前記高解像度のＮ１行Ｎ２列を前記低解像度のｍ１行ｍ２列で除して求めた整数のｎ１行ｎ２列毎に画素値を間引きしながら低解像度全体映像信号を出力させ、
前記高解像度部分映像走査部は、前記Ｎ１行Ｎ２列の中の切出し位置として指定されたｋ１行ｋ２列の各受光素子を走査して画素値を高解像度部分映像信号として出力させることを特徴とする映像入力装置。
【０１７８】
（付記５）
付記３又は４記載の映像撮影装置に於いて、前記低像度全体映像走査部と高解像度部分映像走査部は、前記低解像度全体映像と解像度部分映像の画素サイズが同一となるように読出走査することを特徴とする映像入力装置。
【０１７９】
（付記６）
付記３又は４記載の映像撮影装置に於いて、前記低像度全体映像走査部と高解像度部分映像走査部は、前記低解像度全体映像と解像度部分映像の画素サイズがＮＴＳＣの行列５１２×４８０画素、ＰＡＬの行列７６８×５７６画素又はＶＧＡの行列６４０×４８０画素の同一画素サイズとなるように読出走査することを特徴とする映像入力装置。
【０１８０】
（付記７）
付記１記載の映像入力装置に於いて、前記画像処理部は、
現フレームの低解像度全体映像データと前フレームの背景映像データの画素の差分値に基づいて変化のあった物体領域と変化のなかった非物体領域を抽出する物体領域抽出部と、
前記変化のなかった非物体領域を前記背景画像データに加えて更新する背景映像更新部と、
前記物体領域データと前フレームの検出済み物体データとの比較により未検出の着目物体を選択して着目位置を決定すとる共に、選択された着目物体を前記検出済み物体データに加えて更新する着目位置検出部と、
前記選択された着目物体の着目位置のフレーム履歴から求めた運動モデルに基づいて次フレームの着目位置を予測して次フレームの映像切出し位置を決定する切出し位置決定部と、
を備えたことを特徴とする映像入力装置。
【０１８１】
（付記８）
付記１記載の映像入力装置に於いて、前記画像処理部は、前記低解像度全体映像データに加え、更に前記高解像度部分映像データに基づいて次フレームにおける高解像度映像の切出し位置を自動的に決定して前記高解像度部分映像走査部に指示することを特徴とする映像入力装置。（３）
【０１８２】
（付記９）
付記６記載の映像入力装置に於いて、前記画像処理部は、
現フレームの低解像度全体映像データと前フレームの背景映像データの画素の差分値に基づいて変化のあった物体領域と変化のなかった非物体領域を抽出する物体領域抽出部と、
前記変化のなかった非物体領域を前記背景画像データに加えて更新する背景映像更新部と、
現フレームで取得された高解像度部分映像データと前フレームで蓄積された切出し位置の低解像度部分映像データとを比較し、両映像が異なる場合は、前フレームの検出済み物体映像から着目物体を除去する予測ずれ検出部と、
前記物体領域データと前記検出済み物体映像データとの比較により特定の未検出の注目物体を選択して注目位置を決定すとる共に、選択された物体を前記検出済み物体映像データに加えて更新する着目位置検出部と、
前記選択された物体のフレーム履歴から求めた運動モデルに基づいて次フレームの物体位置を予測して次フレームの切出し位置を決定する切出し位置決定部と、を備えたことを特徴とする映像入力装置。
【０１８３】
（付記１０）
付記１記載の映像入力装置に於いて、前記画像処理部は、外部よりロードされて保存された画像処理プログラムの実行又は外部からの指示により高解像度部分映像の切出し位置を決定することを特徴とする映像入力装置。（４）
【０１８４】
（付記１１）
付記１記載の映像入力装置に於いて、更に、前記低解像度全体映像走査部により出力される低解像度全体映像データ及び前記高解像度部分映像走査部により出力される高解像度部分映像データをアナログ映像信号に変換して伝送路を介して外部の画像処理装置に伝送する映像伝送部を備えたことを特徴とする映像入力装置。（５）
【０１８５】
（付記１２）
付記１１記載の映像入力装置に於いて、前記映像伝送部は、前記低解像度全体映像データと前記高解像度部分映像データを各々アナログ映像信号に変換して並列的に伝送することを特徴とする映像入力装置。
【０１８６】
【発明の効果】
以上説明してきたように本発明によれば、観察対象の情景全体については低解像度の全体映像として取得され、その中の部分的な着目箇所についてのみ高解像度部分映像として詳細映像を取得することができ、例えば低解像度全体映像と高解像度部分映像のサイズを同一とした場合、高解像度部分映像の解像度を非常に高くとったとしても、２つの映像の全体的な情報量は低解像度全体映像の２映像分の情報量にとすることができ、これによって低解像度全体映像と高解像度部分映像（詳細映像）とを同時にしかもビデオレート或いはそれ以上のフレームレートで取得することができる。
【０１８７】
また本発明の映像入力装置にあっては装置内に設けている画像処理部における任意の画像処理プログラムの実行によって低解像度全体映像の内容に応じて、高解像度部分映像としての詳細映像を獲得する着目部分を自動的かつ高速に選択して決定することができる。
【０１８８】
この機能を用いることで時々刻々対象が移動するまたは変動する情景を処理対象として、その時々刻々の変化に応じてフレーム毎に全体の撮影領域の全く異なる箇所を高解像度の情報を取得する位置として決定する画像処理と、この選択することでフレーム毎に全く異なる撮影位置での高解像度映像を撮影することが可能となる。
【０１８９】
また低解像度全体映像の生成について高密度画素配置をもった固体撮像素子の画素アレイについて、低解像度映像を生成するために行列画素数に区切った画素くの集合、いわゆるグループセルごとにフィルタを設けて複数の画素値を総和あるいは平均値を新たな画素値として出力する局所平均化処理によって低解像度映像を生成するため、映像の高周波成分が低解像度の映像に偽の情報を生成するエリアジングを起こすことがなく、低解像度全体映像を用いた画像処理に良好な画像を与えることができる。
【図面の簡単な説明】
【図１】本発明の原理説明図
【図２】本発明の第１実施形態のブロック図
【図３】図２の固体撮像素子の説明図
【図４】画素アレイに配置した受光セルの説明図
【図５】低解像度映像画素信号を生成する受光セルとフィルタの説明図
【図６】高解像度用受光セルと低解像度用グループセルの説明図
【図７】フィルタ単位にまとめられる低解像度映像用グループセルの２次元配置の説明図
【図８】本発明における画素アレイサイズ、低解像度画素サイズ、高解像度部分画素サイズの関係を示した説明図
【図９】本発明における低解像度全体映像信号を出力させる読出走査のタイムチャート
【図１０】本発明における高解像度部分映像信号を出力させる読出走査のタイムチャート
【図１１】本発明におけるフレーム周期毎の低解像度全体映像と高解像度部分映像の読出走査タイミングの説明図、
【図１２】本発明の映像入力装置による観測状態の説明図
【図１３】図１２の観測で得られた低解像度全体映像と注目物体の高解像度部分映像の説明図
【図１４】図２の画像処理部の機能構成のブロック図
【図１５】図１４における移動物体処理の説明図
【図１６】図１４における未検出物体抽出処理の説明図
【図１７】図１２の画像処理のフローチャート
【図１８】映像切出し処理に高輝度部分映像を使用する本発明の第２実施形態のブロック図
【図１９】図１８の画像処理部の機能構成のブロック図
【図２０】図１８の画像処理のフローチャート
【図２１】図２０の予測ずれ検出処理のフローチャート
【図２２】外部の画像処理装置に映像信号を伝送して処理させる本発明の第３実施形態のブロック図
【図２３】画素の間引き走査により低解像度全体映像を生成する本発明の第４実施形態で使用する固体撮像素子の説明図
【図２４】図２３の画素アレイに設けている受光セルの説明図
【符号の説明】
１０，１０−１：固体撮像素子
１２，１２−１：画素アレイ
１４：低解像度全体映像走査部
１６：高解像度部分映像送走査部
１８：タイミング発生部
２０：切替部
２２：切替器
２４：低解像度全体映像蓄積部
２６：全体映像データ送出部
２８：高解像度部分映像蓄積部
３０：部分映像データ送出部
３２：映像切出し処理部
３４：画像処理プログラム保持部
３６：行選択回路
３８：列選択回路
４０：フィルタ回路部
４２：画素電圧出力回路部
５２：受光セル
５４、５４−１〜５４−９：行選択線
５６，５６−１〜５６−９：列選択線
５８，６０：出力線
６２−１１：フィルタ
６３：グループセル領域
６４：低解像度全体映像領域
６５：切出し領域
６６−１，６６−２：露光
６８−１，６８−２，７２−１：選択走査
７０−１：低解像度全体映像読出
７４−１：高解像度部分映像読出
７６：物体領域抽出部
７８：背景映像データベース
８０：着目位置算出部
８２：背景映像更新部
８４：切出し位置予測決定部
８５：：検出済み物体データベース
９５，９６：物体
９５−１，９６−１：移動ベクトル
９８：低解像度全体映像
１００：映像入力装置
１０２：着目位置
１０４：高解像度部分映像（詳細映像）
１０５：着目部分
１０６：入力映像
１０８：背景映像
１１０：物体部映像
１１２：背景部映像
１２２：物体ラベル映像
１２４：検出済み物体映像
１２６：ラベル重ね合わせ映像
１２８：重なり部分抽出映像
１２８：更新された物体検出済み映像
１４２：予測ずれ検出部
１４５：伝送路
１４６：映像送信部
１４８：映像受信部
１５０：画像処理装置
１５２，１５４：データ伝送部゛
１５６，１６０：Ｄ／Ａ変換器
１５８，１６２：映像送信器
１６４，１６８：映像受信器
１６６，１７０：Ａ／Ｄ変換器
１７２，１７８：データ送信器
１７４，１７６：データ受信器
Claims (5)
- 結像された像を光電変換によって電気信号の画素値に変換する複数の受光素子を高密度に配置した高解像度の画素アレイを有する固体撮像素子と、
前記画素アレイの解像度を落とした撮像範囲全体の読出走査により低解像度の全体映像データを出力する低解像度全体映像走査出部と、
前記画素アレイの高解像度を維持した撮像範囲の部分的な読出走査により高解像度の部分映像データを出力する高解像度部分映像走査部と、
前記低解像度全体映像走査部と高解像度部分映像走査部を予め定めたフレーム周期内で切り替えてビデオレート以上の速度で前記低解像度全体映像データと高解像度部分画像データとを順次出力させる切替部と、
前記低解像度全体映像走査部により出力された低解像度全体映像データに基づいて次フレームにおける高解像度部分映像の切出し位置を自動的に決定して前記高解像度部分映像走査部に指示する画像処理部と、
を備えたことを特徴とする映像入力装置。 - 請求項１記載の映像入力装置に於いて、前記固体撮像素子は、
Ｎ１行Ｎ２列に２次元配列した複数の受光素子と、
前記複数の受光素子を個別に選択して画素値を出力させる列選択線及び行選択線と、
前記複数の受光素子に設けられた２本の出力線と、
前記Ｎ１行Ｎ２列の画素数を高解像度映像とし、それより少ないｍ１行ｍ２列の画素数を低解像度映像とした場合、前記高解像度のＮ１行Ｎ２列を前記低解像度のｍ１行ｍ２列で除して求めた整数のｎ１行ｎ２列の画素単位に各受光素子の一方の出力線を入力接続して加算又は平均を算出して出力する複数のフィルタと、
とを備え、
前記低解像度全体映像走査部は、前記複数のフィルタ単位のｎ１行ｎ２列毎に受光素子を一括選択しながらｍ１行ｍ２列のフィルタ出力を低解像度全体映像信号として出力させ、
前記高解像度部分映像走査部は、前記Ｎ１行Ｎ２列の中の切出し位置として指定されたｋ１行ｋ２列の各受光素子を走査して他方の出力線から画素値を高解像度部分映像信号として出力させることを特徴とする映像入力装置。 - 請求項１記載の映像入力装置に於いて、前記画像処理部は、前記低解像度全体映像データに加え、更に前記高解像度部分映像データに基づいて次フレームにおける高解像度映像の切出し位置を自動的に決定して前記高解像度部分映像走査部に指示することを特徴とする映像入力装置。
- 請求項１記載の映像入力装置に於いて、前記画像処理部は、外部よりロードされて保存された画像処理プログラムの実行又は外部からの指示により高解像度部分映像の切出し位置を決定することを特徴とする映像入力装置。
- 請求項１記載の映像入力装置に於いて、更に、前記低解像度全体映像走査部により出力される低解像度全体映像データ及び前記高解像度部分映像走査部により出力される高解像度部分映像データをアナログ映像信号に変換して伝送路を介して外部の画像処理装置に伝送する映像伝送部を備えたことを特徴とする映像入力装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002347301A JP4084991B2 (ja) | 2002-11-29 | 2002-11-29 | 映像入力装置 |
| US10/722,586 US7551203B2 (en) | 2002-11-29 | 2003-11-28 | Picture inputting apparatus using high-resolution image pickup device to acquire low-resolution whole pictures and high-resolution partial pictures |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002347301A JP4084991B2 (ja) | 2002-11-29 | 2002-11-29 | 映像入力装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004180240A true JP2004180240A (ja) | 2004-06-24 |
| JP4084991B2 JP4084991B2 (ja) | 2008-04-30 |
Family
ID=32707951
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002347301A Expired - Fee Related JP4084991B2 (ja) | 2002-11-29 | 2002-11-29 | 映像入力装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7551203B2 (ja) |
| JP (1) | JP4084991B2 (ja) |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007243909A (ja) * | 2006-02-07 | 2007-09-20 | Victor Co Of Japan Ltd | 撮像方法及び撮像装置 |
| WO2008075688A1 (ja) * | 2006-12-18 | 2008-06-26 | Sony Corporation | 撮像装置及び方法、記録装置及び方法、再生装置及び方法 |
| JP2009118476A (ja) * | 2007-11-05 | 2009-05-28 | Commiss Energ Atom | ピクセルの２次元マトリクスの読み取り方法及びその方法を実施するためのデバイス |
| JP2009171545A (ja) * | 2007-12-19 | 2009-07-30 | Canon Inc | 撮像システム、撮像素子の駆動方法、プログラム、及び記録媒体 |
| US7623174B2 (en) | 2005-09-09 | 2009-11-24 | Panasonic Corporation | Imaging device for multi-resolution video data |
| WO2009141951A1 (ja) * | 2008-05-19 | 2009-11-26 | パナソニック株式会社 | 映像撮影装置および映像符号化装置 |
| JP2010147949A (ja) * | 2008-12-19 | 2010-07-01 | Canon Inc | 撮像センサ及び撮像システム |
| JP2011043921A (ja) * | 2009-08-19 | 2011-03-03 | Canon Inc | 画像認識装置及び画像認識方法 |
| JP2012165193A (ja) * | 2011-02-07 | 2012-08-30 | Olympus Imaging Corp | 電子撮像装置 |
| JP2013236232A (ja) * | 2012-05-08 | 2013-11-21 | Canon Inc | 撮像装置、撮像装置の制御方法、およびプログラム |
| CN104065965A (zh) * | 2013-03-18 | 2014-09-24 | 索尼公司 | 视频处理设备、方法及系统以及视频再现设备和方法 |
| KR101554094B1 (ko) * | 2014-02-13 | 2015-09-30 | 재단법인 다차원 스마트 아이티 융합시스템 연구단 | 피처 데이터를 생성하는 이미지 처리 장치 및 그 방법 |
| JP2015177462A (ja) * | 2014-03-17 | 2015-10-05 | 株式会社ジェイ・ティ | 撮像表示装置、撮像表示装置の制御方法及びそのプログラム |
| JP2016012891A (ja) * | 2014-06-30 | 2016-01-21 | カシオ計算機株式会社 | 撮影装置、撮影方法及びプログラム |
| JP2016504889A (ja) * | 2013-01-25 | 2016-02-12 | イノバシオネス・ミクロエレクトロニカス・ソシエダッド・リミターダ・（アナフォーカス）Ｉｎｎｏｖａｃｉｏｎｅｓ Ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃａｓ Ｓ．Ｌ．（Ａｎａｆｏｃｕｓ） | 画像センサ用の自動関心領域機能 |
| JP2017162141A (ja) * | 2016-03-09 | 2017-09-14 | 株式会社デンソーアイティーラボラトリ | 画像識別システム及びその制御装置、並びに画像識別方法 |
| JP2019036843A (ja) * | 2017-08-15 | 2019-03-07 | キヤノン株式会社 | 撮像装置、カメラおよび輸送機器 |
| JP2019525568A (ja) * | 2016-07-22 | 2019-09-05 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ | 自車両の周辺領域を捕捉するためのカメラ手段並びに方法 |
| KR20190132984A (ko) * | 2017-04-03 | 2019-11-29 | 콘티 테믹 마이크로일렉트로닉 게엠베하 | 차량의 주변 구역을 포착하기 위한 카메라 시스템 및 방법 |
| WO2021084818A1 (ja) * | 2019-11-01 | 2021-05-06 | 株式会社Ｊｖｃケンウッド | 物体検出装置、物体検出方法、及び物体検出プログラム |
| WO2021241011A1 (ja) * | 2020-05-28 | 2021-12-02 | 富士フイルム株式会社 | 映像作成方法 |
| JP7324866B2 (ja) | 2019-12-19 | 2023-08-10 | 富士フイルム株式会社 | 撮像装置 |
Families Citing this family (53)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7073158B2 (en) * | 2002-05-17 | 2006-07-04 | Pixel Velocity, Inc. | Automated system for designing and developing field programmable gate arrays |
| FI116432B (fi) * | 2003-05-15 | 2005-11-15 | Elektrobit Testing Oy | Menetelmä ja järjestely kanavasimulaation suorittamiseksi |
| US20050168589A1 (en) * | 2004-01-30 | 2005-08-04 | D. Amnon Silverstein | Method and system for processing an image with an image-capturing device |
| JPWO2006022006A1 (ja) * | 2004-08-26 | 2008-05-08 | 富士通株式会社 | コンテンツ管理プログラム、方法及び装置 |
| US8045047B2 (en) * | 2005-06-23 | 2011-10-25 | Nokia Corporation | Method and apparatus for digital image processing of an image having different scaling rates |
| JP2007006165A (ja) * | 2005-06-24 | 2007-01-11 | Fujifilm Holdings Corp | 撮像装置、撮像方法、及び撮像プログラム |
| US8024768B2 (en) * | 2005-09-15 | 2011-09-20 | Penthera Partners, Inc. | Broadcasting video content to devices having different video presentation capabilities |
| US7876978B2 (en) * | 2005-10-13 | 2011-01-25 | Penthera Technologies, Inc. | Regions of interest in video frames |
| JP4561657B2 (ja) | 2006-03-06 | 2010-10-13 | ソニー株式会社 | 映像監視システムおよび映像監視プログラム |
| JP4984915B2 (ja) * | 2006-03-27 | 2012-07-25 | セイコーエプソン株式会社 | 撮像装置、撮像システム及び撮像方法 |
| US20070250898A1 (en) * | 2006-03-28 | 2007-10-25 | Object Video, Inc. | Automatic extraction of secondary video streams |
| US8848053B2 (en) * | 2006-03-28 | 2014-09-30 | Objectvideo, Inc. | Automatic extraction of secondary video streams |
| JP5157898B2 (ja) * | 2006-03-30 | 2013-03-06 | 日本電気株式会社 | 画像処理装置、画像処理システム、画像処理方法および画像処理用プログラム |
| US8885208B2 (en) * | 2006-07-21 | 2014-11-11 | Adobe Systems Incorporated | Progressive refinement of an edited image using secondary high resolution image processing |
| US20080036864A1 (en) * | 2006-08-09 | 2008-02-14 | Mccubbrey David | System and method for capturing and transmitting image data streams |
| JP2008109336A (ja) * | 2006-10-25 | 2008-05-08 | Matsushita Electric Ind Co Ltd | 画像処理装置および撮像装置 |
| JP4314266B2 (ja) * | 2006-11-22 | 2009-08-12 | キヤノン株式会社 | 画像制御装置及びその制御方法 |
| JP4732311B2 (ja) * | 2006-11-29 | 2011-07-27 | キヤノン株式会社 | 撮像装置及びその制御方法及びプログラム及び記憶媒体 |
| WO2008103850A2 (en) * | 2007-02-21 | 2008-08-28 | Pixel Velocity, Inc. | Scalable system for wide area surveillance |
| US20090086023A1 (en) * | 2007-07-18 | 2009-04-02 | Mccubbrey David L | Sensor system including a configuration of the sensor as a virtual sensor device |
| US7973834B2 (en) * | 2007-09-24 | 2011-07-05 | Jianwen Yang | Electro-optical foveated imaging and tracking system |
| JP5144237B2 (ja) * | 2007-12-05 | 2013-02-13 | キヤノン株式会社 | 画像処理装置、その制御方法、プログラム |
| JP2009147730A (ja) * | 2007-12-14 | 2009-07-02 | Fujifilm Corp | 動画生成装置、動画撮影装置、動画生成方法及びプログラム |
| US8441535B2 (en) * | 2008-03-05 | 2013-05-14 | Omnivision Technologies, Inc. | System and method for independent image sensor parameter control in regions of interest |
| JP2009225401A (ja) * | 2008-03-19 | 2009-10-01 | Casio Comput Co Ltd | 撮像装置、画像処理装置および画像処理方法 |
| WO2009135253A1 (en) * | 2008-05-05 | 2009-11-12 | Iomniscient Pty Ltd | A system and method for electronic surveillance |
| JP5195032B2 (ja) * | 2008-05-28 | 2013-05-08 | 富士通株式会社 | 符号化装置／復号化装置、符号化方法／復号化方法及びプログラム |
| US8487963B1 (en) | 2008-05-30 | 2013-07-16 | Adobe Systems Incorporated | Preview representation of pixels effected by a brush tip area |
| JP5224925B2 (ja) * | 2008-06-18 | 2013-07-03 | キヤノン株式会社 | 撮像装置 |
| WO2011060385A1 (en) * | 2009-11-13 | 2011-05-19 | Pixel Velocity, Inc. | Method for tracking an object through an environment across multiple cameras |
| EP2616992A4 (en) | 2010-09-15 | 2014-06-11 | E Vision Smart Optics Inc | SYSTEMS, DEVICES AND / OR METHODS FOR IMAGE MANAGEMENT |
| US20120236181A1 (en) | 2011-03-16 | 2012-09-20 | Qualcomm Incorporated | Generating a zoomed image |
| JP5806511B2 (ja) * | 2011-05-31 | 2015-11-10 | オリンパス株式会社 | 撮像装置、撮像方法 |
| US20130031589A1 (en) * | 2011-07-27 | 2013-01-31 | Xavier Casanova | Multiple resolution scannable video |
| EP2810429B1 (en) * | 2012-01-30 | 2020-02-19 | SeeScan, Inc. | Adjustable variable resolution inspection systems and methods |
| US8970718B2 (en) * | 2012-07-12 | 2015-03-03 | Gopro, Inc. | Image capture accelerator |
| US20140313316A1 (en) * | 2013-01-30 | 2014-10-23 | SeeScan, Inc. | Adjustable variable resolution inspection systems and methods using multiple image sensors |
| US10796617B2 (en) * | 2013-06-12 | 2020-10-06 | Infineon Technologies Ag | Device, method and system for processing an image data stream |
| US9876966B2 (en) | 2013-10-18 | 2018-01-23 | Pixart Imaging Inc. | System and method for determining image variation tendency and controlling image resolution |
| CN104580943B (zh) * | 2013-10-28 | 2019-10-18 | 原相科技股份有限公司 | 影像感测系统和方法以及眼球追踪系统和方法 |
| US20150185308A1 (en) * | 2014-01-02 | 2015-07-02 | Katsuhiro Wada | Image processing apparatus and image processing method, image pickup apparatus and control method thereof, and program |
| JP6261430B2 (ja) * | 2014-04-01 | 2018-01-17 | キヤノン株式会社 | 撮像装置及び画像処理システム |
| WO2015170503A1 (ja) * | 2014-05-08 | 2015-11-12 | ソニー株式会社 | 情報処理装置及び情報処理方法 |
| JP6300651B2 (ja) * | 2014-06-12 | 2018-03-28 | オリンパス株式会社 | 動画記録再生装置 |
| US9767358B2 (en) * | 2014-10-22 | 2017-09-19 | Veridium Ip Limited | Systems and methods for performing iris identification and verification using mobile devices |
| CN108496178B (zh) | 2016-01-05 | 2023-08-08 | 御眼视觉技术有限公司 | 用于估计未来路径的系统和方法 |
| DE102016213493A1 (de) | 2016-07-22 | 2018-01-25 | Conti Temic Microelectronic Gmbh | Kameravorrichtung zur Aufnahme eines Umgebungsbereichs eines eigenen Fahrzeugs sowie Verfahren zur Bereitstellung einer Fahrerassistenzfunktion |
| US10218923B2 (en) * | 2017-02-17 | 2019-02-26 | Semiconductor Components Industries, Llc | Methods and apparatus for pixel binning and readout |
| US11445133B2 (en) * | 2017-08-10 | 2022-09-13 | Robert Bosch Gmbh | Low power and low data-rate imager |
| JP2019134202A (ja) * | 2018-01-29 | 2019-08-08 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置および撮像素子の制御方法 |
| CN108510444B (zh) * | 2018-04-02 | 2022-04-22 | 景德镇陶瓷大学 | 一种高分辨率陶瓷花纸图案的生成方法及装置 |
| KR20210014021A (ko) * | 2019-07-29 | 2021-02-08 | 삼성전자주식회사 | 이미지 센서, 이미지 처리 시스템 및 이의 동작 방법 |
| US11792507B1 (en) | 2021-01-15 | 2023-10-17 | Apple Inc. | Video monitoring using a hierarchical combination of camera sensors |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07117380B2 (ja) * | 1986-07-18 | 1995-12-18 | アンリツ株式会社 | 受光変換装置 |
| US4888795A (en) * | 1987-06-30 | 1989-12-19 | Nec Corporation | Videotelephone apparatus for transmitting high and low resolution video signals over telephone exchange lines |
| JPH02246930A (ja) * | 1989-03-17 | 1990-10-02 | Hitachi Ltd | Ｍｒｉ装置 |
| US5262871A (en) * | 1989-11-13 | 1993-11-16 | Rutgers, The State University | Multiple resolution image sensor |
| US5058190A (en) * | 1990-09-14 | 1991-10-15 | The United States Of America As Represented By The Secretary Of The Navy | Selective readout of a detector array |
| US5323987A (en) * | 1993-03-04 | 1994-06-28 | The Boeing Company | Missile seeker system and method |
| JPH07322120A (ja) * | 1994-05-20 | 1995-12-08 | Canon Inc | 撮像装置 |
| JP3334021B2 (ja) * | 1994-10-26 | 2002-10-15 | オムロン株式会社 | 画像処理方法およびその方法を用いた画像処理システム |
| US5644386A (en) * | 1995-01-11 | 1997-07-01 | Loral Vought Systems Corp. | Visual recognition system for LADAR sensors |
| JPH09214836A (ja) | 1996-02-07 | 1997-08-15 | Olympus Optical Co Ltd | 撮像装置 |
| JP4229481B2 (ja) * | 1996-07-31 | 2009-02-25 | オリンパス株式会社 | 撮像表示システム |
| JPH10164437A (ja) * | 1996-11-26 | 1998-06-19 | Canon Inc | 放射線撮像装置及び放射線撮像素子の駆動方法 |
| JP4049896B2 (ja) | 1998-07-09 | 2008-02-20 | オリンパス株式会社 | 画像入力装置 |
| US6512858B2 (en) * | 1998-07-21 | 2003-01-28 | Foveon, Inc. | Image scanning circuitry with row and column addressing for use in electronic cameras |
| US7106374B1 (en) * | 1999-04-05 | 2006-09-12 | Amherst Systems, Inc. | Dynamically reconfigurable vision system |
| US6839452B1 (en) * | 1999-11-23 | 2005-01-04 | California Institute Of Technology | Dynamically re-configurable CMOS imagers for an active vision system |
| JP2002335435A (ja) | 2001-05-11 | 2002-11-22 | Fujitsu Ltd | 映像撮影装置 |
| US7162101B2 (en) * | 2001-11-15 | 2007-01-09 | Canon Kabushiki Kaisha | Image processing apparatus and method |
| JP3894782B2 (ja) * | 2001-12-10 | 2007-03-22 | 株式会社国際電気通信基礎技術研究所 | 物体認識装置 |
| US7408572B2 (en) * | 2002-07-06 | 2008-08-05 | Nova Research, Inc. | Method and apparatus for an on-chip variable acuity imager array incorporating roll, pitch and yaw angle rates measurement |
-
2002
- 2002-11-29 JP JP2002347301A patent/JP4084991B2/ja not_active Expired - Fee Related
-
2003
- 2003-11-28 US US10/722,586 patent/US7551203B2/en not_active Expired - Fee Related
Cited By (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7623174B2 (en) | 2005-09-09 | 2009-11-24 | Panasonic Corporation | Imaging device for multi-resolution video data |
| US7728900B2 (en) | 2006-02-07 | 2010-06-01 | Victor Company Of Japan, Ltd. | Method and apparatus for taking pictures |
| JP2007243909A (ja) * | 2006-02-07 | 2007-09-20 | Victor Co Of Japan Ltd | 撮像方法及び撮像装置 |
| JP5141559B2 (ja) * | 2006-12-18 | 2013-02-13 | ソニー株式会社 | 撮像装置及び方法、記録装置及び方法、再生装置及び方法 |
| WO2008075688A1 (ja) * | 2006-12-18 | 2008-06-26 | Sony Corporation | 撮像装置及び方法、記録装置及び方法、再生装置及び方法 |
| US8102436B2 (en) | 2006-12-18 | 2012-01-24 | Sony Corporation | Image-capturing apparatus and method, recording apparatus and method, and reproducing apparatus and method |
| JP2009118476A (ja) * | 2007-11-05 | 2009-05-28 | Commiss Energ Atom | ピクセルの２次元マトリクスの読み取り方法及びその方法を実施するためのデバイス |
| JP2009171545A (ja) * | 2007-12-19 | 2009-07-30 | Canon Inc | 撮像システム、撮像素子の駆動方法、プログラム、及び記録媒体 |
| WO2009141951A1 (ja) * | 2008-05-19 | 2009-11-26 | パナソニック株式会社 | 映像撮影装置および映像符号化装置 |
| JP2010147949A (ja) * | 2008-12-19 | 2010-07-01 | Canon Inc | 撮像センサ及び撮像システム |
| JP2011043921A (ja) * | 2009-08-19 | 2011-03-03 | Canon Inc | 画像認識装置及び画像認識方法 |
| JP2012165193A (ja) * | 2011-02-07 | 2012-08-30 | Olympus Imaging Corp | 電子撮像装置 |
| JP2013236232A (ja) * | 2012-05-08 | 2013-11-21 | Canon Inc | 撮像装置、撮像装置の制御方法、およびプログラム |
| US9613429B2 (en) | 2012-05-08 | 2017-04-04 | Canon Kabushiki Kaisha | Image reading out control apparatus, image reading out control method thereof, and storage medium |
| US9894294B2 (en) | 2013-01-25 | 2018-02-13 | Innovaciones Microelectrónicas S.L. (Anafocus) | Automatic region of interest function for image sensors |
| JP2016504889A (ja) * | 2013-01-25 | 2016-02-12 | イノバシオネス・ミクロエレクトロニカス・ソシエダッド・リミターダ・（アナフォーカス）Ｉｎｎｏｖａｃｉｏｎｅｓ Ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃａｓ Ｓ．Ｌ．（Ａｎａｆｏｃｕｓ） | 画像センサ用の自動関心領域機能 |
| US9979904B2 (en) | 2013-01-25 | 2018-05-22 | Innovaciones Microelectrónicas S.L. (Anafocus) | Advanced region of interest function for image sensors |
| CN104065965A (zh) * | 2013-03-18 | 2014-09-24 | 索尼公司 | 视频处理设备、方法及系统以及视频再现设备和方法 |
| KR101554094B1 (ko) * | 2014-02-13 | 2015-09-30 | 재단법인 다차원 스마트 아이티 융합시스템 연구단 | 피처 데이터를 생성하는 이미지 처리 장치 및 그 방법 |
| JP2015177462A (ja) * | 2014-03-17 | 2015-10-05 | 株式会社ジェイ・ティ | 撮像表示装置、撮像表示装置の制御方法及びそのプログラム |
| JP2016012891A (ja) * | 2014-06-30 | 2016-01-21 | カシオ計算機株式会社 | 撮影装置、撮影方法及びプログラム |
| JP2017162141A (ja) * | 2016-03-09 | 2017-09-14 | 株式会社デンソーアイティーラボラトリ | 画像識別システム及びその制御装置、並びに画像識別方法 |
| JP7144398B2 (ja) | 2016-07-22 | 2022-09-29 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング | 自車両の周辺領域を捕捉するためのカメラ装置並びに方法 |
| JP2019525568A (ja) * | 2016-07-22 | 2019-09-05 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ | 自車両の周辺領域を捕捉するためのカメラ手段並びに方法 |
| KR20190132984A (ko) * | 2017-04-03 | 2019-11-29 | 콘티 테믹 마이크로일렉트로닉 게엠베하 | 차량의 주변 구역을 포착하기 위한 카메라 시스템 및 방법 |
| JP2020516093A (ja) * | 2017-04-03 | 2020-05-28 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ | 車両の周辺領域を認識するカメラ装置および方法 |
| KR102431215B1 (ko) | 2017-04-03 | 2022-08-09 | 콘티 테믹 마이크로일렉트로닉 게엠베하 | 차량의 주변 구역을 포착하기 위한 카메라 시스템 및 방법 |
| JP7248574B2 (ja) | 2017-04-03 | 2023-03-29 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング | 車両の周辺領域を認識するカメラ装置および方法 |
| JP7057635B2 (ja) | 2017-08-15 | 2022-04-20 | キヤノン株式会社 | 撮像装置、カメラおよび輸送機器 |
| JP2019036843A (ja) * | 2017-08-15 | 2019-03-07 | キヤノン株式会社 | 撮像装置、カメラおよび輸送機器 |
| WO2021084818A1 (ja) * | 2019-11-01 | 2021-05-06 | 株式会社Ｊｖｃケンウッド | 物体検出装置、物体検出方法、及び物体検出プログラム |
| JP7354773B2 (ja) | 2019-11-01 | 2023-10-03 | 株式会社Ｊｖｃケンウッド | 物体検出装置、物体検出方法、及び物体検出プログラム |
| JP7324866B2 (ja) | 2019-12-19 | 2023-08-10 | 富士フイルム株式会社 | 撮像装置 |
| WO2021241011A1 (ja) * | 2020-05-28 | 2021-12-02 | 富士フイルム株式会社 | 映像作成方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4084991B2 (ja) | 2008-04-30 |
| US7551203B2 (en) | 2009-06-23 |
| US20040141067A1 (en) | 2004-07-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4084991B2 (ja) | 映像入力装置 | |
| US8248480B2 (en) | Imaging apparatus provided with panning mode for taking panned image | |
| JP5655291B2 (ja) | 電子カメラ | |
| JP2003219225A (ja) | 動体画像監視装置 | |
| JP2008228232A (ja) | 撮像装置、撮像方法、プログラム、及び記憶媒体 | |
| JP2006324834A (ja) | 撮像装置及び撮像方法 | |
| US10362266B2 (en) | Video processing apparatus, video processing system, and video processing method | |
| JP2007281555A (ja) | 撮像装置 | |
| JP2001358984A (ja) | 動画像処理カメラ | |
| KR20160094655A (ko) | 복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 시스템 및 그 방법 | |
| JP2006166400A (ja) | 撮像装置及び撮像方法 | |
| JP2019134335A (ja) | 撮像装置、制御方法、およびプログラム | |
| EP1829361A1 (en) | Method for extracting of multiple sub-windows of a scanning area by means of a digital video camera | |
| JP4608425B2 (ja) | 撮像システム | |
| JP5069091B2 (ja) | 監視カメラおよび監視カメラシステム | |
| JPH06268894A (ja) | 自動撮像装置 | |
| RU2453068C1 (ru) | Устройство захвата изображения | |
| JP2003116139A (ja) | 映像配信サーバ及び映像受信クライアントシステム | |
| JP4789602B2 (ja) | 撮像装置及び欠陥画素処理方法 | |
| JP2009038627A (ja) | 撮像装置 | |
| JP2015039242A (ja) | 撮像装置 | |
| JP2001145091A (ja) | 画像伝送方式 | |
| JP5349413B2 (ja) | 検知システムおよびその信号処理方法、プログラム | |
| JP3675648B2 (ja) | 受光素子ユニット，デジタル映像入力装置およびデジタル映像入力方法 | |
| JPH10322684A (ja) | カメラ装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050512 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080123 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080129 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080218 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110222 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110222 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120222 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130222 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140222 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |