JP2019029750A

JP2019029750A - 撮像装置

Info

Publication number: JP2019029750A
Application number: JP2017145288A
Authority: JP
Inventors: 正紀舟木; Masanori Funaki
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2017-07-27
Filing date: 2017-07-27
Publication date: 2019-02-21
Anticipated expiration: 2037-07-27
Also published as: JP7091031B2; US10878221B2; US20190034698A1

Abstract

【課題】素早く画像を判断することができる撮像装置を提供する。
【解決手段】撮像素子２は、１フレーム内に赤、緑、青の画素が所定の配列で配置された複数のフレームによって構成される第１の画像信号を出力する。映像信号処理部３は、第１の画像信号を順に処理する複数の画像処理回路を含み、複数の画像処理回路のうちの１つの画像処理回路として、第１の画像信号を処理することによって生成された第２の画像信号に基づき、１フレーム内に赤、緑、青それぞれの画素が配置された各フレームによって構成される第３の画像信号を生成するデモザイク回路３３を有する。映像信号処理部３は、第３の画像信号に基づいて表示用の映像信号を生成する。画像認識部４は、映像信号処理部３が映像信号を生成する処理と並行して、第１または第２の画像信号を用いて画像を認識する。
【選択図】図１

Description

本発明は、画像を認識する機能を有する撮像装置に関する。

従来、撮像装置を用いて画像を認識する場合には、撮像装置から出力される映像信号（特にＹＵＶ信号）が用いられる。特許文献１には、情報処理装置が単眼カメラとして機能するイメージセンサから出力されるフレームレート３０ｆｐｓ（frame per second）のＹＵＶ４２２信号から特徴点を抽出することが記載されている。この場合、フレームレートが３０ｆｐｓであるから、特徴点の抽出は約３３ｍｓごとに行われる。つまり情報処理装置は少なくとも１フレーム（３３ｍｓ）前の情報から特徴点を抽出している。

特開２０１５−２１０６７７号公報

周辺環境の変化が速く早急な画像の認識が必要な場合には、従来の撮像装置の構成では問題になる場合がある。例えば従来の撮像装置が搭載されている機器が移動物体であり、高速で移動している場合を考える。移動物体が１００ｋｍ／ｈで移動しているとすると、１フレームの３３ｍｓの間にこの移動物体は９２ｃｍ移動する。したがってこの移動物体の進行方向に何かの問題が発生した場合に、この遅れの分だけ対応が遅れてしまう。

本発明は、素早く画像を判断することができる撮像装置を提供することを目的とする。

本発明は、１フレーム内に赤、緑、青の画素が所定の配列で配置された複数のフレームによって構成される第１の画像信号を出力する撮像素子と、第１の画像信号を順に処理する複数の画像処理回路を含み、複数の画像処理回路のうちの１つの画像処理回路として、第１の画像信号を処理することによって生成された第２の画像信号に基づき、１フレーム内に赤、緑、青それぞれの画素が配置された各フレームによって構成される第３の画像信号を生成するデモザイク回路を有し、第３の画像信号に基づいて表示用の映像信号を生成する映像信号処理部と、映像信号処理部が映像信号を生成する処理と並行して、第１または第２の画像信号を用いて画像を認識する画像認識部を備えることを特徴とする撮像装置を提供する。

本発明の撮像装置によれば、従来よりも素早く画像を判断することができる。

一実施形態の撮像装置を備える情報処理装置を示すブロック図である。一実施形態の撮像装置の詳細ブロック図である。一実施形態の撮像装置の出力された結果の一例を示す図である。一実施形態の撮像装置の危険検出の例である。一実施形態の撮像装置の危険時検出時のフローチャートである。

以下、一実施形態の撮像装置について説明する。

図１は一実施形態の撮像装置１００を備える情報処理装置５００を示すブロック図である。情報処理装置５００は、撮像装置１００、映像表示部２００、情報処理部３００、ミリ波レーダ４００、レーザレーダ４１０、加速度センサ４２０を備える。

撮像装置１００は、レンズ１と、撮像素子２と、映像信号処理部３と、画像認識部４とを備える。撮像素子２はＣＣＤまたはＣＭＯＳセンサであり、図示されないＡＤＣ（Analog to Digital Convertor）を備え、１フレーム内に赤（Ｒ）、緑（Ｇ）、青（Ｂ）の画素が所定の配列で配置されたデジタルのＲＡＷデータを複数フレーム出力する。ＲＡＷデータは、第１の画像信号である。ＲＡＷデータは映像信号処理部３と画像認識部４とに供給される。

映像信号処理部３は、人間の目で見て不自然でないような映像を生成することを目的として設けられている。映像信号処理部３は表示用の映像信号としてＹＵＶ信号を出力し、映像表示部２００はＹＵＶ信号に基づく映像を表示する。

画像認識部４は、ＲＡＷデータから後述する情報を得ることを目的として設けられている。具体的には、画像認識部４は、画像における所定の特徴を抽出し、画像として表示されていない部分を推定し、また数フレーム後の状態を推定し、危険状態を検出する。つまり、画像認識部４は、撮像装置１００内で映像信号処理部３による映像信号処理と並行して画像を認識し、認識した結果を出力する。画像認識部４が画像を認識した結果である認識情報は情報処理部３００に供給される。

情報処理部３００には、画像認識部４より供給された認識情報以外に、各種センサ、例えばミリ波レーダ４００、レーザレーダ４１０、加速度センサ４２０より出力された情報が供給される。情報処理部３００はそれらの情報を総合的に判断する。判断した結果の一部は映像表示部２００に表示される。情報処理部３００は例えばＣＰＵ、プログラムを収めたメモリ、あるいはＦＰＧＡなどによって構成される。

このように、従来は撮像装置が出力したＹＵＶ信号に基づいて撮像装置の外で行っていた画像認識を、本実施形態においては撮像装置１００の内部で映像信号処理と並行して行うので、情報処理部３００は従来より素早い判断が可能となる。

図２を用いて、撮像装置１００についてさらに詳細に説明する。

映像信号処理部３は、画像処理回路として、白傷補正回路３１、シェーディング補正回路３２、デモザイク回路３３、補正回路３４、色空間処理回路３５を有する。映像信号処理部３のそれぞれの画像処理回路は、撮像素子２から供給されたＲＡＷデータを所定の順に処理し、画像信号を生成する。白傷補正回路３１またはシェーディング補正回路３２より出力される画像信号を第２の画像信号とすれば、デモザイク回路３３より出力される画像信号は第３の画像信号である。

白傷補正回路３１は、注目画素の信号レベルが周辺画素レベルよりも格段に大きい場合に、注目画素が白傷であると判断して、その画素の信号レベルを周辺の画素信号から補間する。

シェーディング補正回路３２は、主にレンズなどの光学的な特性により、平坦な輝度の被写体を撮影しても画像周辺部の信号レベルが中央付近の信号レベルと異なっている場合に、信号レベルが画像全体で平坦になるように信号レベルを補正する。

デモザイク回路３３はカラーフィルタが所定の規則で並んでいる場合に、１フレーム内で各色信号を全画素に割り当てた画像信号を生成する。カラーフィルタの配列は、Ｒ、Ｇ、Ｂのカラーフィルタを用いたベイヤ配列になっていることが多い。またカラーフィルタを持たず、可視光から近赤外まで感度を持つ画素を含む配列になっていることもある。このような画素は白（ホワイト）と呼ばれることがある。

補正回路３４は画像の各種特性を補正する。この補正には、ホワイトバランス、輪郭補正、ガンマ補正が含まれる。ホワイトバランスとは、白の被写体においてＲ、Ｇ、Ｂの各信号が同じ大きさになるように調整することである。輪郭補正とは、解像感を改善するために輪郭部の信号を強調することである。ガンマ補正とは、映像表示部２００としてのモニタで表示するときの輝度レベルが線形になるように、予めモニタ特性に合わせて補正しておくことである。

色空間処理回路３５はＲ、Ｇ、Ｂの３色の信号を輝度（Ｙ）と色差信号に変換する。この後、色相を調整するために、色差信号が補正されることもある。

また、色空間処理回路３５はノイズリダクション処理を行うこともある。例えば色空間処理回路３５は複数フレームの画像を加算して、ノイズを減らすなどの処理を行う。このような複数フレームを用いた処理をする場合には、色空間処理回路３５は、使用する複数フレームが全て色空間処理回路３５に入力されるのを待ってから処理を行うので、その分、色空間処理回路３５からの信号の出力が遅れることになる。

さらに、色空間処理回路３５は色差信号を圧縮してＵ信号及びＶ信号を生成し、ＹＵＶ信号を生成する。このような処理を経て得られたＹＵＶ信号は端子５０から映像信号として出力される。

撮像素子２のＲＡＷデータは画像認識部４にも供給される。画像認識部４は、輝度画像生成部４１、静的フィルタ部４２、輝度情報メモリ４３及び４４、動的フィルタ部４５、輝度画像認識部４６、色画像認識部４７、認識結果送信部４８を含む。

このうち輝度画像生成部４１から輝度画像認識部４６は、輝度信号を処理する。色画像認識部４７は色画像を判断する。認識結果送信部４８は輝度画像認識部４６と色画像認識部４７の認識結果に基づいて認識結果信号を生成する。認識結果信号は端子５１から出力される。

輝度画像生成部４１について述べる。画像認識部４では処理のほとんどが輝度情報をもとに行われる。輝度画像生成部４１は輝度情報をＲＡＷデータから取り出す。もっとも単純な輝度画像生成方法として、ベイヤ配列の場合、Ｇのカラーフィルタのついた画素の信号だけを用いるという方法がある。または、ホワイトと呼ばれるカラーフィルタがない画素は純粋に輝度のみを扱っているので、ホワイトの画素信号を用いるという方法もある。

ここでは撮像素子２がベイヤ配列であり、Ｇの画素信号を用いる場合を説明する。この場合、撮像素子２が有する画素数に基づく本来の解像度に比べて、輝度信号の解像度は劣化する。通常、デモザイク処理における輝度信号はＧだけでなくＲ及びＢの画素信号も用いて生成されるので、解像度は本来の解像度の０．７〜０．８倍程度ある。しかしながら、Ｇのみの画素信号では、Ｒ及びＢの画素信号を用いることができず、解像度は０．５倍程度に劣化する。

人間が見るための映像であれば、このような解像度劣化は重大な問題となる。しかしながら画像認識をすることが目的の場合には、解像度劣化が必ずしも重要とは限らず、影響が少ない。その理由については後述する。

ベイヤ配列のＧの画素信号だけを用いるとＲ及びＢの画素には信号がなくなってしまう。そこで輝度画像生成部４１は、抜けた画素部分の周辺の４つのＧの画素信号を単純平均して画素を補間する。

また白傷がある場合、白傷補正回路３１は白傷を補正する。通常は見た目を重視するのでＧだけでなくＲ及びＢの画素信号も用いて白傷補正が行われる。しかしながら輝度画像生成部４１は隣接するＧの画素信号のみを使って補正する。この結果、輝度画像の解像度はＧだけでなくＲ及びＢの画素信号を用いた場合よりも劣化する。このように輝度画像生成部４１は解像度よりも処理の高速さを重視して単純な処理で輝度画像を生成する。

なお緊急動作状態では、輝度画像生成部４１の生成した輝度画像は図２の破線の経路を通して補正回路３４に送られる。この緊急動作状態の場合の処理については後述する。

輝度画像生成部４１が生成した輝度画像は静的フィルタ部４２と輝度情報メモリ４３に供給される。

静的フィルタ部４２について説明する。静的フィルタ部４２は動きのない１フレームの輝度画像から特徴を抽出するためのフィルタ処理を行う。ここで行うフィルタ処理とは主に畳み込み処理やプーリング処理である。畳み込み処理とは画像を滑らかにしたりシャープにしたりする処理である。プーリング処理とはこのような畳み込みを行った結果を再サンプリングする処理である。

このような処理は抽出すべき特徴だけを残して情報を削っていくことに相当する。このように情報を削っていく処理を含んでいるので、輝度画像が持つ情報量がある程度少なくても、静的フィルタ部４２による特徴抽出にあまり影響を与えない。したがって輝度画像生成部４１は、輝度画像の生成に解像度の劣化を伴う単純な方法を使える。

静的フィルタ部４２は抽出する特徴ごとに異なるフィルタを有し、それらを並列で動作させる。それらの異なるフィルタは、ニューラルネットワークのディープラーニングにより予め学習済みで、パラメータがチューニングされている。

静的フィルタ部４２により抽出された結果は、輝度情報メモリ４３と輝度画像認識部４６に供給される。

なお、撮像装置１００では、フィルタのパラメータの再チューニング（再学習）は行わない。なぜなら再チューニングを行うと、個々の撮像装置１００の特性が時間とともに変化し、乖離していくからである。フィルタのパラメータは、バージョンアップという形で外部から与えられる場合のみ変化する。

静的フィルタ部４２では例えば次のような特徴を抽出する。
・形状抽出：静的フィルタ部４２は特定の形状を抽出する。形状には、縦線、横線、斜め線、角度、鋭角のピーク、四角、丸、三角、などが含まれる。
・重要物体抽出：静的フィルタ部４２は人体、車、動物、標識などの重要物体を抽出する。本実施形態によれば、全体が見えていなくても部分が見えているだけで特徴の抽出は可能である。
・文字、記号抽出：静的フィルタ部４２は文字または記号があるかどうかを抽出する。
・静的輪郭抽出：静的フィルタ部４２は静的画像で輝度が急激に変わるところを抽出する。
・消失点抽出：遠近を比較するために用いられる。

輝度情報メモリ４３には最新の輝度画像と静的フィルタ部４２の抽出結果が書き込まれている。書き込まれた最新の輝度画像及び抽出結果は次のフレームの輝度画像及び抽出結果が輝度情報メモリ４３に書き込まれる前に輝度情報メモリ４４に移される。こうして輝度情報メモリ４４には少なくとも１フレーム前の情報が記憶されている。

なお、静的フィルタ部４２による輝度画像からの特徴の抽出は、輝度画像生成部４１から輝度画像の供給が完了するのを待ってから行う必要はなく、輝度画像を供給中でも、すでに供給された輝度画像の一部分に対して行うことが可能である。

動的フィルタ部４５は、輝度情報メモリ４４の少なくとも１フレーム前の情報と輝度情報メモリ４３の情報とを比較することで、動きに関連する特徴を抽出する。このような動きに関連した特徴抽出は例えば次のようなものである。
・塊抽出：動的フィルタ部４５は同じような動きをする画素の集まりを抽出する。
・動的輪郭抽出：動的フィルタ部４５は塊抽出でひとつの塊を抽出したときに塊の境界を輪郭として抽出する。動的輪郭抽出は、背景と塊が同じような輝度を持っている場合、静的画像から輪郭を抽出しにくい場合に有効である。
・動き方向抽出：動的フィルタ部４５は塊の動く方向を抽出する。
・動き方特徴抽出：動的フィルタ部４５は特定の動き方を抽出する。例えば、動的フィルタ部４５は、回転運動、人が歩いている動き、ボールが弾んで転がる動き、鳥が飛ぶ動きなど、特定の特徴ある動きがあるかどうかを抽出する。

動的フィルタ部４５は、ニューラルネットワークのディープラーニングにより予め学習済みの、パラメータがチューニングされたフィルタを用いる。また、動的フィルタ部４５は、抽出する特徴ごとに異なるフィルタを有し、それらを並列で動作させる。

静的フィルタ部４２または動的フィルタ部４５で抽出された特徴は、輝度画像認識部４６に供給される。輝度画像認識部４６は抽出された複数の特徴をまとめ、輝度画像の内容を認識する。例えば、静的フィルタ部４２で人と抽出された物体が、動的フィルタ部４５の抽出した結果においてひと塊の物体として動いているか、動き方の特徴が人特有の動き方であるかなど、複数の特徴が一致しているかを確認し、輝度画像認識部４６はその物体を人と認識する。このように、複数の特徴から確認することで、輝度画像認識部４６は認識の確からしさを高め、例えば人形を人間と誤認識する確率を下げる。

また輝度画像認識部４６は様々な推定作業を行う。輝度画像認識部４６は例えば次のような推定を行う。
・前後関係の推定：輝度画像認識部４６はある塊の物体同士がどのような前後関係にあるのかを推定する。
・自分の動きの推定：輝度画像認識部４６は自分が動いているかどうかなどの周囲との相対関係について推定する。
・塊の前後方向（奥行き方向）の動きの推定。
・隠れている部分の推定：輝度画像認識部４６は例えば直線状のものが隠れている場合、見えている部分が延長されていると推定する。輝度画像認識部４６は認識している対象が一時的に隠れて見えなくなった場合でも、対象がそこにあると推定する。
・未来の状態の推定（予測）：輝度画像認識部４６は動きの推定結果から数フレーム後にどのような位置関係になっているかを推定する。また、輝度画像認識部４６は推定結果通りになっているか確認する。

このような推定をすることで、輝度画像認識部４６は、例えば次のような認識が可能になる。物体Ａが移動して物体Ｂの陰に隠れて見えなくなった場合、輝度画像認識部４６は、物体Ａが見えてはいないが物体Ｂの陰にあると認識する。また、輝度画像認識部４６は、一定時間後に物体Ａが物体Ｂの反対側から出てくると推定し、そして実際に出てくるかどうかを確認する。

また、輝度画像認識部４６は危険な状態の検出を行う。ここではそれを危険検出と呼ぶことにする。輝度画像認識部４６は１フレーム前までの予測と比較して、現在の状態が大きく異なっている場合に危険を検出する。例えば１フレーム前になかった新しい物体が突然現れ画面全体の大きな部分、例えば１５％以上を占めたとする。すると動的フィルタ部４５は輝度画像認識部４６に新しい物体が出現したことを知らせる。輝度画像認識部４６は推定結果と照らし合わせて、それが予め推定されていたものでなければ、危険を検出する。

危険検出をフレーム遅れなく行うことは撮像装置１００を搭載している機器にとっては重要である。撮像装置１００は映像信号処理と同時に画像認識を行うので、フレーム遅れなく危険を検出する。

危険が検出された場合には、撮像装置１００は緊急動作状態に移行する。緊急動作状態については後述する。

次に色情報の認識について説明する。色情報の認識とは、例えば交通信号機の発する色に関する認識である。静的フィルタ部４２が信号機を抽出したとしても、何色の信号が光っているかは輝度画像からは分からないので、色情報の認識が必要な場合がある。しかしながら色情報を高速で処理する意義は輝度情報に比べて低い。そこで、本実施形態では色空間処理回路３５の結果を待って色情報を処理する構成としている。

もちろん、色情報にフレーム遅れがあると問題になる場合には、輝度信号の場合と同様に、映像信号処理と並列処理を行ってもよい。その場合はデモザイク処理などを行わず、直接各色（通常はＲ、Ｇ、Ｂの３色）のＲＡＷデータから特徴を抽出する構成とすることが好ましい。

輝度画像認識部４６と色画像認識部４７の認識結果は、認識結果送信部４８に送られ、予め決められたプロトコルにしたがって端子５１から送信され、情報処理部３００に送られる。輝度画像認識部４６と色画像認識部４７からは膨大な認識結果が送られてくるので、認識結果送信部４８は認識結果を選択し、送信の順序を設定する。

認識結果送信部４８での認識結果の選択の方法または基準は、搭載している機器の特徴に合わせればよいが、危険検出の結果は最優先で送信されることが望ましい。危険検出専用の送信線があれば、さらに望ましい。

なお、端子５０及び５１はシリアルバス端子でもパラレルバス端子でもよい。

次に、輝度画像認識部４６が画像をどのように認識しているかの例を示す。図３は撮像装置１００が端子５０から出力する映像信号のある１フレームの画像６０である。この画像６０について輝度画像認識部４６の認識結果は例えば次のようである。

静的フィルタ部４２は物体６２と物体６６から人間の特徴を抽出し輝度画像認識部４６に報告している。一方、動的フィルタ部４５は物体６２及び６６がひと塊として動いていることを輝度画像認識部４６に報告しており、また動き方も人間の歩き方であると報告しているので、すべての報告に矛盾がない。そこで、輝度画像認識部４６は物体６２及び６６が人間であると認識し、その結果を情報処理部３００に報告する。

静的フィルタ部４２は消失点６５を抽出しており、この消失点６５から輝度画像認識部４６は物体６２及び６６の遠近に関する位置関係を認識している。また動的フィルタ部４５の報告する物体６２及び６６の移動速度、移動方向から、輝度画像認識部４６は物体６２及び６６の現在と将来のおおよその位置関係を推定している。

さらには、輝度画像認識部４６は、物体６６と物体６８の前後関係の推定から、物体６６が物体６８の背後にあることを認識している。また、輝度画像認識部４６は、移動方向の認識から、物体６６が物体６８から出てきていることを認識している。また、輝度画像認識部４６は、物体６６が人間であると認識しているので、物体６８の陰に見えていない人体の一部６７があることも認識しており、一定時間後に人体の一部６７が見えるであろうことを予測している。

線６４は一部が物体６２の陰に隠れているが、輝度画像認識部４６は見えないところにも線が続いていると仮定するので、破線６３が存在すると推定しており、物体６２の移動にともなって破線６３が実際に現れることを推定している。

また、静的フィルタ部４２は物体６１から物体６１の形状の特徴を抽出するとともに、標識との特徴抽出も行っているので、輝度画像認識部４６はそのような認識結果を認識結果送信部４８に送る。標識の場合は色情報が重要である場合が多いので、認識結果送信部４８は、輝度画像認識部４６の結果に合わせて、色画像認識部４７の認識した物体６１の各部の色を情報処理部３００に報告している。

このように撮像装置１００は映像信号処理と並行して画像認識の処理を実行し、映像信号と認識結果信号とを略同時に出力することを特徴としている。

次に、危険検出により危険が検出されたときの緊急動作状態について説明する。例えば１フレーム前になかった物体がフレームの例えば１５％以上を占め、それが予め予測されていなかった場合、輝度画像認識部４６は危険を検出すると仮定する。図３の画像６０の次のフレームが図４のように物体７０が１５％以上占める状態になると、輝度画像認識部４６は危険を検出する。危険を検出すると撮像装置１００は緊急動作状態になる。

緊急動作状態の動作について図２のブロック図、及び図５のフローチャートを用いて説明する。

まず、輝度画像認識部４６は、ステップＳ１にて、危険を検出したかどうかを判断する。輝度画像認識部４６がステップＳ１で危険を検出すると、輝度画像認識部４６は、ステップＳ２にて、撮像素子２と輝度画像生成部４１に動作変更を指示する。

動作変更の指示を受けて、ステップＳ３にて、撮像素子２は１秒間の撮像枚数（フレームレート）を増やす。例えば撮像素子２は、それまでのフレームレート３０ｆｐｓを１６倍してフレームレート４８０ｆｐｓとする。撮像素子２がフレームレートを増やすと、撮像の間隔が短くなるので、輝度画像認識部４６の認識の間隔も短くできる。

しかしフレームレートを１６倍に増やすことは撮像素子２にとって簡単ではない。単純に増やすとＡＤＣや出力回路の処理能力を越えてしまう。そこで、撮像素子２は１フレームあたりの信号量を減らす。

画像認識に必要なのは主に輝度信号であるから、撮像素子２は輝度に寄与するＧの画素信号、あるいはホワイトの画素信号のみを読み出し、Ｒ及びＢの画素信号は読み出さずに捨ててしまう。ベイヤ配列であれば、この処理により、撮像素子２が出力する信号量は半分になる。

さらに必要であれば、撮像素子２はＧ（またはホワイト）の画素信号も間引いて出力する。例えば撮像素子２はＧの画素信号の４つに１つだけ読み出す。さらに撮像素子２はＡＤＣで生成するデジタル信号を例えば１４ビットから７ビット程度に落とす。このように複数の処理を組み合わせて、撮像素子２はフレームレート４８０ｆｐｓを達成する。

この結果、得られる輝度画像は解像度が少なく、階調が減少した画像になる。このように、緊急動作状態では、画質よりも画像を得る高速さを優先する。

撮像素子２から出力されたＲＡＷデータはすでに輝度信号のみであるから、輝度画像生成部４１は輝度信号の抽出作業は行わずに、輝度信号の単純補間のみを行い、静的フィルタ部４２に供給し、輝度情報メモリ４３に記憶する。

また輝度画像生成部４１は、この単純補間した輝度信号を補正回路３４に供給する。この内容については後述する。

ステップＳ４では、解像度の少ない輝度画像を使って、静的フィルタ部４２及び動的フィルタ部４５が特徴を抽出し、輝度画像認識部４６に知らせ、輝度画像認識部４６が認識処理を行う。画素数が少ないので、特徴抽出、認識処理は高速で実施される。

なお、静的フィルタ部４２、動的フィルタ部４５、輝度画像認識部４６には、緊急動作状態用のものを予め用意し、緊急動作状態ではそれらを使うようにしてもよい。特徴検出の項目も、緊急動作状態とそうでない通常動作の状態とでは異なっていてもよい。例えば項目数を大幅に減らし、より高速に動作できるようにしてもよい。

輝度画像認識部４６が認識した内容は、認識結果送信部４８を経て端子５１から情報処理部３００に供給され、そこで総合的な判断が行われる。例えば、情報処理部３００は機器の動作を止めるなどの危険回避行動の判断を行う。

次のステップＳ５では、情報処理装置５００は、危険状態が終了したかどうかを判断する。この判断を輝度画像認識部４６が行ってもよいし、情報処理部３００が判断して画像認識部４に伝えてもよい。後者の場合は、情報処理部３００の判断結果は端子５２から輝度画像認識部４６に伝えられる。危険状態が終了していない場合は、ステップＳ４の高速認識処理が継続される。

危険状態が終了したと判断された場合には、ステップＳ６にて、輝度画像認識部４６は、撮像素子２の動作、及び輝度画像生成部４１の動作を通常動作に戻す。その後、処理はステップＳ１に戻される。

次に、緊急動作状態における、映像信号処理部３の動作を説明する。撮像素子２が高速フレーム動作になったときに、撮像素子２から出力される画像信号はカラー情報のない輝度画像のみになる。その輝度画像も画素が間引きされた状態であり、１秒間のフレーム数も多い状態である。このような画像信号では映像信号処理部３は通常の信号処理はできない。

しかしながら、間引かれた輝度信号は輝度画像生成部４１で補間された輝度画像となり、これは映像信号処理部３で扱える画像となっている。そこで輝度画像生成部４１は１６フレームごとに１フレームを映像信号処理部３に供給する。つまり映像信号処理部３で扱う映像はフレームレート３０ｆｐｓのままである。

映像信号処理部３ではその信号を人間が見やすくなる処理をして、端子５０から出力する。その処理は例えばガンマ処理であり輪郭補正である。したがって映像信号処理部３のうち補正回路３４で輝度画像を輝度画像生成部４１から受け取る。

色空間処理回路３５はモニタ（映像表示部２００）に表示できるＹＵＶ信号（ただし色信号がない輝度信号のみ）に変換し、端子５０から出力する。したがって、映像表示部２００は緊急動作状態ではモノクロ画像しか表示しない。

なお、本実施形態では撮像素子２から画像認識部４にＲＡＷデータを直接供給する場合のみについて説明したが、必要に応じてＹＵＶ信号に変換される以前の状態であれば、そこから分岐して画像認識部４に供給するようにしてもよい。例えば、白傷が非常に多く、判断に影響を与えるようであれば、白傷補正回路３１の処理を終えてから輝度画像生成部４１に画像を供給するように設計してもよい。

またレンズの影響が強く、画像周辺部の信号レベルの低下が大きい場合は、シェーディング補正回路３２のあとで画像を輝度画像生成部４１に供給するようにしてもよい。ＹＵＶ信号に変換される以前の信号であれば、どの段階でも従来の撮像装置を使った構成よりも判断を高速にできる。デモザイク回路３３に供給される前の画像信号（第１または第２の画像信号）を分岐して画像認識部４に供給すればより高速に判断でき、望ましい。したがってこれらの変形例は本発明の範囲である。

また撮像素子２において、ＡＤＣ機能が内蔵されておらず、ＡＤＣが撮像素子２の外部にある場合も本発明に含まれることはもちろんである。

１レンズ
２撮像素子
３映像信号処理部
４画像認識部
３１白傷補正回路
３２シェーディング補正回路
３３デモザイク回路
３４補正回路
３５色空間処理回路
４１輝度画像生成部
４２静的フィルタ部
４３，４４輝度情報メモリ
４５動的フィルタ部
４６輝度画像認識部
４７色画像認識部
４８認識結果送信部
５０〜５２端子

Claims

１フレーム内に赤、緑、青の画素が所定の配列で配置された複数のフレームによって構成される第１の画像信号を出力する撮像素子と、
前記第１の画像信号を順に処理する複数の画像処理回路を含み、前記複数の画像処理回路のうちの１つの画像処理回路として、前記第１の画像信号を処理することによって生成された第２の画像信号に基づき、１フレーム内に赤、緑、青それぞれの画素が配置された各フレームによって構成される第３の画像信号を生成するデモザイク回路を有し、前記第３の画像信号に基づいて表示用の映像信号を生成する映像信号処理部と、
前記映像信号処理部が前記映像信号を生成する処理と並行して、前記第１または第２の画像信号を用いて画像を認識する画像認識部と、
を備えることを特徴とする撮像装置。
前記第１の画像信号はＲＡＷデータであり、
前記画像認識部は前記ＲＡＷデータを用いて画像を認識することを特徴とする請求項１に記載の撮像装置。