JP2009077230A - 画像処理装置、マイクロコンピュータ及び電子機器 - Google Patents

Abstract

【課題】画像の明るさ変化を検出して、明るさ変化に応じて撮像部の設定を変更可能な画像処理装置を提供すること。
【解決手段】本画像処理回路２００は、撮像手段３００で撮影された複数のフレームの画素単位の画像データ３５０を時系列に受け取り画像処理を行う画像処理装置であり、受け取った各フレームの画像データの少なくとも１部の画素の画素値又は輝度に関連する画素成分を積算して積算値を求め、積算値を所与の比較対象値と比較して、比較結果に基づき各フレームの画像の明るさ変化を検出する明るさ変化検出部２１０を含む。
【選択図】図１

Description

本発明は、画像処理装置、マイクロコンピュータ及び電子機器に関する。

車などの事故時の画像データを取得するために、該移動体に搭載される画像記録装置（ドライブレコーダ）が知られている。

画像記録装置の技術として、撮像部で時系列に取得された画像データを順次第一次記憶部に格納してゆき、事故を検出したときに、事故前の所定の期間に取得されて第一次記憶部に格納された画像データを第二次記憶部に記憶させる技術が知られている。これによると、事故前の所定の期間に取得された画像データを第二次記憶部に記憶させることができるため、事故の経過を示す画像データを取得することができる。
特開平５−１９７８５８号公報

ところがドライブレコーダ等に搭載された撮像部の撮影状況は、車体のおかれた環境に応じて変化が激しい。例えば車両がトンネル等に入ったり出たりする場合、周囲の明るさが急激に変化するため、撮像部の輝度調整が追いつかず、明るすぎて、又は暗すぎて何が写っているか判別ができない画像が取得される場合があった。

本発明は、以上のような技術的課題に鑑みてなされたものであり、その目的とするところは、画像の明るさ変化を検出して、明るさ変化に応じて撮像部の設定を変更可能な画像処理装置、マイクロコンピュータ及び電子機器を提供することにある。

（１）本発明は、
撮像手段で撮影された複数のフレームの画素単位の画像データを時系列に受け取り画像処理を行う画像処理装置であって、
受け取った各フレームの画像データの少なくとも１部の画素の画素値又は輝度に関連する画素成分を積算して積算値を求め、積算値を所与の比較対象値と比較して、比較結果に基づき各フレームの画像の明るさ変化を検出する明るさ変化検出部と、
を含むことを特徴とする。

明るさ変化検出部は例えば専用の回路を設けハードウエア的に実現してもよいし、ＣＰＵで明るさ変化検出用のプログラムを実行することでソフトウエア的に実現してもよい。

明るさ変化検出部は、受けとった画像データの明るさ変化検出をリアルタイムに行い、明るさ変化検出結果に基づき撮像手段の撮像パラメータの設定を変化させる制御をおこなってもよいし、受け取った画像の画像処置の設定を変更するようにしてもよい。

本発明によれば、画素の値の積算値に基づき明るさの変化を検出できるので、少ない処理負荷で高速に画像の明るさ変化を検出して、明るさ変化に応じて撮像部の設定を変更可能な画像処理装置を提供することができる。

（２）本発明の画像処理装置は、
前記明るさ変化検出部は、
画像データの少なくとも１部の画素のＹ成分の積算を行いＹ成分の積算値を求め、
Ｙ成分の積算値を所与の比較対象値と比較して、比較結果に基づき各フレームの画像の明るさ変化を検出することを特徴とする。

（３）本発明の画像処理装置は、
前記明るさ変化検出部は、
各フレームの画像を複数のエリアに分割して、受け取った各フレームの画素の画素値又は輝度に関連する画素成分を、当該画素が属するエリア単位に積算してエリア毎の積算値を求め、エリア毎の積算値に基づき基づき明るさ変化を検出することを特徴とする。

例えば車のヘッドライト等で画像一部のエリアのみが明るくなるような場合に、エリア全体での明るさで判断すると、画像全体としては明るさに変化がないのにあると判断して、補正してしまう可能性もある。本発明ではエリア単位の積算値に基づき明るさ変化を検出するので、一部のエリアのみ明るさが大きくなっているかいなか判断できるので、より正確な明るさ変化の検出を行うことができる。

（４）本発明の画像処理装置は、
明るさ変化が検出された場合には、撮像手段の画像の輝度調整に係るパラメータを変化させるための制御を行う撮像制御処理部とを含むことを特徴とする。

例えばデジタルカメラなどでは、増幅回路を使用して信号のゲインをコントロールすることによって、暗い場所で撮影したデジタル画像の明るさを調整することなどが可能になっている。従って、積算値が所与の比較対象値よりも大きい場合には、撮像手段（カメラモジュール）の画像認識パラメータ（ＹＵＶのゲイン等）を、露出を小さくするように制御するようにしてもよい。また積算値が所与の比較対象値よりも小さい場合には、撮像手段（カメラモジュール）の画像認識パラメータ（ＹＵＶのゲイン等）を、露出を大きくするように制御するようにしてもよい。

（５）本発明の画像処理装置は、
明るさ変化を検出した場合には、割り込み信号を発生させる割り込み制御部を、含むことを特徴とする。

（６）本発明の画像処理装置は、
前記明るさ変化検出部は、
積算値の履歴情報に基づいて、比較対象値を設定又は変更することを特徴とする。

（７）本発明の画像処理装置は、
前記明るさ変化検出部は、
日時情報に基づき、比較対象値の設定又は変更を行うことを特徴とする。

（８）本発明の画像処理装置は、
前記明るさ変化検出部は、
複数のレベルの各レベルに対応して異なる比較対象値を設定し、積算値を各レベルの比較対象値と比較して、比較結果に基づき明るさ変化のレベルを判定し、
前記撮像制御処理部は、
判定されたレベルに応じて、撮像手段の画像認識パラメータを変化させるための制御を行うとを含むことを特徴とする。

（９）本発明の画像処理装置は、
前記撮像制御処理部は、
複数のレベルの各レベルに対応してカメラモジュール制御パターンが記憶されたレベル別制御テーブルを記憶し、レベル別制御テーブルに基づき、判定されたレベルに対応した制御を行うことを特徴とする。

（１０）本発明の画像処理装置は、
前記明るさ変化検出部は、
各フレームの画素値の積算を行う際に、各フレームの画素を所定の規則に基づいて間引きして間引き後の画素の画素値を積算対象として積算を行うことを特徴とする。

（１１）本発明は、
上記のいずれかに記載の画像処理装置を含むことを特徴とするマイクロコンピュータである。

（１２）本発明は、
上記に記載のマイクロコンピュータと、
前記マイクロコンピュータの処理対象となるデータの入力手段と、
前記マイクロコンピュータにより処理されたデータを出力するためのＬＣＤ出力手段とを含むことを特徴とする電子機器である。

以下、本発明の好適な実施の形態について図面を用いて詳細に説明する。なお、以下に説明する実施の形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また以下で説明される構成の全てが本発明の必須構成要件であるとは限らない。

１．画像処理装置
図１は本実施の形態の画像処理装置のブロック図を示す。

本実施の形態の画像処理装置２００は、撮像部（カメラモジュール３００）からの画像データを受け取るカメラＩ／Ｆ２４０を含む。画像データは、画素のＹＵＶデータを、例えばＹＵＶ４２２のフォーマットで受け取るようにしてもよい。

本実施の形態の画像処理装置２００は、明るさ変化検出部２１０を含む。明るさ変化検出部２１０は、受け取った各フレームの画像データの少なくとも１部（全部でもよいし、一部でもよい）の画素の画素値又は輝度に関連する画素成分を積算して積算値（各フレーム毎の積算値でもよいし、各フレームのエリア毎の積算値でもよい）を求め、積算値を所与の比較対象値と比較して、比較結果に基づき各フレームの画像の明るさ変化を検出する。

明るさ変化検出部２１０は、画像データの少なくとも１部の画素のＹ成分の積算を行いＹ成分の積算値を求め、Ｙ成分の積算値を所与の比較対象値と比較して、比較結果に基づき各フレームの画像の明るさ変化を検出するようにしてもよい。

また明るさ変化検出部２１０は、各フレームの画像を複数のエリアに分割して、受け取った各フレームの画素の画素値又は輝度に関連する画素成分を、当該画素が属するエリア単位に積算してエリア毎の積算値を求め、エリア毎の積算値に基づき基づき明るさ変化を検出するようにしてもよい。

また明るさ変化検出部２１０は、積算値の履歴情報に基づいて、比較対象値を設定又は変更するようにしてもよい。例えば積算値の履歴の値が大きければ設定値を高めに設定または変更し、積算値の履歴の値が小さければ設定値を低めに設定または変更してもよい。

また明るさ変化検出部２１０は、日時情報に基づき、比較対象値の設定又は変更を行うようにしてもよい。

また明るさ変化検出部２１０は、複数のレベルの各レベルに対応して異なる比較対象値を設定し、積算値を各レベルの比較対象値と比較して、比較結果に基づき明るさ変化のレベルを判定してもよい。

また明るさ変化検出部２１０は、各フレームの画素値の積算を行う際に、各フレームの画素を所定の規則に基づいて間引きして間引き後の画素の画素値を積算対象として積算を行うようにしてもよい。例えば一つおきに画素を間引くようにすると、画素を偏りなく抽出でき、処理負荷も低くなる。

本実施の形態の画像処理装置２００は、明るさ変化が検出された場合には、撮像部（カメラモジュール）３００の画像の輝度調整に係るパラメータ（画像認識パラメータ（ＹＵＶのゲイン等））３０２を変化させるための制御を行う撮像制御処理部２３０とを含むようにしてもよい。なお画像処理装置が撮像部３００を直接制御できない場合には、図８で説明するように他の情報処理装置を介して撮像部（カメラモジュール）３００の制御を行うようにしてもよい。この場合、撮影制御部２３０は、明るさ変化を検出した場合には、割り込み信号を発生させ、他の情報処理装置に割り込み信号を送る割り込み制御部として機能させても良い。

本実施の形態の画像処理装置２００は、画像処理装置の目的に応じた画像処理を行う画像処理部２５０を含む。

図２は本実施の形態における明るさ変化検出部の明るさ変化検出の手法の一例について説明するための図である。本実施の形態では、明るさ変化検出部２１０は、画像を複数のエリアに分割し、エリア単位で画素値の積算を行い明るさの検出を行う。

３１０は時系列に入力される画像である。例えば各画像を水平方向に３等分、垂直方向に３等分して３×３＝９個のエリアに分割してもよいし、水平方向にＭ等分、垂直方向にＮ等分してＭ×Ｎ個のエリアに分割してもよい。

画像３１０の所与のエリア３２０が例えばｍ×ｎ個の画素Ｐ１、Ｐ２・・・Ｐｎで構成されており、各画素Ｐ１、Ｐ２・・・Ｐｎの画素値の値がａ１，ａ２・・・ａｎであるとする。ここにおいてａ１，ａ２・・・ａｎは、例えば各画素の輝度に関連する画素成分（ＹＵＶ成分やＲＧＢ成分のいずれか成分の値）でもよい。

画像３１０のエリアＡ１の画素値の積算値をＡｓ１とすると、Ａｓ１は例えば以下の式で表すことが出来る。
Ａｓ１＝ａ１＋ａ２＋・・・＋ａｎ

なおａ１、ａ２、・・・ａｎの上位数ビットの値であるａ１’、ａ２’、・・・ａｎ’を積算して積算値Ａｄ１’を求めるようにしてもよい。

図３は、明るさ変化検出部２１０の構成の一例を説明するための図である。

明るさ変化検出部２１０は、外部のカメラモジュール（撮像手段）３００で撮影された画素単位の画像データ（例えばＹＵＶデータ３５０やＲＧＢデータ等、ＨＳＹＮＣ（水平同期信号）３５２、ＶＳＹＮＣ（垂直同期信号）３５４、データバリッド信号３５６等）を時系列に受け取り、リアルタイムに（ＶＳＩＮＣに同期して）、各エリア単位で画素値（またはそのＹ成分）の積算を行う。

明るさ変化検出部２１０は、加算機２１１、ワーク積算値バッファ２１２、エリア別積算値バッファ２１３−１・・・・２１３−ｎ、大小比較回路２１４、最大積算値バッファ２１５、変化検出部２２０を含んで構成してもよい。

例えば加算機２１１はＹＵＶデータＹ成分と、ワーク積算値バッファの値を加算してエリア単位に積算値を求めて、各エリア毎の積算値をエリア１積算値バッファ２１３−１、エリア２積算値バッファ２１３−２、・・・、エリア３積算値バッファ２１３−１に格納してもよい。

大小比較回路２１４は、エリア１積算値バッファ２１３−１、エリア２積算値バッファ２１３−２、・・・、エリア３積算値バッファ２１３−１に格納されたエリア毎の積算値を入力して所与の画像のエリア毎の積算値のなかで最大値を最大積算値バッファ２１５に出力する。最大積算値バッファ２１５の値に基づき、明るさ変化検出部２２０の比較対象値バッファ２２に値を設定してもよい。

変化検出部２２０は、比較対象値設定処理部２２６、比較対象値バッファ２２２、比較回路２２４、比較結果格納レジスタ２２８を含んで構成してもよい。比較回路は２２４は、エリア１積算値バッファ２１３−１、エリア２積算値バッファ２１３−２、・・・、エリア３積算値バッファ２１３−１に格納される予定の積算値と、比較対象値バッファ２２の値を入力して比較結果を比較結果格納レジスタ２２８に格納する。例えば比較結果格納レジスタ２２８は、各エリア毎に１ビットの結果格納領域が割り当てられたレジスタでもよく、比較結果に応じて結果格納領域に’０’（明るさ変化なし）又は’１’（明るさ変化有り）を格納するようにしてもい。

比較対象値設定処理部２２６は、積算値の履歴情報に基づいて、比較対象値を設定してもよい。例えば最大積算値バッファ２１５に格納されている値（積算値の履歴にあたる）に基づき比較対象値バッファに第１の比較対象値を設定してもよい。第１の比較対象値として、例えば最大積算値バッファ２１５に格納されている前フレームのエリアの最大積算値を設定してもよいし、当該最大積算値から所定の規則に基づき得られる値（例えば最大積算値をｋ倍した値）を設定してもよい。

また比較対象値設定処理部２２６は、積算値の履歴情報に基づいて、比較対象値を設定又は変更するようにしてもよい。例えば最大積算値バッファ２１５やエリア積算値バッファ２１３−１〜２１３−９に格納された値に応じて設定する比較対象値を決定したり、変化させてもよい。また例えば履歴として取得された各積算値（例えば過去ｘフレームの画像の積算値の平均等）と設定値の対応テーブルや対応関数を設定して、積算値の履歴情報に基づいて、対応テーブルや対応関数から、ソフトウエア的に比較対象値を求めて設定するようにしてもよい。このようにすると過去ｘフレームの画像の積算値の平均が低い場合（暗い場合）には、比較対象値を低めに設定し、積算値の平均が高い場合（明るい場合）には、比較対象値を高めに設定することもできる。

また比較対象値設定処理部２２６は、日時情報に基づき、比較対象値の設定又は変更を行うようにしてもよい。例えば時刻情報に基づき、夜の時間帯であれば比較対象値を低く設定し（輝度の低い値を設定し）、夜の時間帯であれば比較対象値を高く設定してもよい（輝度の高い値を設定してもよい）。

なお明るさ変化の大小に応じて複数のレベル設定し、どのレベルに該当するか判断する場合には、各レベルに対応した複数の変化検出部２２０を用意してもよい。各レベル毎の比較対象値と積算値との比較結果を各レベル毎の比較結果格納レジスタに格納して、各レベル毎の比較結果レジスタの値に基づき明るさ変化のレベルを判定してもよい。

図４は、明るさ変化のレベルの設定例である。

同図に示すようにレベル１〜レベル３の３段階のレベルを設定するようにしてもよい。

レベル１は「白飛び」の検出を目的とするために設定されたレベルであり、積算値を画素の最大値と比較してレベル１の変化を検出してもよい。例えばレベル１を検出するための検出部２２０の比較対象値バッファ２２２に、画素の最大値を設定してもよい。レベル１が検出された場合には、例えば後述するようにＩ２Ｃ経由でカメラモジュールの露出の再設定をおこなうようにしてもよい。

レベル２は「太陽光反射による画像の修正」の検出を目的とするために設定されたレベルであり、通常積算値の４倍の値と比較してレベル２の変化を検出してもよい。例えばレベル２を検出するための検出部２２０の比較対象値バッファ２２２に、デフォルトで設定された通常積算値の４倍の値を設定してもよいし、最大積算値バッファ（過去の履歴）に格納された値の４倍の値を設定してもよい。レベル２が検出された場合には、画像処理で、次の画像データの該当するＹ成分の修正（例えばＹ成分の値を１／４にする補正）を行うようにしてもよい。

レベル３は「突発的明るさによる画像の修正」の検出を目的とするために設定されたレベルであり、通常積算値の２倍の値と比較してレベル３の変化を検出してもよい。例えばレベル３を検出するための検出部２２０の比較対象値バッファ２２２に、デフォルトで設定された通常積算値の２倍の値を設定してもよいし、最大積算値バッファ（過去の履歴）に格納された値の２倍の値を設定してもよい。レベル３が検出された場合には、画像処理で、次の画像データの該当するＹ成分の修正（例えばＹ成分の値を１／２にする補正）を行うようにしてもよい。

例えば変化の度合いがレベル１＞レベル２＞レベル３で設定されている場合には、レベル１のみ満たす場合にはレベル１、レベル１とレベル２を満たす場合にはレベル２、レベル１からレベル３２を満たす場合にはレベル３と判断することができる。

また本画像処理装置はレベルに応じて種類の異なる割り込み信号（例えばレベル１ならば第１の割り込み信号、レベル２ならば第２の割り込み信号、レベル３ならば第３の割り込み信号）を発生させ、カメラモジュール又はカメラモジュールを制御可能な他の画像処理装置に通知する。カメラモジュール又はカメラモジュールを制御可能な他の画像処理装置では、明るさ変化のレベルとカメラモジュールの設定値の関係を予めテーブルとして設定しておいて、受け取った割り込み信号の種類に対応した設定値をテーブルから取得し、取得した設定値に基づきカメラモジュールの撮影制御パラメータを設定又は変更するようにしてもよい。

２．画像データ記録システム
次に図５から図８を用いて本実施の形態の画像処理装置を用いた画像データ記録システム１（ドライブレコーダや監視カメラ）の一例について説明する。

図５は、本実施の形態の画像処理装置を用いた画像データ記録システム１（ドライブレコーダや監視カメラ）の構成図である。

１０−１〜１０−４はカメラモジュール（例えばNTSC/PALカメラ）であり、１２−１〜１２−４はデコーダ（例えばNTSC/PAL Video Decoder）である。

２０は、本実施の形態の画像処理装置である第２の画像処理装置（インタレース信号をプログレッシブ信号に変換するマルチビデオ入力のインタレース／プログレッシブ装置、ＩＣ）である。第２の画像処理装置（インタレース／プログレッシブ変換装置、ＩＣ）２０を第１の画像処理装置（マルチカメラ対応の画像コントローラ）３０等と組み合わせることにより、NTSC/PALビデオデコーダ１２−１〜１２−４からのデジタル信号をJPEG画像に変換することができる。またインタレース／プログレッシブ変換装置２０は大容量のSRAMを内蔵させるようにしてもよい。またインタレース／プログレッシブ変換装置２０は、ビデオ入力を複数チャネルを備えているので、固定画面出力、自動スキャン画面出力、複数入力マージ画面出力と、多様な画面出力を行わせるようにしてもよい。また第２の画像処理装置（インタレース／プログレッシブ変換装置）２０は、動体検出機能を内蔵させ、動体検出によってホストCPUへ割り込みを発生させるようにすることで、システムを省電力化するようにしてもよい。

例えば第２の画像処理装置（インタレース／プログレッシブ変換装置）２０とシングルカメラタイプの画像コントローラとのセット使用で、最大４個のカメラセット（カメラモジュール＋NTSC/PALデコーダ）との接続が可能にすることができる。

３０は、ドライブレコーダや車載カメラなどに最適な第１の画像処理装置（デュアルカメラ対応の画像コントローラ）であり、カメラインタフェース機能、JPEGエンコーダ機能に加え、CF、SD Memory、USB(Device)各種インタフェースおよび8chのADCを内蔵している。第１の画像処理装置（デュアルカメラ対応の画像コントローラ）３０にカメラモジュール１０−１〜１０−４、SDRAM、外付けのストレージ(CF Memory CardまたはSD Memory Card)とファームウェアを格納したFlash ROMを接続することにより、ドライブレコーダ製品や車載カメラ製品を構成することができる。また第１の画像処理装置（デュアルカメラ対応の画像コントローラ）３０はGPIOおよびI2Cバスに搭載させてカメラの設定や外部機器の制御を行うことようにすることもできる。

なおデータ記録システムを監視カメラとして使用する場合には、第２の画像処理装置（インタレース信号をプログレッシブ信号に変換するマルチビデオ入力のインタレース／プログレッシブ装置）２０の出力をＬＣＤコントローラやビデデコーダ４０及びディスプレイ５０に接続して、ディスプレイ５０に表示させるようにしてもよい。

図６は、画像データ記録システム１をドライブレコーダに応用した場合のイメージ図である。

同図に示すように本実施の画像データ記録システム１は、車体の前方方向を撮影するフロントカメラ１０−１（プログレッシブ形式のデジタル画像データを出力）、車体の後方向を撮影するバックカメラ１０−２（インタレース形式のアナログ画像データを出力）、車体の進行方向に対して左方向を撮影するサイドカメラ１０−３（インタレース形式アナログの画像データを出力）、車体の進行方向に対して右方向を撮影するサイドカメラ１０−４（インタレース形式のアナログ画像データを出力）を搭載している。

第１の画像処理装置（デュアルカメラ対応の画像コントローラ）３０は、デュアルカメラ対応の画像コントローラICであるため、第１のカメラインタフェースに車体の前方方向を撮影するフロントカメラ１０−１（プログレッシブ形式のデジタル画像データを出力）を接続し、第２のカメラインタフェースにインタレース／プログレッシブ変換装置２０を接続している。

第２の画像処理装置（インタレース／プログレッシブ変換装置）２０は、ビデオ入力を４チャネルを備えているので、各チャネルにNTSCデコーダを介して、車体の後方向を撮影するバックカメラ１０−２（インタレース形式のアナログ画像データを出力）、車体の進行方向に対して左方向を撮影するサイドカメラ１０−３（インタレース形式アナログの画像データを出力）、車体の進行方向に対して右方向を撮影するサイドカメラ１０−４（インタレース形式のアナログ画像データを出力）が接続されている。

なお第２の画像処理装置（インタレース／プログレッシブ変換装置）２０の出力をオートスキャン画面出力（図６（Ｂ）参照）とすることにより、バックカメラ１０−２の画像、サイドカメラ１０−３の画像、サイドカメラ１０−４の画像を、順次切り替えて出力させることができる。

また第２の画像処理装置（インタレース／プログレッシブ変換装置）２０の出力を複数入力マージ画面出力（図６（Ｄ）参照）とすることにより、バックカメラ１０−２の画像、サイドカメラ１０−３の画像、サイドカメラ１０−４の画像を１つの画像にマージして出力させることができる。

図７は、第１の画像処理装置（デュアルカメラ対応の画像コントローラ）の構成の一例を示す図である。

第１の画像処理装置（デュアルカメラ対応の画像コントローラ）３０は、第１のカメラモジュール１４−１からの画像データを処理する画像処理部３２−１を含む。画像処理部３２−１は、カメラＩ／Ｆ３４−１，リサイズ処理部３６−１，圧縮処理部３８−１等を含む。また第１の画像処理装置（デュアルカメラ対応の画像コントローラ）３０は、第２のカメラモジュール１４−２からの画像データを処理する画像処理部３２−２を含む。画像処理部３２−２は、カメラＩ／Ｆ３４−２，リサイズ処理部３６−２，圧縮処理部３８−２等を含む。圧縮処理部３８−１、圧縮処理部３８−２は、30 fps @VGAのハードウェアによるJPEGエンコードを実現する。

また第１の画像処理装置（デュアルカメラ対応の画像コントローラ）３０は、カメラモジュールごとにハードウェアJPEGエンコーダ（圧縮処理部３８−１、３８−２）を２個搭載している。

また第１の画像処理装置（デュアルカメラ対応の画像コントローラ）３０は、音声データをサポートするＩ２Ｓ６０を含むようにしてもよい。

また第１の画像処理装置（デュアルカメラ対応の画像コントローラ）３０は、Compact FlashインタフェースによるCF Memory Cardに対応するためのCF CardＩ／Ｆ６６を含むようにしてもよい。

また第１の画像処理装置（デュアルカメラ対応の画像コントローラ）３０は、Compact Flashインタフェースによる無線LANインタフェース（802.11b/g）に対応可能に構成してもよい。

また第１の画像処理装置（デュアルカメラ対応の画像コントローラ）３０は、SD MemoryインタフェースによるSD Memory Card接続に対応するためのSD Memory CardＩ／Ｆ６４を含むようにしてもよい。

また第１の画像処理装置（デュアルカメラ対応の画像コントローラ）３０は、PCとの接続を可能にするためのUSBインタフェース５２を含む。

また第１の画像処理装置（デュアルカメラ対応の画像コントローラ）３０は、ジャイロセンサ等の各種アナログセンサとの接続が可能なＡＤＣ５４を含むようにしてもよい。

また第１の画像処理装置（デュアルカメラ対応の画像コントローラ）３０は、例えば車速パルスを計測するイベントカウンタ用タイマ４８を含むようにしてもよい。

また第１の画像処理装置（デュアルカメラ対応の画像コントローラ）３０は、２ポート(16bit-Bus: FROM/SRAM, 32bit-Bus: SDRAM)のメモリバスを含むようにしてもよい。

図８は、本実施の形態の画像処理装置の一例である第２の画像処理装置（インタレース信号をプログレッシブ信号に変換するマルチビデオ入力のインタレース／プログレッシブ装置、ＩＣ）の構成を示す図である。

第２の画像処理装置（インタレース信号をプログレッシブ信号に変換するマルチビデオ入力のインタレース／プログレッシブ装置、ＩＣ）２０は、インタレース信号をプログレッシブ信号に変換するICである。第２の画像処理装置（インタレース信号をプログレッシブ信号に変換するマルチビデオ入力のインタレース／プログレッシブ装置、ＩＣ）２０は、インタレース信号をプログレッシブ信号に変換するために必要十分のSRAM１３０を内蔵しているので、外付けRAMを用いることなくインタレース信号をプログレッシブ信号に変換することができる。

第２の画像処理装置（インタレース信号をプログレッシブ信号に変換するマルチビデオ入力のインタレース／プログレッシブ装置、ＩＣ）２０は、ビデオ入力を４チャネル２２−１、２２−２、２２−３，２２−４備えており、固定画面出力、オートスキャン画面出力、複数入力マージ画面出力と、多様な画面出力が可能である。また、本実施の形態の第２の画像処理装置（インタレース信号をプログレッシブ信号に変換するマルチビデオ入力のインタレース／プログレッシブ装置、ＩＣ）２０は、動体検出機能を内蔵しており、動体検出によってホストＣＰＵへ割り込みを発生することができるので、システムを省電力化することができる。

第２の画像処理装置（インタレース信号をプログレッシブ信号に変換するマルチビデオ入力のインタレース／プログレッシブ装置、ＩＣ）２０は、各チャネル１０２−１〜１０２−４からの画像データの入力タイミングをコントロールする入力コントローラ１１０ー１〜１１０−４を含む。本実施の形態の第２の画像処理装置（インタレース信号をプログレッシブ信号に変換するマルチビデオ入力のインタレース／プログレッシブ装置、ＩＣ）２０は、入力コントローラ１１０ー１〜１１０−４の出力される画像データのリサイズ処理を行うスケーラ１１０−１〜１１０−４を含む。縮小モード又はマージモードの場合には、スケーラ１１０−１〜１１０−４は、入力画像の各ラインの画素数を１／２に間引き、列の長さを１／２にリサイズする処理を行う。

第２の画像処理装置（インタレース信号をプログレッシブ信号に変換するマルチビデオ入力のインタレース／プログレッシブ装置、ＩＣ）２０は、スケーラ１１０−１〜１１０−４の出力をＳＲＡＭ１３０に書き込み、所定のタイミングでＳＲＡＭ１３０から画像データを読み出して第１の出力ライン１６３、第２の出力ライン１６５、第３の出力ライン１６６に出力するメモリコントーラ１４０を含む。

第２の画像処理装置（インタレース信号をプログレッシブ信号に変換するマルチビデオ入力のインタレース／プログレッシブ装置、ＩＣ）２０は、第１の出力ライン１６３、第２の出力ライン１６５、第３の出力ライン１６７を受け取り、プログレッシブ形式の画像データを出力するＩ／Ｐ変換部１７０を含む。

第２の画像処理装置（インタレース信号をプログレッシブ信号に変換するマルチビデオ入力のインタレース／プログレッシブ装置、ＩＣ）２０は、動体検出、明るさ検出を行うエリアセンサ１２０と、動体検出、明るさ検出の検出結果に基づき、割り込み信号を発生させる割り込みコントローラ１２２を含む。

エリアセンサ１２０は、受け取った各フレームの画像データの少なくとも１部の画素の画素値又は輝度に関連する画素成分を積算して積算値を求め、積算値を所与の比較対象値と比較して、比較結果に基づき各フレームの画像の明るさ変化を検出する明るさ変化検出部として機能する。

また、割り込みコントローラ１２２は、明るさ変化を検出した場合には、割り込み信号を発生させる割り込み制御部として機能する。

第２の画像処理装置（インタレース信号をプログレッシブ信号に変換するマルチビデオ入力のインタレース／プログレッシブ装置、ＩＣ）２０は、Ｉ２Ｃ１９０、Ｉ２Ｃスルーコントローラ１９２、セレクタ１９４を含む。

鋳込みコントローラ１２２が発生させた割り込み信号を受けた第１の画像処理装置（図７）のＩ２Ｃ処理部５８は、第２の画像処理装置のＩ２Ｃ１９０、Ｉ２Ｃスルーコントローラ１９２、セレクタ１９４を介して、デジタルカメラの撮影制御パラメータの設定等を行う。

３．マイクロコンピュータ
図９は、本実施の形態のマイクロコンピュータのハードウエアブロック図の一例である。

本マイクロコンピュータ７００は、ＣＰＵ５１０、キャッシュメモリ５２０、ＬＣＤコントローラ５３０、リセット回路５４０、プログラマブルタイマ５５０、リアルタイムクロック（ＲＴＣ）５６０、ＤＲＡＭコントローラ兼バスＩ／Ｆ５７０、割り込みコントローラ５８０、シリアルインターフェース５９０、バスコントローラ６００、Ａ／Ｄ変換器６１０、Ｄ／Ａ変換器６２０、入力ポート６３０、出力ポート６４０、Ｉ／Ｏポート６５０、クロック発生装置５６０、プリスケーラ５７０、ＭＭＵ７３０、画像処理回路７４０及びそれらを接続する汎用バス６８０、専用バス７３０等、各種ピン６９０等を含む。

画像処理回路７４０は、例えば図１，３で説明した構成を有する。

４．電子機器
図１０に、本実施の形態の電子機器のブロック図の一例を示す。本電子機器８００は、マイクロコンピュータ（またはＡＳＩＣ）８１０、入力部８２０、メモリ８３０、電源生成部８４０、ＬＣＤ８５０、音出力部８６０を含む。

ここで、入力部８２０は、種々のデータを入力するためのものである。マイクロコンピュータ８１０は、この入力部８２０により入力されたデータに基づいて種々の処理を行うことになる。メモリ８３０は、マイクロコンピュータ８１０などの作業領域となるものである。電源生成部８４０は、電子機器８００で使用される各種電源を生成するためのものである。ＬＣＤ８５０は、電子機器が表示する各種の画像（文字、アイコン、グラフィック等）を出力するためのものである。音出力部８６０は、電子機器８００が出力する各種の音（音声、ゲーム音等）を出力するためのものであり、その機能は、スピーカなどのハードウェアにより実現できる。

なお、本発明は本実施形態に限定されず、本発明の要旨の範囲内で種々の変形実施が可能である。

本実施の形態の画像処理装置のブロック図。 本実施の形態における明るさ変化検出部の明るさ変化検出の手法の一例について説明するための図。 明るさ変化検出部の構成の一例を説明するための図である。 明るさ変化のレベルの設定例。 本実施の形態の画像処理装置を用いた画像データ記録システム１（ドライブレコーダや監視カメラ）の構成図。 画像データ記録システムをドライブレコーダに応用した場合のイメージ図。 第１の画像処理装置（デュアルカメラ対応の画像コントローラ）の構成の一例を示す図。 本実施の形態の画像処理装置の一例である第２の画像処理装置（インタレース信号をプログレッシブ信号に変換するマルチビデオ入力のインタレース／プログレッシブ装置、ＩＣ）の構成を示す図である。 本実施の形態のマイクロコンピュータのハードウエアブロック図の一例である。 マイクロコンピュータを含む電子機器のブロック図の一例を示す。

符号の説明

２００ 画像処理装置 ２１０ 明るさ変化検出部、２１１ 加算器、２１２ ワーク積算値バッファ、２１３−１，・・・２１３−９ エリア別積算値バッファ、２１４ 大小比較回路、２１６ タイミング調整回路、２２２ 比較対象値バッファ、２２４ 比較回路、２２６ 比較対象値設定処理部、２２８ 比較結果格納レジスタ、５１０ ＣＰＵ、５３０ ＬＣＤコントローラ、５４０ リセット回路、５５０ プログラマブルタイマ、５６０ リアルタイムクロック（ＲＴＣ）、５７０ ＤＲＡＭコントローラ兼バスＩ／Ｆ、５８０ 割り込みコントローラ、５９０ シリアルインターフェース、６００ バスコントローラ、６１０ Ａ／Ｄ変換器、６２０ Ｄ／Ａ変換器、６３０ 入力ポート、６４０ 出力ポート、６５０ Ｉ／Ｏポート、６６０ クロック発生装置（ＰＬＬ）、６７０ プリスケーラ、６８０ 汎用バス、６９０ 各種ピン、７００ マイクロコンピュータ、７１０ ＲＯＭ、７２０ ＲＡＭ、７３０ ＭＭＵ、８００ 電子機器、８５０ ＬＣＤ

Claims (12)

1. 撮像手段で撮影された複数のフレームの画素単位の画像データを時系列に受け取り画像処理を行う画像処理装置であって、
   受け取った各フレームの画像データの少なくとも１部の画素の画素値又は輝度に関連する画素成分を積算して積算値を求め、積算値を所与の比較対象値と比較して、比較結果に基づき各フレームの画像の明るさ変化を検出する明るさ変化検出部と、
   を含むことを特徴とする画像処理装置。
2. 請求項１において、
   前記明るさ変化検出部は、
   画像データの少なくとも１部の画素のＹ成分の積算を行いＹ成分の積算値を求め、
   Ｙ成分の積算値を所与の比較対象値と比較して、比較結果に基づき各フレームの画像の明るさ変化を検出することを特徴とする画像処理装置。
3. 請求項１乃至２のいずれかにおいて、
   前記明るさ変化検出部は、
   各フレームの画像を複数のエリアに分割して、受け取った各フレームの画素の画素値又は輝度に関連する画素成分を、当該画素が属するエリア単位に積算してエリア毎の積算値を求め、エリア毎の積算値に基づき基づき明るさ変化を検出することを特徴とする画像処理装置。
4. 請求項１乃至３のいずれかにおいて、
   明るさ変化が検出された場合には、撮像手段の画像の輝度調整に係るパラメータを変化させるための制御を行う撮像制御処理部とを含むことを特徴とする画像処理装置。
5. 請求項１乃至４のいずれかにおいて、
   明るさ変化を検出した場合には、割り込み信号を発生させる割り込み制御部を、含むことを特徴とする画像処理装置。
6. 請求項１乃至５のいずれかにおいて、
   前記明るさ変化検出部は、
   積算値の履歴情報に基づいて、比較対象値を設定又は変更することを特徴とする画像処理装置。
7. 請求項１乃至６のいずれかにおいて、
   前記明るさ変化検出部は、
   日時情報に基づき、比較対象値の設定又は変更を行うことを特徴とする画像処理装置。
8. 請求項１乃至１０のいずれかにおいて、
   前記明るさ変化検出部は、
   複数のレベルの各レベルに対応して異なる比較対象値を設定し、積算値を各レベルの比較対象値と比較して、比較結果に基づき明るさ変化のレベルを判定し、
   前記撮像制御処理部は、
   判定されたレベルに応じて、撮像手段の画像認識パラメータを変化させるための制御を行うとを含むことを特徴とする画像処理装置。
9. 請求項１乃至８のいずれかにおいて、
   前記撮像制御処理部は、
   複数のレベルの各レベルに対応してカメラモジュール制御パターンが記憶されたレベル別制御テーブルを記憶し、レベル別制御テーブルに基づき、判定されたレベルに対応した制御を行うことを特徴とする画像処理装置。
10. 請求項１乃至９のいずれかにおいて、
    前記明るさ変化検出部は、
    各フレームの画素値の積算を行う際に、各フレームの画素を所定の規則に基づいて間引きして間引き後の画素の画素値を積算対象として積算を行うことを特徴とする画像処理装置。
11. 請求項１乃至１０のいずれかに記載の画像処理装置を含むことを特徴とするマイクロコンピュータ。
12. 請求項１１に記載のマイクロコンピュータと、
    前記マイクロコンピュータの処理対象となるデータの入力手段と、
    前記マイクロコンピュータにより処理されたデータを出力するためのＬＣＤ出力手段とを含むことを特徴とする電子機器。