JP2018201156A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】屋内外が同時に撮影される場合において、屋内の物体検知と屋外の物体検知を適切に行うことができるようにする画像処理装置を提供すること。【解決手段】画像処理装置は、撮像手段により撮像した所定領域の画像を取得する取得手段と、取得した前記画像から屋内画像部分または屋外画像部分を分離する分離手段と、分離した前記屋内画像部分または屋外画像部分に物体検知処理を行う処理手段と、を備える。【選択図】 図１

Description

本発明は、画像処理装置および画像処理方法に関する。

従来、様々な目的で人間等の監視を行うための監視カメラが色々な設置環境に取り付けられて運用されている。例えば車両内に設置される監視カメラでは、その撮影画角内に屋内（車両内）と屋外が同時に撮影される場合がある。
一方、撮影範囲内で発生した異常を人の目によって確認するという作業は、監視カメラの導入によって、カメラ内の処理として自動で行うことができる。監視カメラは、撮影範囲内での物体検知を行い、人物検知、人物カウント、置き去り検知および持ち去り検知を行うことができる。

特許文献１には、物体検知精度を向上するために、露光量が異なる２台のカメラで監視領域を撮影して取得した２つの画像を合成し、その画像に対して物体検知を行う技術が開示されている。

特開２００４−９６４８８号公報

屋内に設置した監視カメラにより屋内と屋外が同時に撮影される環境で、例えば屋内のみの物体検知をしたい場合には、屋内となる領域のみを検知領域として設定し、その領域内で物体検知を行うことが考えられる。しかし、窓を通して屋外の風景も撮影される場合、その窓部分を検知領域から除外すると、窓の前に立っている屋内の人物等が検知できない。逆に、窓部分を含めて屋内として検知領域を設定すると、窓の外にいる屋外の人物等を検知してしまう。
特許文献１に開示された技術では、屋内および屋外の両方が撮影された２つの画像（露光量が異なる２つの画像）を合成して物体検知を行うので、屋内と屋外の分離は困難である。
そこで、本発明の目的は、屋内外が同時に撮影される場合において、屋内の物体検知と屋外の物体検知を適切に行うことができるようにする画像処理装置を提供することである。

上記目的を達成するために、本発明の１つの態様による画像処理装置は、撮像手段により撮像した所定領域の画像を取得する取得手段と、取得した前記画像から屋内画像部分または屋外画像部分を分離する分離手段と、分離した前記屋内画像部分または屋外画像部分に物体検知処理を行う処理手段と、を備える。
また、本発明の他の態様による画像処理装置は、所定領域の画像を撮像する撮像手段に、複数種類の露光を行わせる露光制御手段と、複数種類の露光により生成された複数の画像のうちの１つの画像に物体検知を行う検知手段と、を備える。

本発明によれば、屋内外が同時に撮影される場合において、屋内の物体検知と屋外の物体検知を適切に行うことができる。

本発明の第１実施形態によるカメラ装置の構成を示すブロック図。 第１実施形態の物体検知処理を説明するためのフローチャート。 第１実施形態の物体検知処理を説明するための図。 第１実施形態の物体検知処理を説明するための図。 第１実施形態の物体検知処理を説明するための図。 本発明の第２実施形態によるカメラ装置の構成を示すブロック図。 第２実施形態の物体検知処理を説明するためのフローチャート。 第２実施形態の物体検知処理を説明するための図。 本発明の第３実施形態によるカメラ装置の構成を示すブロック図。 第３実施形態の物体検知処理を説明するためのフローチャート。 第３実施形態の物体検知処理を説明するための図。

以下、添付図面を参照して、本発明の実施形態を詳細に説明する。
なお、以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。

第１実施形態
以下、図１を参照して、本発明の第１実施形態による、屋内外を同時に撮影（撮像）するカメラ装置１００を説明する。このカメラ装置１００は、屋内外を同時に撮影して取得した画像から、屋内と屋外を分離し、屋内または屋外のどちらか一方のみの物体を検知することができる。カメラ装置は、撮像装置の一例である。

（カメラ装置の構成）
カメラ装置１００は、レンズ群１０１、絞り１０２、撮像素子１０３、第１増幅器１０４および画像処理回路１０５を有する。画像処理回路１０５は、現像処理部１０６、露出制御部１０７、ヒストグラム算出部１０８、非適正露出制御部１０９および物体検知部１１０を有する。カメラ装置１００は、さらに、第２増幅器１１１、ネットワーク処理回路１１２、ＣＰＵ１１３および記憶部１１４を有する。ＣＰＵ１１３は、画像処理回路１０５とネットワーク処理回路１１２と記憶部１１４に接続されている。
レンズ群１０１は、被写体光（被写体からの反射光）を受光可能な複数のレンズ（例えば、ズームレンズ、フォーカスレンズ）で構成される。ズームレンズやフォーカスレンズを光軸方向に前後移動させることで、変倍（倍率調整）やピント調整が可能となる。
カメラ装置１００は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）１１５に接続され、ＬＡＮ１１５はクライアント端末装置１１６に接続されている。

絞り１０２は、絞り１０２を通過する被写体光の量を調整する遮光機構である。絞り１０２は、開閉動作を行うことで、Ｆ値（絞りの調整量）の制御が可能となる。絞り１０２は、例えば、図示していないモータ等により駆動され、絞り開口径を変化させることにより、撮像素子１０３に入射する光量を調節する。
撮像素子１０３は、レンズ群１０１および絞り１０２を介して撮像素子面に受光された光学像（被写体像）を電気信号に変換する。撮像素子１０３は、例えば、ＣＣＤセンサやＣＭＯＳセンサ等を含む。撮像素子１０３は、被写体（所定領域の画像）を撮像する素子である。撮像素子１０３の駆動は不図示のタイミングジェネレータからの信号で行われ、その信号のタイミングに合わせて、撮像素子１０３の出力信号にサンプリングを行い、アナログ−デジタル信号処理を行い、デジタル信号を生成する。このデジタル信号が、第１増幅器１０４と第２増幅器１１１に入力される。なお、サンプリングを行う回路やＡ／Ｄコンバータ等は、図示を省略している。

第１増幅器１０４は、撮像素子１０３からの電気信号（デジタル信号）を所定の信号レベルに増幅する。第１増幅器１０４で増幅レベルを変更することでゲイン値の制御が可能となる。第１増幅器１０４の出力側は、画像処理回路１０５に接続されている。
画像処理回路１０５は、現像処理、露出制御、ヒストグラム算出、非適正露出制御および物体検知を行う。非適正露出制御とは、意図的に適正でない露出を行わせることである。
画像処理回路１０５の現像処理部１０６は、各種画像処理を行う。現像処理部１０６は、第１増幅器１０４から画像デジタル信号を受け取る。現像処理部１０６は、画像デジタル信号に対して現像処理、カラーバランス処理、ガンマ処理、ノイズ低減処理といった各種処理を行い、ＲＧＢ撮影画像へと変換する。現像処理部１０６の出力側は、露出制御部１０７とヒストグラム算出部１０８とネットワーク処理回路１２２に接続されている。

露出制御部１０７は、現像処理部１０６から撮影画像（撮像画像）を受け取る。露出制御部１０７は、撮像画像の露出を制御する。露出制御部１０７の出力側は、絞り１０２、撮像素子１０３および第１増幅器１０４に接続されている。露出制御部１０７は、絞り１０２のＦ値（絞り値）、撮像素子１０３の露光時間（シャッタスピード）および第１増幅器１０４のゲインを制御することで、撮像画像が最適露出になるように制御する。
ヒストグラム算出部１０８は、現像処理部１０６から撮像画像を受け取る。ヒストグラム算出部１０８は、撮像画像の輝度ヒストグラム分布（ヒストグラム曲線）を算出する。ヒストグラム分布は、撮像画像の輝度（明暗の度合い）の分布であり、輝度値毎のピクセル数の分布を示す。これにより撮像画像が明るい画像なのか、暗い画像なのかが示される。ヒストグラム算出部１０８の出力側は、非適正露出制御部１０９に接続されている。

非適正露出制御部１０９は、撮像画像に対して非適正露出になるように、露出（露光）を制御する。非適正露出制御部１０９は、時間帯（昼間、夜間）と、物体検知をしたい場所（屋内、屋外）と、ヒストグラム算出部１０８から受け取った撮像画像の輝度ヒストグラム分布とに基づいて、露出制御を行う。例えば、物体検知を昼間、屋内で行いたい場合には、屋内のみの画像になるようにオーバー側へと露出を制御する。具体的には、非適正露出制御部１０９は、第２増幅器１１１のゲインを高めることで露出オーバーとし、屋外部を飛ばす（白飛び）制御をする。白飛び制御とは、明る過ぎる部分の諧調が失われて、白一色になることを言う。物体検知を昼間、屋外で行いたい場合には、屋外のみの画像になるようにアンダー側へと露出を制御する。具体的には、非適正露出制御部１０９は、第２増幅器１１１のゲインを低めることで露出アンダーとし、屋内部を黒沈み（黒潰れ）制御をする。黒潰れ制御とは、明るい部分の諧調が得られず、黒一色に塗り潰されることを言う。非適正露出制御部１０９は、ゲイン制御信号を第２増幅器１１１に出力する。

第２増幅器１１１は、撮像素子１０３から撮像画像を受け取ると共に、非適正露出制御部１０９からゲイン制御信号を受け取る。第２増幅器１１１は、ゲイン制御信号に基づいて、撮像画像の露出を調整する。この露出調整により、撮像画像は、検知したい部分のみを含む画像になる。第２増幅器１１１の出力側は、物体検知部１１０に接続されている。
物体検知部１１０は、第２増幅器１１１から撮像画像（検知したい部分のみとなった画像）を受け取る。物体検知部１１０は、検知したい部分のみとなった画像に対して物体検知を行い、動体（動いている物体）等を検知する。例えば、物体検知部１１０は、フレーム間での差分より動体を検知し、物体として検知する。物体検知部１１０の出力側は、ネットワーク処理回路１１２に接続されており、物体検知の結果はネットワーク処理回路１１２およびＬＡＮ１１５を介して、クライアント端末装置１１６に送られる。

ネットワーク処理回路１１２は、現像処理部１０６から撮像画像を受け取る。ネットワーク処理回路１１２は、画像処理回路１０５からの出力画像を通信プロトコルに準拠して変換し、ネットワーク（本実施形態ではＬＡＮ１１５）へ配信する。また、ネットワーク処理回路１１２は、カメラ装置１００を制御するための制御信号を通信プロトコルに準拠して送受信する。また、ネットワーク処理回路１１２は、物体検知部１１０から検知結果を受け取り、当該検知結果を通知プロトコルに準拠して変換し、ＬＡＮ１１５に配信する。
ＣＰＵ１１３は、画像処理回路１０５とネットワーク処理回路１１２の制御を行う。この制御は、記憶部１１４に記憶されたプログラムをＣＰＵ１１３が実行することにより実現される。
記憶部１１４は、ＣＰＵ１１３が使用するプログラムおよびその他のデータを記憶する。記憶部１１４は、例えば、ＲＯＭ、ＲＡＭ、ＨＤＤ、フラッシュメモリまたは着脱可能なＳＤカードなどの記憶媒体により構成される。

ネットワーク上のＬＡＮ１１５は、カメラ装置１００に例えばＬＡＮケーブル１１７によって接続され、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信規格を満足するルータ、スイッチ、ケーブル等から構成される。ＬＡＮ１１５には、複数のカメラ装置やクライアント端末装置１１６が接続され得る。なお、図１では、簡略化のために１つのカメラ装置１００と１つのクライアント端末装置１１６のみが描かれている。
クライアント端末装置１１６は、ＬＡＮ１１５を介してカメラ装置１００と相互に通信可能な状態に接続されている。クライアント端末装置１１６は、表示部、操作部、音声出力部等を備える。クライアント装置１１６は不図示の制御ツールを用いて、カメラ装置１００からの画像（物体検知部１１０の検知結果を含む）を受信、表示、録画し、カメラ装置１００をコントロールするための制御情報を送受信することで各種制御を行う。クライアント端末装置１１６は、物体検知部１１０の検知結果を受け取り、表示部に表示することができる。

尚、図１に示した画像処理回路１０５に含まれる各機能モジュール（１０６〜１１０）はソフトウェア又はハードウェアによって実現される。ソフトウェアによって実現される場合、前述した各機能モジュールの機能を提供するためのプログラムが記憶部１１４に記憶される。記憶されたプログラムは適宜に読み出され、ＣＰＵ１１３が実行することにより、それら機能モジュールの機能が実現される。一方、ハードウェアにより実現される場合、例えば、所定のコンパイラを用いることで、各機能モジュールの機能を実現するためのプログラムからＦＰＧＡ上に自動的に専用回路を生成すればよい。ＦＰＧＡとは、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。また、ＦＰＧＡと同様にしてＧａｔｅ Ａｒｒａｙ回路を形成し、ハードウェアとして実現するようにしてもよい。また、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）により実現するようにしてもよい。なお、図１に示した機能モジュールの構成は一例であり、複数の機能モジュールが１つの機能モジュールを構成するようにしてもよいし、いずれかの機能モジュールが複数の機能を行うモジュールに分かれてもよい。

（物体検知処理）
次に、図２〜図５を参照して、カメラ装置１００が実行する物体検知処理を説明する。本実施形態のカメラ装置１００は、非適正露出による物体検知を行う。具体例として、バスの中にカメラ装置１００が設置され、屋内外両方を撮影しているシチュエーションで屋内、屋外を分離して物体検知を行う場合を説明する。
図２は、物体検知処理を説明するためのフローチャートである。以下の記載において、アルファベット「Ｓ」はステップを意味するものとする。図２に示す処理は、図１に示す画像処理回路１０５の各要素（モジュール）がそれぞれ専用のハードウェアとして動作することで実現することができる。この場合、専用のハードウェアは、ＣＰＵ等のプロセッサの制御に基づいて動作する。あるいは、図２に示す処理は、ＣＰＵ１１３が必要なプログラムを読み出して実行することにより実現するようにしてもよい。

Ｓ２０１において、処理がスタートされる。図２に示す処理は、例えばユーザによる開始指示の入力に応じて開始される。ユーザは、例えば、クライアント端末装置１１６を操作して、カメラ装置１００に処理の開始指示を入力する。
Ｓ２０２において、露出制御部１０７が通常露出制御を行う。具体的には、露出制御部１０７は、撮像画像の明るさ情報に基づいて適正露出になるように絞り１０２でのＦ値、撮像素子１０３でのシャッタスピード、第１増幅器１０４でのゲインを制御する。
Ｓ２０３において、現像処理部１０６が各種画像処理を行い、その画像にて通常撮影を行う。このときの撮像画像は図３（ａ）に示す通常画像３０１となる。
Ｓ２０４において、ヒストグラム算出部１０８が撮像画像の輝度ヒストグラムを算出する。より具体的には、ヒストグラム算出部１０８は、撮像画像に対して、輝度値毎のピクセル数の分布を示す輝度ヒストグラムを算出することにより、輝度ヒストグラムを生成（取得）する。

Ｓ２０５において、非適正露出制御部１０９は、輝度ヒストグラムの分布に２つの輝度ピークが有るかを判定する。本実施形態でＳ２０５を行う理由は以下のとおりである。
輝度ヒストグラムの分布を見ると、昼間の撮影であれば、図３（ｂ）のヒストグラム曲線３０２で示すように、屋内画像部分の輝度分布が輝度ヒストグラムの暗側に山として表れ、屋外画像部分の輝度分布が輝度ヒストグラムの明側に山として表れる。輝度分布値として所定レベルに対して上りおよび下りが有る部分の最大値をピーク（山）として判定する。本実施形態では、この山が２つ現れるかどうかで、屋内外の撮影が行われているかを判定する（Ｓ２０５）。輝度ピーク（山）が２つ無い場合には（Ｓ２０５：Ｎｏ）、Ｓ２０６に進む。
Ｓ２０６において、非適正露出制御部１０９は、屋内外の両方を撮影しているシチュエーションと判断し、物体検知部１１０は、通常の物体検知を行う。つまり、Ｓ２０５の判定結果がＮｏの場合には、屋内外を分離する必要が無いと判断され、Ｓ２０６において、屋内外を分離せずに物体検知を行う。

物体検知部１１０は、撮影している画像の複数フレームを比較して、そのフレーム間の差分を検知する。そして、物体検知部１１０は、その差分部分を動きのある被写体として物体検知を行う。物体検知部１１０は、何もない環境に物体が置いたままにされていることを検知する置き去り検知や、物体がある環境から物体が持ち去されたこと検知する持ち去り検知も、画像の複数のフレームの比較により行う。また、物体検知部１１０は人物検知を行うこともできる。物体検知部１１０は、撮像画像の特徴から目、鼻、口および輪郭といった人物の特徴を検知することで人物検知を行うことができる。

Ｓ２０６の後、Ｓ２１２に進み、処理を終了する。
Ｓ２０５において輝度ピークが２つ有る場合には、Ｓ２０７に進む。
Ｓ２０７において、ＣＰＵ１１３または非適正露出制御部１０９は、屋内のみで物体検知を行うか、屋外のみで物体検知を行うかを決定（判定）する。屋内のみで物体検知を行うか、屋外のみで物体検知を行うかは、事前に設定されるか、ユーザが選択できるようにしてもよい。事前に設定されている場合、設定内容は、例えば、記憶部１１４に記憶されており、ＣＰＵ１１３が当該記憶内容に基づいてＳ２０７の判定を行う。屋内のみで物体検知を行う場合（Ｓ２０７：Ｙｅｓ）は、Ｓ２０８へ進む。

Ｓ２０８において、非適正露出制御部１０９は、輝度ヒストグラムの屋外画像部分を除外するように露出を非適正露出であるオーバー側へ制御する（露出処理の制御）。そのときの輝度ヒストグラムは、図３（ｄ）に示したヒストグラム曲線３０４のようになる。非適正露出制御部１０９が第２増幅器１１１にてゲインアップする方向へ制御することで、撮像画像は図３（ｃ）に示した非適正露出画像３０３のように、屋外の被写体が飛んだ状態となり、屋内被写体のみの画像となる。つまり、通常画像３０１から屋内画像部分（画像３０３）を分離している。第２増幅器１１１から、図３（ｃ）の画像３０３が物体検知部１１０に供給される。

Ｓ２０９において、物体検知部１１０は、図３（ｃ）の画像３０３を用いて物体検知を行うことにより、屋内のみの物体を検知することが可能となる。このようにして、本実施形態では、分離した屋内画像部分に物体検知処理を行っている。図３（ｃ）の例では、バスの中にいる人物Ｐ１〜Ｐ４を検知することができる。Ｓ２０９の後、Ｓ２１２に進み、処理を終了する。
Ｓ２０７において屋外のみで物体検知を行う場合（Ｓ２０７：Ｎｏ）は、Ｓ２１０へ進む。

Ｓ２１０において、非適正露出制御部１０９は、輝度ヒストグラムの屋内画像部分を除去するように露出を非適正露光であるアンダー側へと制御する（露出処理の制御）。そのときの輝度ヒストグラムは、図４（ｄ）に示したヒストグラム曲線４０４のようになる。非適正露出制御部１０９が第２増幅器１１１にてゲインダウンする方向へと制御することで、撮像画像は図４（ｃ）に示した非適正露出画像４０３にように、屋内の被写体が黒沈みした状態となり、屋外被写体のみの画像となる。つまり、通常画像３０１から屋外画像部分（画像４０３）を分離している。第２増幅器１１１から、図４（ｃ）の画像４０３が物体検知部１１０に供給される。

Ｓ２１１において、物体検知部１１０は、図４（ｃ）の画像４０３を用いて物体検知を行うことにより、屋外のみの物体を検知することが可能となる。図４（ｃ）の例では、バスの外を歩いている人物Ｐ５を検知することができる。Ｓ２１１の後、Ｓ２１２に進み、処理を終了する。
なお、図４（ａ）は図３（ａ）と同じ通常画像３０１を示し、図４（ｂ）は図３（ｂ）と同じヒストグラム曲線３０２を示している。

なお、上記の説明では昼間の屋内外の物体検知を行っているが、夜間の屋内外の物体検知を行う場合も、同様の方法（制御）を採用することができる。具体的には、図５の表５０１に基づいて物体検知を行う。
図５に示されているように、夜間において屋内の物体検知を行う場合には、非適正露出制御部１０９は、輝度ヒストグラムの屋外画像部分を除去するように露出を非適正露光であるアンダー側へと制御する。つまり、非適正露出制御部１０９は、第２増幅器１１１のゲインをアンダー側（ゲインダウン）へ制御する。また、夜間において室外の物体検知を行う場合には、非適正露出制御部１０９は、輝度ヒストグラムの屋内画像部分を除去するように露出を非適正露光であるオーバー側へと制御する。つまり、非適正露出制御部１０９は、第２増幅器１１１のゲインをオーバー側（ゲインアップ）へ制御する。
図５の表５０１は、物体検知の時間帯（カメラ装置１００が撮像を行う時刻）が昼間であるか夜間であるかに応じて、本実施形態においてどのように非適正露出の制御方法を異ならせるのかを示している。

尚、上記の記載においては、輝度ピーク（山）が２つあった場合に、一方の山を屋内の輝度ヒストグラムとし、他方の山を屋外の輝度ヒストグラムとし、屋内画像部分と屋外画像部分を分離するとしたが、本実施形態はこれに限定されない。つまり、輝度ピークが３つ以上ある場合でも上記した処理・制御と同様の処理・制御を採用することができる。例えば、輝度ヒストグラム曲線において輝度ピークが３つある場合、輝度ピークの値の高さを見て、２番目の輝度ピーク値を有する山を屋内の輝度ヒストグラムとし、３番目の輝度ピーク値を有する山を屋外の輝度ヒストグラムとしてもよい。あるいは、３つの輝度ピークの山のうちの左端の山を屋内の輝度ヒストグラムとし、右端の山を屋外の輝度ヒストグラムとしとしてもよい。４つ以上の山がある場合も、適宜、屋内の輝度ヒストグラムおよび屋外の輝度ヒストグラムを選択してよい。
（第１実施形態の効果）
本実施形態によれば、屋内外の被写体を分離した上で物体検知が行えるので、屋内、屋外それぞれで最適な物体検知を行うことが可能となる。

第２実施形態
図６を参照して、本発明の第２実施形態によるカメラ装置６００を説明する。本実施形態でも、カメラ装置６００は、屋内外を同時に撮影して取得した画像から、屋内と屋外を分離し、屋内または屋外のどちらか一方のみの物体を検知することができる。第１実施形態では屋内、屋外どちらか一方のみの物体を検知するために第２増幅器１１１のゲインを調整（変更）したが、第２実施形態では第２増幅器を使用せずに画像変換を行うことにより、屋内、屋外どちらか一方のみの物体を検知する。

（カメラ装置の構成）
第２実施形態のカメラ装置６００の構成は、第１実施形態のカメラ装置１００の構成とほぼ同じであるが、カメラ装置６００には非適正露出制御部１０９と第２増幅器１１１が設けられていない。その代わり、カメラ装置６００には画像変換部６０９が設けられている。以下の記載において、第１実施形態と同じ構成については同じ参照符号を使用して、詳細な説明を省略する。
第１増幅器１０４の出力側は、現像処理部１０６と画像変換部６０９に接続されている。また、画像変換部６０９の出力側は物体検知部１１０に接続されている。
カメラ装置６００の画像処理回路６０５は、画像変換部６０９を有している。画像処理回路６０５は、現像処理、露出制御、ヒストグラム算出、画像変換、物体検知等を行う。
画像変換部６０９は、第１増幅器１０４から画像デジタル信号を受け取ると共にヒストグラム算出部１０８から撮像画像の輝度ヒストグラムを受け取る。

画像変換部６０９は、撮像画像に対して屋内、屋外を分離できるように画像変換を行う。例えば、物体検知を昼間、屋内で行いたい場合には、画像変換部６０９は、ヒストグラム算出部１０８での屋外画像部分の輝度ピークの山を除外するようにダイナミックレンジの縮小（ガンマカーブの変更）を行う。あるいは、画像変換部６０９は、屋外画像部分の輝度分布を飽和値へ置き換える。この処理を行った画像を物体検知部１１０に供給し、物体検知部１１０が物体検知を行うことで、屋内、屋外を分離した（屋内、屋外のどちらか一方のみの）物体検知が可能となる。

（物体検知処理）
次に、図７および図８を参照して、ダイナミックレンジの縮小（変更）による物体検知処理を説明する。第１実施形態と同じように、バスの中にカメラ装置６００が設置され、屋内外両方を撮影しているシチュエーションで屋内、屋外を分離して物体検知を行う場合を説明する。図８（ａ）および図８（ｂ）は、図３（ａ）および図３（ｂ）と同じである。
図７は、物体検知処理を説明するためのフローチャートである。本実施形態においても、第１実施形態（図２）で説明したＳ２０１〜Ｓ２０７までの処理・制御が行われる。つまり、輝度ヒストグラムを算出して、屋内と屋外を分離するまでは図２と同じである。
Ｓ２０７において、屋内のみで物体検知を行う場合には（Ｓ２０７：Ｙｅｓ）、Ｓ７０８に進む。

Ｓ７０８において、画像変換部６０９は、輝度ヒストグラムの屋外画像部分を除外するようにダイナミックレンジを縮小する（ガンマカーブの変更を行う）。そのときの輝度ヒストグラムは、図８（ｄ）に示したヒストグラム曲線８０４のようになる。図８（ｄ）に示したヒストグラム曲線８０４を、第１増幅器１０４の出力画像に適用すると、得られる撮像画像は図８（ｃ）に示した画像８０３のようになる。図８（ｃ）において、画像８０３はダイナミックレンジ縮小画像と記されている。このようにして、画像変換部６０９は、ダイナミックレンジ縮小画像８０３を生成（取得）する。つまり、本実施形態においても、通常画像３０１から屋内画像部分（画像８０３）を分離している。
なお、画像変換部６０９は、屋外画像部分の輝度分布（輝度値）を飽和値へ置き換えることにより、屋内画像部分を抜き出す（分離する）処理を行い、ダイナミックレンジ縮小画像８０３を生成してもよい。つまり、通常画像の一部の輝度値を変更することにより、屋内画像部分を分離してもよい。
Ｓ７０８の処理が終わると、Ｓ２０９に進む。

図７のＳ２０９は、図２のＳ２０９と同じである。つまり、Ｓ２０９において、物体検知部１１０は、図８（ｃ）の画像３０３を用いて物体検知を行うことにより、屋内のみの物体（人物Ｐ１〜Ｐ４）を検知することが可能となる。
一方、屋外のみの物体検知を行う場合には（Ｓ２０７：Ｎｏ）、Ｓ７１０に進む。
Ｓ７１０において、画像変換部６０９は、輝度ヒストグラムの屋内画像部分を除去するようにダイナミックレンジの縮小（ガンマカーブの変更）を行う。そのときの輝度ヒストグラムは、図４（ｃ）に示したヒストグラム曲線４０４のようになる。このヒストグラム曲線を、第１増幅器１０４の出力画像に適用すると、得られる撮像画像は図４（ｃ）に示した画像４０３のようになる。このようにして、画像変換部６０９は、ダイナミックレンジ縮小画像を生成（取得）する。なお、画像変換部６０９は、屋内画像部分の輝度分布をゼロ値への置き換えることにより、屋外画像部分を抜き出す（分離する）処理を行い、画像４０３のような画像を生成してもよい。Ｓ７１０の処理が終わると、Ｓ２１１に進む。

図７のＳ２１１は、図２のＳ２１１と同じである。つまり、Ｓ２１１において、物体検知部１１０は、画像変換部６０９から受け取った画像を用いて物体検知を行うことにより、屋外のみの物体（人物Ｐ５）を検知することが可能となる。
（第２実施形態の効果）
本実施形態によれば、屋内外の被写体を分離した上で物体検知が行えるので、屋内、屋外それぞれで最適な物体検知を行うことが可能となる。また、第１実施形態と比較すると、第２増幅器１１１におけるゲイン調整を行わないので、制御が簡素化される。

第３実施形態
以下、図９を参照して、本発明の第３実施形態によるカメラ装置９００を説明する。本実施形態でも、カメラ装置９００を用いて、屋内、屋外どちらか一方のみの物体を検知する。第１実施形態では屋内、屋外どちらかの物体を検知するために第２増幅器１１１のゲインを制御したが、第３実施形態では第２増幅器を使用せずに、長秒画像または短秒画像を選択することにより、屋内、屋外どちらか一方のみの物体を検知する。長秒画像とは、長秒露光（露出）により得られる画像であり、短秒画像とは短秒露光により得られる画像である。以下の記載において、第１実施形態と同じ構成については同じ参照符号を使用して、詳細な説明を省略する。カメラ装置９００は、第１実施形態と同じように、バスの中に設置されているとする。

（カメラ装置の構成）
カメラ装置９００の画像処理回路９０５は、第１実施形態の画像処理回路１０５とは異なる。また、第３実施形態では、第２増幅器１１１は設けられていない。
本実施形態の画像処理回路９０５は、画像合成、ワイドダイナミックレンジ制御、検知画像選択および物体検知等の処理を行う。
画像処理回路９０５は、ワイドダイナミックレンジ制御部９０６と、画像合成部９０７と、検知画像選択部９０８と、物体検知部１１０とを有する。
ワイドダイナミックレンジ制御部９０６の出力側は、撮像素子１０３を制御するために撮像素子１０３に接続されている。ワイドダイナミックレンジ制御部９０６は、ダイナミックレンジを拡大するために撮像素子１０３でのシャッタスピードを長秒および短秒として２回の露光を行わせる。この２回の露光により、撮像素子１０３が長秒画像および短秒画像を生成する。つまり、ワイドダイナミックレンジ制御部９０６は、撮像素子１０３に複数種類の露光を行わせる露光制御部である。

長秒画像および短秒画像は、撮像素子１０３から第１増幅器１０４に入力される。図９では、長秒画像および短秒画像が２本の矢印で示されている。第１増幅器１０４により、長秒画像と短秒画像の電気信号は所定のレベルに増幅され、画像合成部９０７と検知画像選択部９０８（後述）に入力される。
画像合成部９０７は、長秒画像と短秒画像を合成することでダイナミックレンジが拡大された画像を生成する。画像合成部９０７の出力側は、ネットワーク処理回路１１２に接続されている。
検知画像選択部９０８は、長秒画像と短秒画像を撮像素子１０３から（第１増幅器１０４を介して）受け取り、物体検知に適した画像を選択する。例えば、昼間且つ屋内の物体検知を行いたい場合には、検知画像選択部９０８は、長秒画像を選択する。昼間且つ屋外の物体検知を行いたい場合には、検知画像選択部９０８は、短秒画像を選択する。検知画像選択部９０８により選択された画像は、物体検知部１１０に入力される。

物体検知部１１０は、検知画像選択部９０８から受け取った画像に対して物体検知を行う。第１実施形態と同じように、物体検知部１１０は、例えば、フレーム間での差分より動き物体を検知し、物体として検知する。
ネットワーク処理回路１１２は、画像合成部９０７から合成画像（画像処理回路９０５からの出力画像）を受け取る。ネットワーク処理回路１１２は、画像処理回路９０５からの出力画像を通信プロトコルに準拠して変換し、ネットワークへ配信する。また、ネットワーク処理回路１１２は、カメラ装置９００を制御するための制御信号を通信プロトコルに準拠して送受信する。
ＣＰＵ９１１は、画像処理回路９０５とネットワーク処理回路１１２の制御を行う。

（物体検知処理）
次に、図１０および図１１を参照して、カメラ装置９００が実行する物体検知処理を説明する。カメラ装置９００は、非適正露出による物体検知を行う。
図１０は、物体検知処理を説明するためのフローチャートである。
Ｓ１００１において、処理がスタートされる。
Ｓ１００２において、ワイドダイナミックレンジ制御部９０６は、撮像素子１０３のシャッタスピードを制御して、長秒露光（露出）および短秒露光を行わせ、長秒画像および短秒画像を生成させる。長秒で露光された画像は、例えば、図１１（ａ）に示す長秒画像１１０１となる。長秒画像１１０１は、屋外画像部分が露出オーバーとなり白飛びしている画像である。短秒で露光された画像は、例えば、図１１（ｂ）に示す短秒画像１１０２となる。短秒画像１１０２は、屋内画像部分が露出アンダーとなり黒沈みしている画像である。長秒画像１１０１と短秒画像１１０２は、第１増幅器１０４で増幅された後、画像合成部９０７に入力される。

Ｓ１００３において、画像合成部９０７は、長秒画像１１０１と短行画像１１０２の合成処理を行う。シャッタスピードの異なる画像を合成することで、ダイナミックレンジの拡大された画像が生成される。生成された画像は、本実施形態では、ワイドダイナミックレンジ画像と称する。図１１（ｃ）はワイドダイナミックレンジ画像１１０３を示している。
Ｓ１００４において、ＣＰＵ１１３は、物体検知を屋内で行うか、屋外で行うかを決定する。Ｓ１００４は、第１実施形態のＳ２０７（図２）と同様なステップである。屋内のみで物体検知を行う場合（Ｓ１００４：Ｙｅｓ）は、Ｓ１００５へ進む。
Ｓ１００５において、検知画像選択部９０８は長秒画像１１０１を選択する。つまり、屋内のみで物体検知を行う場合には、長秒画像が選択される。Ｓ１００５の後に、Ｓ１００６に進む。

Ｓ１００６は、第１実施形態のＳ２０９（図２）と同じである。長秒画像１１０１を用いて物体検知を行うことで屋内のみの人物Ｐ１〜Ｐ４を検知することが可能となる。Ｓ１００６の後、Ｓ１００９へ進み処理を終了する。
一方、屋外のみで物体検知を行う場合には（Ｓ１００４：Ｎｏ）、Ｓ１００７へ進む。
Ｓ１００７において、検知画像選択部９０８は短秒画像１１０２を選択する。つまり、屋外のみで物体検知を行う場合には、短秒画像１１０２が選択される。Ｓ１００７の後に、Ｓ１００８に進む。

Ｓ１００８は、第１実施形態のＳ２１１（図２）と同じである。短秒画像１１０２を用いて物体検知を行うことで屋外のみの人物Ｐ５を検知することが可能となる。Ｓ１００８の後、Ｓ１００９へ進み、処理を終了する。
なお、上記の説明では昼間の屋内外の物体検知を行っているが、夜間の屋内外の物体検知を行う場合には、検知画像選択部９０８での選択画像が逆になる。つまり、屋外のみで物体検知を行う場合、検知画像選択部９０８は長秒画像１１０１を選択し、屋内のみで物体検知を行う場合、検知画像選択部９０８は短秒画像１１０２を選択する。

（第３実施形態の効果）
本実施形態によれば、屋内外の被写体を分離した上で物体検知が行えるので、屋内、屋外それぞれで最適な物体検知を行うことが可能となる。また、第１実施形態と比較すると、輝度ヒストグラムを算出する必要がないと共に、第２増幅器１１１が不要になるので、制御が簡素化される。

（変形例）
上記した実施形態では、画像処理回路１０５、６０５および９０５がカメラ装置１００、６００および９００に設けられているが、本発明はこのような構成に限定されない。例えば、画像処理回路１０５、６０５、９０５はクライアント端末装置１１６に設けられてもよい。その場合、第１増幅器１０４の出力側がネットワーク処理回路１１２に接続され、撮像画像がネットワーク処理回路１１２からＬＡＮ１１５経由でクライアント端末装置１１６に送信される。そして、クライアント端末装置１１６内において、画像処理（例えば、図２の処理）が行われる。また、クライアント端末装置１１６には、ＣＰＵ１１３と同様な機能を有する制御部が設けられると共に、記憶部１１４と同様な記憶部が設けられる。あるいは、画像処理回路１０５、６０５、９０５は、カメラ装置１００、６００、９００の外部であって、カメラ装置の設置場所に近い場所に設置されてもよい。例えば、上記した実施形態において、カメラ装置はバスの中に設置されているので、画像処理回路もバスの中に設置されてよい。

上記した実施形態では、カメラ装置１００、６００、９００はバスの中に設置されるとしたが、カメラ装置の設置場所は、屋内と屋外の画像を撮影できる場所であれば、どこでもよい。
上記した実施形態では、人物Ｐ１〜Ｐ５を検知したが、検知対象は人物に限定されない。検知対象は、動く可能性のある物であれば、任意の物体でよい。
上記した実施形態では、カメラ装置を説明したが、カメラ装置は撮像装置の一例であり、本発明はカメラ装置に限定されない。本発明は、撮像ができる装置であれば、種々の装置に適用することができる。例えば、本発明は、カメラ機能を有するタブレット端末に適用することができる。
画像処理回路１００、６００、９００とクライアント端末装置１１６の接続は、無線でも有線でもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００…カメラ装置、１０３…撮像素子、１０５…画像処理回路、１０９…非適正露光制御部、１１０…物体検知部

Claims (15)

1. 撮像手段により撮像した所定領域の画像を取得する取得手段と、
   取得した前記画像から屋内画像部分または屋外画像部分を分離する分離手段と、
   分離した前記屋内画像部分または屋外画像部分に物体検知処理を行う処理手段と、
   を備えることを特徴とする画像処理装置。
2. 前記分離手段は、前記画像の露出処理を制御することにより、前記画像から屋内画像部分または屋外画像部分を分離することを特徴とする請求項１に記載の画像処理装置。
3. 前記分離手段は、前記画像のダイナミックレンジを変更することにより、前記画像から屋内画像部分または屋外画像部分を分離することを特徴とする請求項１に記載の画像処理装置。
4. 前記処理手段は、前記画像の一部の輝度値を変更することを特徴とする請求項１に記載の画像処理装置。
5. 前記画像の一部の輝度値を変更するとは、当該輝度値を飽和値またはゼロ値に置き換えることである請求項４に記載の画像処理装置。
6. 取得した前記画像の輝度ヒストグラムに複数のピークがある場合、どのピークに応じて前記分離を行うかを設定する設定手段をさらに備えることを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
7. 取得した前記画像の輝度ヒストグラムに複数のピークがある場合、前記分離手段は、１つのピークのみが残るように前記画像から屋内画像部分または屋外画像部分を分離することを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
8. 前記分離手段は、前記画像の輝度ヒストグラムと、前記撮像手段が前記画像を撮像する時刻とに基づいて、前記分離を行うことを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
9. 所定領域の画像を撮像する撮像手段に、複数種類の露光を行わせる露光制御手段と、
   複数種類の露光により生成された複数の画像のうちの１つの画像に物体検知を行う検知手段と、
   を備えることを特徴とする画像処理装置。
10. 前記複数の画像のうちの１つを選択する選択手段をさらに備えることを特徴とする請求項９に記載の画像処理装置。
11. 前記選択手段は、前記撮像手段が前記画像を撮像する時刻に基づいて、前記１つの画像を選択することを特徴とする請求項１０に記載の画像処理装置。
12. 所定領域の画像を撮像する撮像手段と、
    請求項１〜１１のいずれか１項に記載の画像処理装置と、
    前記撮像手段と前記画像処理装置を接続する接続手段と、
    を備える撮像装置。
13. 前記接続手段は、有線または無線で前記撮像手段を前記画像処理装置に接続することを特徴とする請求項１２に記載の撮像装置。
14. 所定領域の撮像画像を取得するステップと、
    取得した前記画像から屋内画像部分または屋外画像部分を分離するステップと、
    分離した前記屋内画像部分または屋外画像部分に物体検知処理を行うステップと、
    を有することを特徴とする画像処理方法。
15. コンピュータを、請求項１〜１１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
    
    
    
    
    
    

Images