JP2017034453A - 画像処理装置、画像表示システム及び画像処理方法 - Google Patents

Abstract

【課題】表示画面の一部の領域のみをミラーとして用いることができるようにする。
【解決手段】画像表示システムにおいては、表示装置３の表示画面３０は、前面側にハーフミラーを有している。画像処理装置の画像取得部は車両の周辺を撮影するカメラの撮影画像を取得し、画像生成部は撮影画像を用いて表示画像５を生成し、画像出力部は表示画像５を表示装置３に出力して表示画面３０に表示させる。そして、画像生成部は、表示画像５の一部の領域５ａを黒画にする。これにより、一部の領域５ａを黒画とした表示画像５が表示装置３の表示画面３０に表示される。このため、表示画面３０のうち黒画の領域５ａに対応する一部の領域２０ａのみをミラーとして用いることができる。
【選択図】図７

Description

本発明は、車両の周辺の画像を表示する技術に関する。

一般に、自動車などの車両のドライバは、車室内に配置されるルームミラー（インナーリアビューミラー）を用いて車両の周辺の後方を確認する。しかしながら、このようなルームミラーを用いた場合でも、車室内の後部の同乗者や荷物により視界が遮られることなどにより、車両の周辺の後方の確認が難しくなる場合がある。また、コンテナを有するトラックなどの車両の場合は、車両の周辺の後方の確認にルームミラーが利用できない場合もある。

このため、近年、カメラを用いて車両の周辺の後方の被写体を撮影し、該被写体の像を含む画像を車室内のルームミラーの位置に配置された表示装置に表示する画像表示システムが提案されている。この画像表示システムのユーザとなる車両のドライバは、車室内の後部の同乗者や荷物の影響を受けずに、車両の周辺の後方を安定して確認できる（例えば、特許文献１参照。）。

特開２００９−１１７９７１号公報

ところで、車両のドライバは、一般的なルームミラーを用いて、車両の周辺の後方のみならず、同乗者や荷物などの車室内の後部を確認する場合もある。上記の画像表示システムでは車室内を示す画像は表示されないため、ユーザは、車室内の後部を確認することはできない。

このため、表示装置の表示画面にハーフミラーを有する画像表示システムが提案されている。この画像表示システムでは、表示装置のバックライトを消灯してハーフミラーの内側を暗くすることで、車室内の後部の像を映すミラーとして表示装置の表示画面を機能させることができる。

しかしながら、このような画像表示システムを用いた場合には、バックライトの消灯に伴って、バックライトに対応する表示装置の表示画面の領域全体がミラーとして機能する。このため、表示装置の表示画面の一部の領域のみをミラーとして用いることはできない。このため例えば、ユーザは、車両の周辺の後方と車室内の後部とを同時に確認することは難しい。

本発明は、上記課題に鑑みてなされたものであり、表示画面の一部の領域のみをミラーとして用いることができる技術を提供することを目的とする。

上記課題を解決するため、請求項１の発明は、車両の車室内に配置される表示装置の表示画面に表示させるための表示画像を生成する画像処理装置であって、前記表示装置の前記表示画面は、ハーフミラーを有し、前記画像処理装置は、車両の周辺を撮影するカメラの撮影画像を取得する取得手段と、前記撮影画像を用いて前記表示画像を生成する生成手段と、前記表示画像を前記表示装置に出力して前記表示画面に表示させる出力手段と、を備え、前記生成手段は、前記表示画像の一部の領域を黒画にする。

また、請求項２の発明は、請求項１に記載の画像処理装置において、ユーザの操作に応じた操作信号を受信する受信手段と、をさらに備え、前記生成手段は、前記操作信号に応じて前記表示画像のうち前記黒画にする領域を変更する。

また、請求項３の発明は、請求項１に記載の画像処理装置において、前記表示画像のうちのユーザが指定する領域を指定領域として受け付ける受付手段、をさらに備え、前記生成手段は、前記表示画像のうち前記指定領域を前記黒画にする。

また、請求項４の発明は、請求項１に記載の画像処理装置において、前記車両の車室内で発生した音を検出する検出手段と、前記音の発生位置を判定する判定手段と、を備え、前記生成手段は、前記検出手段が前記音を検出した場合は、前記表示画像における前記発生位置に応じた領域を前記黒画にする。

また、請求項５の発明は、車両で用いられる画像表示システムであって、前記車両の車室内に配置され、ハーフミラーを有する表示画面を備えた表示装置と、前記表示装置の前記表示画面に表示させるための表示画像を生成する請求項１ないし４のいずれかに記載の画像処理装置と、を備えている。

また、請求項６の発明は、車両の車室内に配置される表示装置の表示画面に表示させるための表示画像を生成する画像処理方法であって、前記表示装置の前記表示画面は、ハーフミラーを有し、前記画像処理方法は、（ａ）車両の周辺を撮影するカメラの撮影画像を取得する工程と、（ｂ）前記撮影画像を用いて前記表示画像を生成する工程と、（ｃ）前記表示画像を前記表示装置に出力して前記表示画面に表示させる工程と、を備え、前記工程（ｂ）は、前記表示画像の一部の領域を黒画にする。

請求項１ないし６の発明によれば、一部の領域を黒画とした表示画像が表示装置の表示画面に表示されるため、表示画面のうち黒画の領域に対応する一部の領域のみを、車室内の状態を確認するためのミラーとして用いることができる。

また、特に請求項２の発明によれば、ユーザの操作に応じて表示画像のうち黒画にする領域を変更するため、ユーザは表示装置の表示画面のうちのミラーとして用いる領域を必要に応じて変更することができる。

また、特に請求項３の発明によれば、ユーザが指定した指定領域を黒画にするため、ユーザは、表示装置の表示画面のうちの所望の領域をミラーとして用いることができる。

また、特に請求項４の発明によれば、車両の車室内で音が発生した場合は、その音の発生位置に応じた領域を黒画をするため、ユーザは音の発生位置の様子を確認できる。

図１は、画像表示システムの概要を示す図である。 図２は、車両の車室内の前方の様子を示す図である。 図３は、第１の実施の形態の画像表示システムの構成を示す図である。 図４は、表示装置の主な構成を示す図である。 図５は、表示画像を表示した表示画面の一例を示す図である。 図６は、表示画像を表示した表示画面の一例を示す図である。 図７は、表示画像を表示した表示画面の一例を示す図である。 図８は、表示画像を表示した表示画面の一例を示す図である。 図９は、表示画像を表示した表示画面の一例を示す図である。 図１０は、第１の実施の形態の画像処理装置の処理の流れを示す図である。 図１１は、第２の実施の形態の画像表示システムの構成を示すブロック図である。 図１２は、指定領域の受け付けを説明する図である。 図１３は、表示画像を表示した表示画面の一例を示す図である。 図１４は、第３の実施の形態の画像表示システムの構成を示すブロック図である。 図１５は、車両の車室内を模式的に示す図である。 図１６は、表示画像を表示した表示画面の一例を示す図である。 図１７は、第３の実施の形態の画像処理装置の処理の流れを示す図である。

以下、図面を参照しつつ本発明の実施の形態について説明する。

＜１．第１の実施の形態＞
＜１−１．構成＞
図１は、画像表示システム１０の概要を示す図である。図に示すように、画像表示システム１０は、車両（本実施の形態では、自動車）９に搭載される。画像表示システム１０は、車両９の周辺の画像を取得するカメラ１と、画像を処理する画像処理装置２と、車両９の車室内に配置された表示装置３とを備えている。画像表示システム１０は、カメラ１を用いて車両９の周辺の被写体を撮影し、当該被写体を示す表示画像を車室内の表示装置３で表示する機能を有している。

カメラ１は、レンズと撮像素子とを備えており、車両９の周辺の被写体の像を含む撮影画像を電子的に取得する。カメラ１は、車両９の後端の上部に設けられ、その光軸１ａは車両９の前後方向に沿って後方に向けられる。したがって、カメラ１は、車両の周辺の後方に存在する被写体を撮影する。カメラ１のレンズは広角レンズであり、カメラ１は比較的広い画角θを有し、車両９の周辺の後方における比較的広い範囲を撮影できる。

図２は、車両９の車室内の前方の様子を示す図である。図に示すように、画像表示システム１０が採用される車両９では、車室内における一般的なルームミラーが配置される位置にルームミラーに代えて表示装置３が配置される。この表示装置３において、カメラ１で得られた撮影画像に基づく車両９の周辺の後方の被写体を示す表示画像が表示される。したがって、画像表示システム１０のユーザ（代表的には、車両９のドライバ）は、ルームミラーと同様の感覚で表示装置３に表示される表示画像を視認することで、車両９の周辺の後方の様子を確認できる。

また、画像表示システム１０は、表示装置３の表示画面の一部の領域を、可視光線を反射するミラーとする機能を有している。ユーザは、この機能を利用して、表示画面におけるミラーの領域に映る車室内の物体の像を確認することで、車室内の後部の同乗者や荷物の状態を確認することもできる。

画像表示システム１０は、ユーザが操作可能な複数の操作ボタン４を備えている。図２に示すように、複数の操作ボタン４は、例えば、車両９のステアリングホイールに配置される。これら複数の操作ボタン４は、左ボタン、中央ボタン及び右ボタンの３つのボタンを含んでいる。ユーザは、これらの操作ボタン４を押下することで、表示装置３の表示画面の一部の領域をミラーとして機能させることができる。

図３は、第１の実施の形態の画像表示システム１０の構成を示すブロック図である。前述のように、画像表示システム１０は、各種の画像処理が可能な電子装置である画像処理装置２を備えている。カメラ１、表示装置３及び操作ボタン４は、画像処理装置２に対して電気的に接続される。画像処理装置２は、カメラ１で得られた撮影画像に対して画像処理を行い、表示装置３の表示画面に表示させるための表示画像を生成する。

画像処理装置２は、画像取得部２１と、画像生成部２２と、画像出力部２３とを備えている。画像取得部２１は、カメラ１で得られた撮影画像を取得する。画像取得部２１は、取得した撮影画像を画像生成部２２に入力する。

画像生成部２２は、入力された撮影画像を処理して表示画像を生成する。画像生成部２２は、撮影画像に含まれる被写体の像を示す表示画像を生成する。

また、画像生成部２２は、表示画像の少なくとも一部の領域を黒画にすることができる。「黒画」とは、含まれる各画素の明るさの値（輝度、明度など）がおよそ０となる画像である。例えば、画素の値がＲＧＢで表される場合はＲ≒０，Ｇ≒０，Ｂ≒０となる画像である。また、例えば、画素の値がＹＣｒＣｂで表される場合はＹ≒０となる画像である。画像生成部２２は、画素の値を変更するという単純な画像処理のみで、表示画像の一部の領域を黒画にすることができる。このような表示画像中の黒画の領域は、この表示画像が表示装置３で表示された場合における表示画面中のミラーの領域に対応する（詳細後述。）。

画像出力部２３は、画像生成部２２が生成した表示画像を表示装置３に出力する。これにより、表示装置３の表示画面において表示画像が表示される。

また、画像処理装置２は、制御部２０と、信号受信部２４と、記憶部２５とをさらに備えている。制御部２０は、例えば、マイクロコンピュータであり、画像処理装置２の全体を統括的に制御する。

信号受信部２４は、ユーザの操作に応じた操作信号を操作ボタン４から受信する。複数の操作ボタン４はそれぞれ、ユーザに操作された場合に、所定の操作信号を画像処理装置２に送出する。信号受信部２４は、受信した操作信号を制御部２０に入力する。

記憶部２５は、例えば、フラッシュメモリなどの不揮発性メモリであり、各種の情報を記憶する。記憶部２５は、ファームウェアとしてのプログラムや、制御部２０の制御に用いる各種のデータを記憶する。

また、制御部２０は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えている。制御部２０の各種の機能は、記憶部２５に記憶されたプログラムに従ってＣＰＵが演算処理を行うことで実現される。図中に示す領域指示部２０ａは、プログラムに従ってＣＰＵが演算処理を行うことで実現される機能の一部である。

領域指示部２０ａは、表示画像において黒画にする領域を画像生成部２２に指示する。領域指示部２０ａは、信号受信部２４が受信した操作信号に応じて、表示画像において黒画にする領域を決定する（詳細後述。）。

＜１−２．表示装置のミラー化＞
次に、表示装置３について説明する。図４は、表示装置３の主な構成を示す図である。図４に示すように、表示装置３の表示画面３０は、バックライト３１及び液晶パネル３２を備え、バックライト３１の前面側に液晶パネル３２が配置される。表示画面３０が表示画像を表示する際には、表示画像に含まれる各画素の値に応じて液晶パネル３２がバックライト３１の光を通過させる。

また、表示画面３０は、液晶パネル３２の前面側（ユーザが視認する側）に、ハーフミラー３３をさらに備えている。ハーフミラー３３は、マジックミラーあるいはミラーガラスとも呼ばれ、入射した光の一部を反射し一部を透過する性質を有する装置（ビームスプリッタ）である。

明暗の境界位置にハーフミラーを配置した場合、人間が明るい側からハーフミラーを見ると、自分側（明るい側）にある物体の像がハーフミラーに映って見える。すなわち、ハーフミラーが、可視光線を反射するミラーとして機能する。一方、人間が暗い側からハーフミラーを見ると、反対側（明るい側）にある物体がハーフミラーを透過して見える。

前面側にハーフミラー３３を備える表示画面３０は、このようなハーフミラー３３の性質により、車室内の後部にある物体の像を映すミラーとしても機能する。なお、表示画面３０に採用するハーフミラー３３の透過率と反射率とは視認性を考慮して設定されることが望ましく、透過率と反射率とは一致しなくてもよい。

図５の上部に示すように、カメラ１で得られた撮影画像の被写体の像を全領域が示す表示画像５を表示装置３が表示する場合を想定する。この場合は、図５の下部に示すように、表示装置３の表示画面３０の全領域において、車両９の周辺の後方の被写体が示される。バックライト３１の発光によりハーフミラー３３の内側が明るくなるため、ユーザは明るく表示された表示画像５が示す被写体の像を視認する。これにより、ユーザは、車両９の周辺の後方の様子を確認できる。

一方、図６の上部に示すように、全領域が黒画となる表示画像５を表示装置３が表示する場合を想定する。この場合は、図６の下部に示すように、表示装置３の表示画面３０の全領域が、可視光線を反射するミラーとして機能する。黒画の表示によりバックライト３１の光が遮断されてハーフミラー３３の内側が暗くなるため、ユーザはハーフミラー３３に映る物体の像を視認する。これにより、ユーザは、車室内の後部の同乗者や荷物の様子を確認できる。

このような原理により、黒画を含む表示画像５を表示装置３が表示した場合は、表示装置３の表示画面３０がミラーとして機能する。そして、一部の領域のみが黒画である表示画像５を表示装置３が表示した場合は、表示装置３の表示画面３０において黒画の領域に対応する一部の領域のみがミラーとして機能する。

例えば、図７の上部に示すように、大部分が撮影画像の被写体の像を示し、右側の一部の右領域５ａのみが黒画である表示画像５を、表示装置３が表示する場合を想定する。この場合は、図７の下部に示すように、表示装置３の表示画面３０において黒画の右領域５ａに対応する右端の領域３０ａのみがミラーとして機能し、他の領域は車両９の周辺の後方の被写体を示す。したがってこの場合は、ユーザは、車両９の周辺の後方の様子と、車室内の後部の右側の様子とを同時に確認できる。

また、図８の上部に示すように、上半分の領域が撮影画像の被写体の像を示し、下半分の下領域５ｂが黒画である表示画像５を、表示装置３が表示する場合を想定する。この場合は、図８の下部に示すように、表示装置３の表示画面３０において黒画の下領域５ｂに対応する下側の領域３０ｂがミラーとして機能し、他の領域は車両９の周辺の後方の被写体を示す。したがってこの場合は、ユーザは、車両９の周辺の後方の様子と、車室内の後部の下側の様子とを同時に確認できる。

また、図９の上部に示すように、大部分が撮影画像の被写体の像を示し、左側の一部の左領域５ｃのみが黒画である表示画像５を、表示装置３が表示する場合を想定する。この場合は、図９の下部に示すように、表示装置３の表示画面３０において黒画の左領域５ｃに対応する左端の領域３０ｃのみがミラーとして機能し、他の領域は車両９の周辺の後方の被写体を示す。したがってこの場合は、ユーザは、車両９の周辺の後方の様子と、車室内の後部の左側の様子とを同時に確認できる。

このように表示画像５における黒画の領域は、表示装置３の表示画面３０においてミラーの領域に対応する。画像処理装置２の領域指示部２０ａは、この表示画像５において黒画とする領域を決定する。領域指示部２０ａは、左ボタン、中央ボタン及び右ボタンを含む操作ボタン４からの操作信号に応じて、表示画像５において黒画にする領域を決定する。

領域指示部２０ａは、右ボタンが押下された場合は、図７に示すように、表示画像５の右領域５ａを黒画とする領域に決定する。また、領域指示部２０ａは、中央ボタンが押下された場合は、図８に示すように、表示画像５の下領域５ｂを黒画とする領域に決定する。さらに、領域指示部２０ａは、左ボタンが押下された場合は、図９に示すように、表示画像５の左領域５ｃを黒画とする領域に決定する。このような表示画像５のうち黒画とする領域の位置、及び、黒画とする領域と操作ボタン４との対応関係は、予め定められて記憶部２５などに記憶される。

領域指示部２０ａは、決定した黒画とする領域を画像生成部２２に指示する。画像生成部２２は、領域指示部２０ａからの指示に応じて表示画像５の一部の領域を黒画にする。したがって、画像生成部２２は、押下された操作ボタン４に応じて表示画像５のうち黒画にする領域を変更することになる。このため、ユーザは、操作ボタン４を押下することで、表示装置３の表示画面３０においてミラーとして用いる領域を任意に変更できる。

＜１−３．画像処理装置の処理＞
次に、画像処理装置２の処理の流れについて説明する。図１０は、画像処理装置２の処理の流れを示す図である。

画像処理装置２は、通常状態では、撮影画像の被写体の像を全領域が示す表示画像５を生成し、この表示画像５を表示装置３に表示させる。

まず、画像取得部２１が、カメラ１から撮影画像を取得する。撮影画像には、車両９の周辺の後方に存在する被写体の像が含まれている。画像生成部２２は、この撮影画像を用い、撮影画像の被写体を全領域が示す表示画像５を生成する（ステップＳ１１）。

次に、画像出力部２３が、画像生成部２２が生成した表示画像５を表示装置３に出力する（ステップＳ１２）。これにより、表示装置３において表示画像５が表示される。その結果、表示装置３の表示画面３０の全領域において、車両９の周辺の後方の被写体が示される（図５参照。）。

このような通常状態の処理（ステップＳ１１，Ｓ１２）は、ユーザが操作ボタン４のいずれかを押下するまで、所定の周期（例えば、１／３０秒周期）で繰り返される（ステップＳ１３にてＮｏ）。これにより、ユーザは車両９の周辺の後方の様子をほぼリアルタイムに確認できる。

また、ユーザが操作ボタン４のいずれかを押下した場合は（ステップＳ１３にてＹｅｓ）、画像処理装置２は、一部の領域が黒画となる表示画像５を生成し、この表示画像５を表示装置３に表示させる。

まず、画像生成部２２が、画像取得部２１が取得したカメラ１の撮影画像を用い、撮影画像の被写体を全領域が示す表示画像５を生成する（ステップＳ１４）。

次に、画像生成部２２は、領域指示部２０ａからの指示に応じて、生成した表示画像５の一部の領域を黒画にする（ステップＳ１５）。前述のように領域指示部２０ａは、表示画像５のうち押下された操作ボタン４に応じた領域を黒画とする領域に決定し、決定した領域を画像生成部２２に指示する。そして、画像生成部２２は、表示画像５のうち領域指示部２０ａが指示した領域を黒画にする。なお、この際に、画像生成部２２は、撮影画像の被写体の像のサイズを調整し、表示画像５における黒画以外の領域に被写体の像が含まれるようにしてもよい。

次に、画像出力部２３が、画像生成部２２が生成した表示画像５を表示装置３に出力する（ステップＳ１６）。これにより、表示装置３において黒画の領域を含む表示画像５が表示される。その結果、表示装置３の表示画面３０における黒画の領域に対応する一部の領域がミラーとして機能する（図７から図９参照。）。

このような処理（ステップＳ１４〜Ｓ１６）は、ユーザが操作ボタン４を操作してから一定時間（例えば、３０秒）が経過するまで、所定の周期（例えば、１／３０秒周期）で繰り返される（ステップＳ１７にてＮｏ）。これにより、ユーザは、車両９の周辺の後方の様子を確認しつつ、車室内の後部の様子を併せて確認できる。なお、一定期間が経過するまでにユーザが別の操作ボタン４を新たに押下した場合は、画像生成部２２は、新たに押下された操作ボタン４に応じて表示画像５のうち黒画にする領域を変更する。

ユーザが操作ボタン４を操作してから一定時間が経過すると（ステップＳ１７にてＹｅｓ）、処理はステップＳ１１に戻る。これにより、画像処理装置２は、通常状態に戻る。

以上のように、第１の実施の形態の画像表示システム１０においては、表示装置３の表示画面３０は、前面側にハーフミラー３３を有している。画像処理装置２の画像取得部２１は車両９の周辺を撮影するカメラ１の撮影画像を取得し、画像生成部２２は撮影画像を用いて表示画像５を生成し、画像出力部２３は表示画像５を表示装置３に出力して表示画面３０に表示させる。そして、画像生成部２２は、表示画像５の一部の領域を黒画にする。

これにより、一部の領域を黒画とした表示画像５が表示装置３の表示画面３０に表示される。このため、表示画面３０のうち黒画の領域に対応する一部の領域のみを、車室内の状態を確認するためのミラーとして用いることができる。その結果、ユーザは、車両９の周辺の後方の様子と、車室内の後部の様子とを同時に確認できる。

また、信号受信部２４がユーザの操作に応じた操作信号を受信し、画像生成部２２はこの操作信号に応じて表示画像５のうち黒画にする領域を変更する。このため、ユーザは表示装置３の表示画面３０のうちのミラーとして用いる領域を必要に応じて変更することができる。

＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態の画像表示システム１０の構成や処理は第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。第１の実施の形態では、表示画像５のうち黒画とする領域は予め定められた領域であった。これに対して、第２の実施の形態では、表示画像５のうち黒画とする領域をユーザが指定できるようになっている。

図１１は、第２の実施の形態の画像表示システム１０の構成を示すブロック図である。第２の実施の形態においては、表示装置３が、ユーザのタッチ操作を受け付けるタッチパネル３４を表示画面３０に重ねて備えている。したがって、ユーザは、表示装置３の表示画面３０（タッチパネル３４）に対してタッチ操作を行うことが可能である。画像処理装置２の信号受信部２４は、このタッチパネル３４が受け付けたタッチ操作を示す操作信号を受信する。

また、画像処理装置２は、プログラムに従って制御部２０のＣＰＵが演算処理を行うことで実現される機能として、領域受付部２０ｂをさらに備えている。

領域受付部２０ｂは、表示画像５のうちのユーザが指定する領域を指定領域として受け付ける。領域受付部２０ｂは、ユーザのタッチパネル３４に対するタッチ操作に応じた操作信号に基づいて、指定領域を受け付ける。領域受付部２０ｂが受け付けた指定領域は、表示画像５のうちの黒画にする領域（すなわち、表示画面３０におけるミラーの領域）となる。

領域受付部２０ｂは、画像表示システム１０が一般モードとは異なる設定モードの場合に、指定領域を受け付ける。車両９の停車中にユーザが所定のタッチ操作を行うことで、画像表示システム１０は設定モードに移行する。

図１２は、領域受付部２０ｂによる指定領域の受け付けを説明する図である。設定モードにおいては、表示装置３の表示画面３０において、全領域が黒画となる表示画像が表示される。これにより、図１２の上部に示すように、表示装置３の表示画面３０の全領域は、車室内の後部の像を映すミラーとして機能する。

ユーザは、一般モードにおいてミラーとすべき領域３０ｄを、表示画面３０の全領域から選択できる。ユーザは、ミラーとすべき領域３０ｄを、指８などで囲んで指定する。ユーザは、表示画面３０に映った車室内の後部の像を確認しつつ、所望の物体（人物、荷物など）の像が映る領域を、ミラーとすべき領域３０ｄとして指定できる。ユーザが指定する領域３０ｄの形状は矩形に限定されず、楕円形や三角形などユーザの任意の形状にすることができる。

図１２の下部に示すように、領域受付部２０ｂは、このようなユーザのタッチ操作に応じた操作信号に基づき、表示画面３０においてユーザが指定した領域３０ｄに対応する表示画像５における領域を、指定領域５ｄとして受け付ける。したがって実質的に、ユーザは、表示画像５のうちの所望の領域を指定領域５ｄとして指定できる。領域受付部２０ｂは、受け付けた指定領域５ｄの位置を、記憶部２５に記憶させる。

画像表示システム１０が一般モードの場合において、ユーザが操作ボタン４を押下した場合は（図１０のステップＳ１３にてＹｅｓ）、画像処理装置２は、指定領域５ｄが黒画となる表示画像５を生成し、この表示画像５を表示装置３に表示させる。

まず、画像生成部２２が、画像取得部２１が取得したカメラ１の撮影画像を用い、撮影画像の被写体を全領域が示す表示画像５を生成する（ステップＳ１４）。次に、領域指示部２０ａが、記憶部２５から指定領域５ｄの位置を読み出し、表示画像５のうち指定領域５ｄを黒画とする領域に決定する。領域指示部２０ａは、決定した領域を画像生成部２２に指示する。これにより、図１３の上部に示すように、画像生成部２２は、表示画像５のうち指定領域５ｄのみを黒画にする（ステップＳ１５）。そして、画像出力部２３が、画像生成部２２が生成した表示画像５を表示装置３に出力する（ステップＳ１６）。

その結果、表示装置３において指定領域５ｄが黒画となった表示画像５が表示される。図１３の下部に示すように、表示装置３の表示画面３０においては、黒画の指定領域５ｄに対応する領域３０ｄのみがミラーとして機能する。すなわち、表示画面３０においてユーザが指定した領域３０ｄのみがミラーとして機能する。したがって、ユーザは、車両９の周辺の後方の様子を確認しつつ、車室内の後部の所望の物体の様子を併せて確認できる。

以上のように、第２の実施の形態の画像表示システム１０においては、領域受付部２０ｂが表示画像５のうちのユーザが指定する領域を指定領域５ｄとして受け付け、画像生成部２２が表示画像５のうち指定領域５ｄを黒画にする。したがって、ユーザは、表示装置３の表示画面３０のうちの所望の領域をミラーとして用いることができる。

なお、領域受付部２０ｂは、表示画像５のうちのユーザが指定する複数の領域を、指定領域として受付可能となっていてもよい。この場合は、領域受付部２０ｂは、ユーザが指定した複数の指定領域の位置と、複数の操作ボタン４とを対応付けて記憶部２５に記憶させる。そして、ユーザが操作ボタン４を押下した場合は、画像生成部２２が、ユーザが押下した操作ボタン４に対応する指定領域が黒画となる表示画像５を生成すればよい。

＜３．第３の実施の形態＞
次に、第３の実施の形態について説明する。第３の実施の形態の画像表示システム１０の構成や処理は第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。第１の実施の形態では、ユーザが操作ボタン４を押下した場合に、表示装置３の表示画面３０の一部の領域がミラーとして機能するようになっていた。これに対して、第３の実施の形態では、車両９の車室内で音が発生した場合に、表示装置３の表示画面３０の一部の領域がミラーとして機能するようになっている。

図１４は、第３の実施の形態の画像表示システム１０の構成を示すブロック図である。第３の実施の形態の画像表示システム１０は、車両９の車室内で発生した音を受け付けるマイク６を備えている。マイク６は、受け付けた音に応じた電気信号である音声信号を発生する。画像処理装置２の信号受信部２４は、マイク６から音声信号を受信することで、車両９の車室内で発生した音を検出する。

また、画像処理装置２は、プログラムに従って制御部２０のＣＰＵが演算処理を行うことで実現される機能として、位置判定部２０ｃをさらに備えている。位置判定部２０ｃは、車両９の車室内で音が発生した場合に、その音の発生位置を判定する。位置判定部２０ｃは、マイク６からの音声信号の強度に基づいて音の発生位置を判定する。

図１５は、車両９の車室内を模式的に示す図である。車両９の車室内においては、前部に２つの前部座席９２が配置され、後部に左右に拡がる後部座席９１が配置されている。図に示すように、マイク６は、後部座席９１の左側及び右側にそれぞれ配置される。

位置判定部２０ｃは、これら左右の２つのマイク６の音声信号の強度を比較することにより、音の発生位置を判定する。位置判定部２０ｃは、音の発生位置を、後部座席９１の左側、中央、右側のいずれかに判定する。

第３の実施の形態の領域指示部２０ａは、表示画像５のうち音の発生位置に対応する領域を黒画とする領域に決定する。領域指示部２０ａは、音の発生位置が後部座席９１の右側の場合は、表示画像５の右領域５ａを黒画とする領域に決定する（図７参照。）。領域指示部２０ａは、音の発生位置が後部座席９１の中央の場合は、表示画像５の下領域５ｂを黒画とする領域に決定する（図８参照。）。また、領域指示部２０ａは、音の発生位置が後部座席９１の左側の場合は、表示画像５の左領域５ｃを黒画とする領域に決定する（図９参照。）
画像生成部２２は、表示画像５のうち領域指示部２０ａが決定した領域を黒画にする。したがって、画像生成部２２は、表示画像５のうち音の発生位置に応じた領域を黒画にする。この表示画像５が表示装置３において表示されるため、ユーザは、表示装置３の表示画面３０において音の発生位置の像を映す領域をミラーとして用いることができ、音の発生位置の様子を確認することができる。

例えば、図１６の上部に示すように、表示装置３の表示画面３０の全領域が車両９の周辺の後方の被写体を表示している状態において、後部座席９１の右側に着座している子供が泣き出した場合を想定する。この場合、位置判定部２０ｃが、２つのマイク６からの音声信号に基づいて、子供の泣き声の発生位置を後部座席９１の右側と判定する。そして、画像生成部２２が判定された音の発生位置に応じた表示画像５の右領域５ａを黒画にし、画像出力部２３が表示画像５を表示装置３に出力する。

これにより、図１６の下部に示すように、表示装置３の表示画面３０においては、子供の泣き声の発生位置の像を映す右側の領域３０ａがミラーとして機能する。したがって、ユーザは、車両９の周辺の後方の様子を確認しつつ、泣き出した子供の様子も確認できる。この際、画像生成部２２は、表示画像５における黒画とする領域の周囲に、所定色の枠部５ｆを形成してもよい。このようにすれば、表示画面３０においてミラーとして機能する領域を目立たせることができる。また、このような枠部５ｆを点滅させてもよい。

図１７は、第３の実施の形態の画像処理装置２の処理の流れを示す図である。第３の実施の形態の画像処理装置２も、通常状態では、撮影画像の被写体の像を全領域が示す表示画像５を生成し、この表示画像５を表示装置３に表示させる（ステップＳ２１，Ｓ２２）。ステップＳ２１，Ｓ２２の処理は、第１の実施の形態のステップＳ１１，Ｓ１２と同様である。このような通常状態の処理は、信号受信部２４が車室内の音を検出するまで所定の周期で繰り返される（ステップＳ２３にてＮｏ）。

信号受信部２４が車室内の音を検出した場合は（ステップＳ２３にてＹｅｓ）、画像処理装置２は、音の発生位置に応じた領域が黒画となる表示画像５を生成し、この表示画像５を表示装置３に表示させる。

まず、位置判定部２０ｃが、左右の２つのマイク６それぞれからの音声信号に基づいて、音の発生位置を判定する（ステップＳ２４）。

次に、画像生成部２２が、画像取得部２１が取得したカメラ１の撮影画像を用い、撮影画像の被写体を全領域が示す表示画像５を生成する（ステップＳ２５）。次に、領域指示部２０ａは、表示画像５のうち音の発生位置に応じた領域を黒画とする領域に決定し、決定した領域を画像生成部２２に指示する。画像生成部２２は、表示画像５のうち領域指示部２０ａが指示した領域を黒画にする（ステップＳ２６）。

次に、画像出力部２３が、画像生成部２２が生成した表示画像５を表示装置３に出力する（ステップＳ２７）。これにより、表示装置３において音の発生位置に応じた領域が黒画である表示画像５が表示される。その結果、表示装置３の表示画面３０において、音の発生位置を映す領域がミラーとして機能する。

このような処理（ステップＳ２５〜Ｓ２７）は、信号受信部２４が車室内の音を検出してから一定時間（例えば、１分）が経過するまで、所定の周期で繰り返される（ステップＳ２８にてＮｏ）。一定時間が経過すると（ステップＳ２８にてＹｅｓ）、処理はステップＳ２１に戻る。

以上のように、第３の実施の形態の画像表示システム１０においては、信号受信部２４が車両９の車室内で発生した音を検出し、位置判定部２０ｃが音の発生位置を判定する。そして、信号受信部２４が音を検出した場合は、画像生成部２２は、表示画像５における音の発生位置に応じた領域を黒画にする。このため、ユーザは、車室内の音の発生位置の様子を確認することができる。

なお、第３の実施の形態の画像表示システム１０において、車室内で音が発生した場合とともに、ユーザが操作ボタン４を押下した場合にも、表示装置３の表示画面３０の一部の領域がミラーとして機能するようにしてもよい。

＜４．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。

上記第１の実施の形態では、操作ボタン４はステアリングホイールに配置されていたが、表示装置３の表示画面３０の近傍に配置されてもよい。

また、上記第１の実施の形態では、ユーザが操作ボタン４を押下した場合に、表示装置３の表示画面３０の一部の領域がミラーとして機能するようになっていた。これに対して、表示装置３がタッチパネルを備えている場合は、ユーザがタッチ操作を行った場合に、表示装置３の表示画面３０の一部の領域がミラーとして機能するようにしてもよい。この場合は、表示装置３の表示画面３０のうち、ユーザがタッチ操作を行った位置に最も近い領域をミラーとして機能させることが望ましい。

また、上記第１の実施の形態では、表示画像５のうちユーザが押下した操作ボタン４に応じた領域が黒画とされていた。これに対して、ユーザが一つの操作ボタンを押下するごとに、表示画像５のうち黒画とする領域が変更されるようにしてもよい。

また、上記第３の実施の形態では、位置判定部２０ｃは、２つのマイク６の音声信号の強度を比較することにより音の発生位置を判定していたが、他の手法で音の発生位置を判定してもよい。例えば、位置判定部は、マイク６の音声信号に基づいて音声認識処理を行い、特定の音声（例えば、子供の泣き声）を認識した場合に、認識した音声に予め関連付けられた車室内の位置を音の発生位置として判定してもよい。

また、上記実施の形態では、表示装置３の表示画面３０の一部の領域をミラーとして機能させてから一定期間が経過すると、画像処理装置２は通常状態に戻っていた。これに対して、ユーザが所定の操作を行った場合に、画像処理装置２が通常状態に戻るようにしてもよい。

また、上記実施の形態において一つのブロックとして説明した機能は必ずしも単一の物理的要素によって実現される必要はなく、分散した物理的要素によって実現されてよい。また、上記実施の形態で複数のブロックとして説明した機能は単一の物理的要素によって実現されてもよい。また、車両内の装置と車両外の装置とに任意の一つの機能に係る処理を分担させ、これら装置間において通信によって情報の交換を行うことで、全体として当該一つの機能が実現されてもよい。

また、上記実施の形態においてプログラムの実行によってソフトウェア的に実現されると説明した機能の全部又は一部は電気的なハードウェア回路により実現されてもよく、ハードウェア回路によって実現されると説明した機能の全部又は一部はソフトウェア的に実現されてもよい。また、上記実施の形態において一つのブロックとして説明した機能が、ソフトウェアとハードウェアとの協働によって実現されてもよい。

３ 表示装置
４ 操作ボタン
５ 表示画像
２０ｂ 領域受付部
２０ｃ 位置判定部
２４ 信号受信部
３０ 表示画面
３３ ハーフミラー

Claims (6)

1. 車両の車室内に配置される表示装置の表示画面に表示させるための表示画像を生成する画像処理装置であって、
   前記表示装置の前記表示画面は、ハーフミラーを有し、
   前記画像処理装置は、
   車両の周辺を撮影するカメラの撮影画像を取得する取得手段と、
   前記撮影画像を用いて前記表示画像を生成する生成手段と、
   前記表示画像を前記表示装置に出力して前記表示画面に表示させる出力手段と、
   を備え、
   前記生成手段は、前記表示画像の一部の領域を黒画にすることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   ユーザの操作に応じた操作信号を受信する受信手段と、
   をさらに備え、
   前記生成手段は、前記操作信号に応じて前記表示画像のうち前記黒画にする領域を変更することを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置において、
   前記表示画像のうちのユーザが指定する領域を指定領域として受け付ける受付手段、
   をさらに備え、
   前記生成手段は、前記表示画像のうち前記指定領域を前記黒画にすることを特徴とする画像処理装置。
4. 請求項１に記載の画像処理装置において、
   前記車両の車室内で発生した音を検出する検出手段と、
   前記音の発生位置を判定する判定手段と、
   を備え、
   前記生成手段は、前記検出手段が前記音を検出した場合は、前記表示画像における前記発生位置に応じた領域を前記黒画にすることを特徴とする画像処理装置。
5. 車両で用いられる画像表示システムであって、
   前記車両の車室内に配置され、ハーフミラーを有する表示画面を備えた表示装置と、
   前記表示装置の前記表示画面に表示させるための表示画像を生成する請求項１ないし４のいずれかに記載の画像処理装置と、
   を備えることを特徴とする画像表示システム。
6. 車両の車室内に配置される表示装置の表示画面に表示させるための表示画像を生成する画像処理方法であって、
   前記表示装置の前記表示画面は、ハーフミラーを有し、
   前記画像処理方法は、
   （ａ）車両の周辺を撮影するカメラの撮影画像を取得する工程と、
   （ｂ）前記撮影画像を用いて前記表示画像を生成する工程と、
   （ｃ）前記表示画像を前記表示装置に出力して前記表示画面に表示させる工程と、
   を備え、
   前記工程（ｂ）は、前記表示画像の一部の領域を黒画にすることを特徴とする画像処理方法。

Images