JP2019009598A - 表示制御装置、表示制御方法、及び、表示制御プログラム - Google Patents

Abstract

【課題】異なる撮像装置で撮影された車両の周辺画像が合成された画像と車両の車内を示す画像とを合成して表示装置に表示する際、合成画像を違和感なく生成することを可能とする表示制御装置、表示制御方法、及び、表示制御プログラムを提供する。【解決手段】表示制御装置は、異なる撮像装置で撮影された車両の周辺画像が合成された第１の画像と前記車両の車内を示す第２の画像とを合成する画像合成部と、前記画像合成部が合成した画像の表示を制御する制御部と、を備え、前記第２の画像は、前記周辺画像の合成により前記第１の画像に生じるゆがみに対応したゆがみを有する画像である。【選択図】図６Ｂ

Description

本発明は、異なる撮像装置で撮影された車両の周辺画像の表示を制御する表示制御装置、表示制御方法、及び、表示制御プログラムに関する。

近年、車両に搭載された撮像装置で撮影された車両の周辺画像を表示装置に表示して、運転者に注意を促す表示システムが開発されている。

また、周辺画像に含まれる物体の位置を運転者が直感的に理解できるように、周辺画像と車両内部の画像とを合成した合成画像を表示装置に表示させる表示システムも提案されている（例えば、特許文献１、２を参照）。

特開２０１０−１０９６８４号公報 特許第６０５６６１２号公報

しかしながら、上述した従来技術では、周辺画像が異なる撮像装置で撮影された複数の周辺画像の合成画像であり、その合成画像と車両内部の画像との合成画像を表示装置に表示させる場合、複数の周辺画像を合成する際に生じる画像のゆがみにより複数の周辺画像の合成画像と車両内部の画像との間で調和をとることが難しい。

そのため、異なる撮像装置で撮影された車両の周辺画像が合成された画像と車両の車内を示す画像とを合成して表示装置に表示する際、合成画像を如何に違和感なく生成できるかが課題となっている。

本発明は、異なる撮像装置で撮影された車両の周辺画像が合成された画像と車両の車内を示す画像とを合成して表示装置に表示する際、合成画像を違和感なく生成することを可能とする表示制御装置、表示制御方法、及び、表示制御プログラムを提供することを目的とする。

本発明に係る表示制御装置は、異なる撮像装置で撮影された車両の周辺画像が合成された第１の画像と前記車両の車内を示す第２の画像とを合成する画像合成部と、前記画像合成部が合成した画像の表示を制御する制御部と、を備え、前記第２の画像は、前記周辺画像の合成により前記第１の画像に生じるゆがみに対応したゆがみを有する画像である。

また、本発明に係る表示制御方法は、異なる撮像装置で撮影された車両の周辺画像が合成された第１の画像と前記車両の車内を示す第２の画像とを合成する画像合成ステップと、前記画像合成ステップにおいて合成された画像の表示を制御するステップと、を含み、前記第２の画像は、前記周辺画像の合成により前記第１の画像に生じるゆがみに対応したゆがみを有する画像である。

また、本発明に係る表示制御プログラムは、異なる撮像装置で撮影された車両の周辺画像が合成された第１の画像と前記車両の車内を示す第２の画像とを合成する画像合成手順と、前記画像合成手順において合成された画像の表示を制御する制御手順と、をコンピュータに実行させ、前記第２の画像は、前記周辺画像の合成により前記第１の画像に生じるゆがみに対応したゆがみを有する画像である。

本発明によれば、異なる撮像装置で撮影された車両の周辺画像が合成された画像と車両の車内を示す画像とを合成して表示装置に表示する際、合成画像を違和感なく生成することを可能とする表示制御装置、表示制御方法、及び、表示制御プログラムを提供することができる。

車両の平面図 表示制御装置のハードウェア構成図 表示制御装置の機能ブロック図 第１の原合成画像 第２の原合成画像 車内風景画像 第１の重畳画像 第１の合成画像 第２の重畳画像 第２の合成画像 表示制御処理のフローチャート 第３の原合成画像 第３の重畳画像 第３の合成画像 第４の合成画像 第５の合成画像

まず、本発明に係る表示制御装置が搭載される車両について説明する。

図１は車両１０の平面図である。車両１０の左側方には、車両１０の左側方を撮像する第１撮像装置１１が取り付けられている。車両１０の右側方には、車両１０の右側方を撮像する第２撮像装置１２が取り付けられている。車両１０の後方には、車両１０の後方画像を撮像する第３撮像装置１３が取り付けられている。本明細書では、車両１０の側方画像及び後方画像を総称して、後側方画像と記載する。第１撮像装置１１、第２撮像装置１２、及び第３撮像装置１３は、例えば、ＣＣＤ又はＣＭＯＳ等のイメージセンサを有するカメラである。

車両１０の車室内、例えばフロントウィンドウ内側の中央上部には、表示器１４（図３参照）が設置されている。表示器１４には、第１撮像装置１１、第２撮像装置１２及び第３撮像装置１３によって撮影された画像を合成して生成された画像が表示される。なお、表示器１４の設置位置は、運転者が視認しやすい場所であればどこでも良く、例えば、インストゥルメンタルパネルの運転席と助手席の間の部分であっても良い。

車両１０は、図２に示される表示制御装置２０を搭載している。表示制御装置２０は、車両１０の後側方画像を表示器１４に表示させる。なお、表示制御装置２０は、各撮像装置及び表示器１４と通信可能であれば、車両１０の外部に配置されていても良い。

表示制御装置２０は、ＣＰＵ２１、ＧＰＵ２２、記憶装置２３、情報の入出力を行うインターフェース（Ｉ／Ｆ）２４、およびこれらを接続するバス２５を有する。記憶装置２３に記憶されたプログラムをＣＰＵ２１及びＧＰＵ２２が実行することにより、表示制御装置２０は図３に示される各機能ブロックを構築する。

すなわち、表示制御装置２０は、画像合成部３１及び制御部３２を構築する。

画像合成部３１は、第１撮像装置１１、第２撮像装置１２及び第３撮像装置１３によって撮影された車両１０の後側方画像のデータを取得する。画像合成部３１は、これらの撮像装置によって撮影された画像を合成して原合成画像（本発明の第１の画像）のデータを生成する。

画像合成部３１は、重畳画像（本発明の第２の画像）のデータを取得又は生成する。例えば、画像合成部３１は、予め記憶装置２３に記憶されている重畳画像のデータを読み出し取得することができる。また、画像合成部３１は、車両１０の車内前方から車内後方を撮影可能に車両１０に設置された車内撮像装置１６によって撮影された車内風景画像のデータを取得し、当該データを加工して重畳画像のデータを生成することができる。

画像合成部３１は、車両１０に搭載された車両情報検出装置１５から車両情報を取得することができる。車両情報検出装置１５は、例えば、車両１０に乗車している運転者以外の人（以下、同乗者と記載）が後部座席にいる場合に信号を送信する人感センサである。この場合、車両情報は、後部座席の同乗者の有無に関する情報である。

車両情報検出装置１５は、車両１０に乗っている人が眠っているか否かを判別することが可能な睡眠検出センサであってもよい。この場合、車両情報は車両１０に乗っている人が眠っているか否かに関する情報である。

車両情報検出装置１５は、車速情報を出力する車速センサであってもよい。この場合、車両情報は車速情報である。

画像合成部３１は、原合成画像に重畳画像を重畳する合成を行い、合成画像のデータを生成する。

制御部３２は、画像合成部３１によって生成された合成画像のデータの表示器１４への出力を制御する。

続いて、画像合成部３１における画像処理について詳細に説明する。第１撮像装置１１、第２撮像装置１２及び第３撮像装置１３によって撮影された３つの後側方画像の合成手法には様々なものがある。よって、３つの後側方画像を合成することによって得られる原合成画像にも様々なものがあるが、代表的なものとして、図４Ａに示される第１の原合成画像４１と、図４Ｂに示される第２の原合成画像４２がある。いずれの原合成画像も、車両１０の左側方の風景から右側方の風景までが１枚の画像にパノラマ状に表されている。

図４Ａに示される第１の原合成画像４１は、３つの撮像装置によって撮影された３つの後側方画像を、それぞれの消失点が一致するように合成することによって得られる画像である。

図４Ａに示されるように、第１の原合成画像４１においては、車道と歩道の境界Ｘ１や歩道と緑地帯の境界Ｘ２等、本来、直線道路と平行に直線状に延びる部分が、画像の下方ほど左右に広がるように湾曲してゆがんでいる。例えば、合成前の後側方画像においては第１の仮想線Ｌ１のように直線であった車道と歩道の境界Ｘ１は、第１の原合成画像４１においては、下方ほど第１の仮想線Ｌ１から乖離する曲線となっている。

また、図４Ｂに示される第２の原合成画像４２は、３つの撮像装置によって撮影された３つの後側方画像を、それぞれに含まれる車道と歩道の境界Ｘ１が一致するように合成することによって得られる画像である。

図４Ｂに示されるように、第２の原合成画像４２においては、ガードレールの支柱Ｘ３等、本来、路面と垂直に直線状に延びる部分が、上方ほど左右に広がるように湾曲してゆがんでいる。また、湾曲の程度は、画像の下方に写っているものほど大きい。例えば、合成前の後側方画像においては第２の仮想線Ｌ２のように直線であったガードレールの支柱Ｘ３は、第２の原合成画像４２においては、上方ほど第２の仮想線Ｌ２から乖離する曲線となっている。

図４Ａ及び図４Ｂに例示されるように、車両１０の異なる位置に設置された複数の撮像装置によって撮影された複数の後側方画像を合成して得られる原合成画像には、ゆがみが含まれている。このような原合成画像をそのまま表示器１４に表示させても、原合成画像中に表示されている他の車両やガードレール等の物体が、車両１０の周囲のどこに位置しているのか、運転者は直感的に把握しにくい。

運転者による直感的な周辺把握を補助するために、原合成画像に車両１０の車内を撮影した写真等の車内風景画像を重畳させることも考えられる。しかしながら、例えば図５に示されるように、車内風景画像５０はゆがみを有していない。そのため、車内風景画像５０を原合成画像に重畳させても、原合成画像中に含まれている物体（例えば周辺の車両）と、車内風景画像５０に含まれている物体（例えば窓Ｗ）との位置にずれが生じる。

すなわち、車内風景画像５０を原合成画像（例えば第１の原合成画像４１又は第２の原合成画像４２）に重畳させても、運転者は違和感を覚える一方、車両１０の周囲の状況を直感的に把握することはできない。

そこで、画像合成部３１は、原合成画像に生じるゆがみに対応したゆがみを有する画像を重畳画像として使用し、原合成画像と重畳画像を合成する。

重畳画像の一例を図６Ａに示す。図６Ａに示される第１の重畳画像５１は、第１の原合成画像４１（図４Ａ）に含まれるゆがみに対応したゆがみを有する。すなわち、第１の重畳画像５１は、直線道路と平行に走行する車両１０における直線道路と平行な直線部分（例えば、窓枠の下辺Ｗ１）に相当する部分が、第１の原合成画像４１において直線道路を示す曲線（車道と歩道の境界Ｘ１、歩道と緑地帯の境界Ｘ２等）と平行となるゆがみを有する。なお、車両１０における直線道路と平行な直線部分としては、窓枠の上辺、窓枠の下辺、床とドアとの境界線、ドアにデザインされた水平な直線、又は、前後に並ぶ複数の座席の上部を連結した連結線を例示することができる。

第１の原合成画像４１と第１の重畳画像５１とを合成して得られる第１の合成画像６１を図６Ｂに示す。なお、画像を合成する際、第１の原合成画像４１が第１の重畳画像５１を透過して見えるように、第１の重畳画像５１は所定の位置が所定の透過率とされている。

図６Ｂに示されるように、第１の合成画像６１においては、車両１０の外部を映し出す第１の原合成画像４１に含まれる物体（例えば車道と歩道の境界Ｘ１及び歩道と緑地帯の境界Ｘ２）のひずみと、車両１０の内部を映し出す第１の重畳画像５１に含まれる物体（例えば窓枠の下辺Ｗ１）のひずみが対応している。よって、第１の原合成画像４１中ではどの部分が車両１０の後方部分に該当し、どの部分が車両１０の側方部分に該当するのかわかりにくかったのに対し、第１の合成画像６１ではその点が明確に把握できるようになっている。すなわち、車両１０の周囲の物体の位置を運転者は違和感なく直感的に把握することができる。

また、重畳画像の他の例を図７Ａに示す。図７Ａに示される第２の重畳画像５２は、第２の原合成画像４２（図４Ｂ）に含まれるゆがみに対応したゆがみを有する。すなわち、第２の重畳画像５２は、車両１０における路面と垂直な直線部分（例えば、窓枠の縦辺Ｗ２）に相当する部分が、第２の原合成画像４２において路面と垂直に設けられた物体を示す曲線（ガードレールの支柱Ｘ３）と平行となるゆがみを有する。なお、車両１０における路面と垂直な直線部分としては、ピラーの垂直部分、窓枠の縦辺、座席の垂直部分、又は、ピラーとドアの境界線を例示することができる。

第２の原合成画像４２と第２の重畳画像５２とを合成して得られる第２の合成画像６２を図７Ｂに示す。なお、画像を合成する際、第２の原合成画像４２が第２の重畳画像５２を透過して見えるように、第２の重畳画像５２は所定の位置が所定の透過率とされている。

図７Ｂに示されるように、第２の合成画像６２においては、車両１０の外部を映し出す第２の原合成画像４２中に含まれる物体（例えばガードレールの支柱Ｘ３）のひずみと、車両１０の内部を映し出す第２の重畳画像５２に含まれる物体（例えば窓枠の縦辺Ｗ２）のひずみが対応している。よって、第２の原合成画像４２中ではどの部分が車両１０の後方部分に該当し、どの部分が車両１０の側方部分に該当するのかわかりにくかったのに対し、第２の合成画像６２ではその点が明確に把握できるようになっている。すなわち、車両１０の周囲の物体の位置を運転者は違和感なく直感的に把握することができる。

次に、図８を参照しながら、表示制御装置２０による画像表示のフローを説明する。

まず、画像合成部３１は、第１撮像装置１１、第２撮像装置１２及び第３撮像装置１３によって撮像された車両１０の後側方画像のデータを取得する（Ｓ１１）。

次に、画像合成部３１は、取得した後側方画像のデータを用いて、原合成画像のデータを生成する（Ｓ１２）。

次に、画像合成部３１は、事前に撮影されて記憶装置２３に保管されている車室内映像データ、又は、車内撮像装置１６によって撮像された画像を用いて、重畳画像のデータを生成する（Ｓ１３）。なお、重畳画像データの生成は、画像合成部３１とは別の独立した機能部である室内画像生成部によって行われてもよい。

続いて、画像合成部３１は、原合成画像に重畳画像（画像合成部３１又は室内画像生成部で生成された車室内の画像）を重畳した合成画像のデータを生成する（Ｓ１４）。

その後、制御部３２は、合成画像のデータを表示器１４に出力する（Ｓ１５）。

なお、表示器１４への合成画像の出力は、例えば、車両１０のエンジン等の動力源が停止されてから所定時間が経過すると終了される。そのような画像出力の終了条件が成立したか否かが制御部３２によって判断される（Ｓ１６）。画像出力の終了条件が成立していない（Ｓ１６でＮＯ）と判断されると、本フローは繰り返される。画像出力の終了条件が成立した（Ｓ１６でＹＥＳ）と判断されると、本フローは終了する。

なお、原合成画像に重畳される重畳画像としては、車両１０の内装デザインに対応する予め用意された線図又は写真を使用することができる。この場合、重畳画像は記憶装置２３に記憶されている。また、使用される線図又は写真は、原合成画像に対応するひずみを有している。

また、原合成画像に重畳される重畳画像としては、車両１０の車室内に設置され、車両１０の前方側から後方側を撮影する車内撮像装置１６によって撮影された画像を用いることができる。この場合、使用される画像は、原合成画像に対応したひずみを有するように画像合成部３１によって加工された上で重畳画像として使用される。

後部座席に同乗者がいる場合は、重畳画像としては、車内撮像装置１６によって撮影された画像を用いることが好ましい。そうすることによって、運転者は表示器１４に表示される合成画像を通じて、後部座席の同乗者（例えば子供、高齢者、ペット）の様子を知ることができる。

ただし、車内撮像装置１６によって撮影された画像を重畳画像として使用する場合、当該画像をひずませる画像処理が必要となる。その分、表示制御装置２０の負荷が高くなる。

一方、後部座席に同乗者がいない場合は、重畳画像としては、車両１０の内装デザインに対応し、記憶装置２３に記憶されている線図又は写真を使用することが好ましい。そうすることによって、合成画像を生成する都度、車内画像をひずませる画像処理が不要となり、表示制御装置２０の負荷を低減させることができる。

続いて、他の実施形態について、先に説明した実施形態とは異なる点を中心に説明する。なお、以下、図４Ａに示される第１の原合成画像４１と同じタイプのひずみが生じた原合成画像を用いる場合のみを説明する。図４Ｂに示される第２の原合成画像４２と同じタイプのひずみが生じた原合成画像を用いる場合の説明は、同様の説明の繰り返しとなるので省略する。

本実施形態に係る表示制御装置２０は、図９Ａに示される第３の原合成画像４３を生成する。第３の原合成画像４３は、第１撮像装置１１、第２撮像装置１２、及び第３撮像装置１３によって撮像された画像を合成して得られる。

本実施形態に係る表示制御装置２０は、図９Ｂに示される第３の重畳画像５３を生成する。第３の重畳画像５３は、表示器１４の設置位置に鏡があると仮定した場合に当該鏡に映る車内風景を基礎とした画像であって、前述したひずみを有する画像である。このような画像は、例えば、表示器１４の設置位置近傍に配置された車内撮像装置１６によって撮影された画像をひずませることで得られる。

また、第３の重畳画像５３は、上記鏡と窓Ｗとの間にある物体（シート７１やヘッドレスト７２等）の、窓Ｗと重なる部分が表示されない（くり抜かれた）ように加工された画像である。更に、第３の重畳画像５３においては、窓Ｗ（つまり窓枠の内側）に相当する部分の透過率は１００％とされているとともに、それ以外の部分の透過率は０％とされている。

本実施形態に係る表示制御装置２０は、第３の原合成画像４３と、第３の重畳画像５３とを合成し、図９Ｃに示される第３の合成画像６３を生成し、表示器１４に表示させる。

本実施形態に係る表示制御装置２０によれば、先の実施形態に係る表示制御装置２０によって得られる利点に加え、次のような利点が得られる。すなわち、図９Ｃに示されるように、表示器１４が設置されている位置にあたかもルームミラーがあるかのような感覚で、運転者は車両１０の内外の様子を違和感なく直感的に把握することができる。しかも、ヘッドレスト７２等に遮られることなく、窓枠の内部に相当する部分の全体を介して車両１０の外部が表示されるので、車両１０の外部の、より広い範囲を視認することができる。

なお、重畳画像を生成する際、表示器１４設置位置にあると仮定された鏡と窓Ｗとの間にある物体（シート７１やヘッドレスト７２等）の、窓Ｗと重なる部分は残しても良い。そのようにすることによって、車内撮像装置１６によって撮影された画像を加工して重畳画像を生成する際の、画像合成部３１にかかる画像処理の負荷を低減させることができる。なお、必要に応じて、窓Ｗに相当する部分以外の透過率を０％より大きく１００％より小さい値にしても良い。

続いて、更に他の実施形態について、先に説明した実施形態とは異なる点を中心に説明する。

本実施形態における画像合成部３１は、車内撮像装置１６によって撮影された車内風景画像をひずませた画像を生成し、又は、室内画像生成部で生成された当該画像を取得し、重畳画像として使用する。

また、本実施形態における画像合成部３１は、車両情報検出装置１５（睡眠検出センサ）から、後部座席の同乗者が眠っているか否かに関する情報を取得する。

画像合成部３１は、後部座席の同乗者が眠っているという情報を取得すると、重畳画像の透過率を０％よりも大きく、１００％よりも小さい値にした上で、重畳画像と原合成画像とを合成した合成画像のデータを生成する。すなわち、後部座席の同乗者が眠っているときには、重畳画像の透過率を上げることによって、車両１０の外部のより広い範囲を視認することが可能となる。なお、重畳画像の透過率が高くなるほど、同乗者の様子を視認することが難しくなるが、同乗者が眠っているときは、運転者は同乗者に注意をそれほど払わなくてもよいので、同乗者周辺領域を含む重畳画像の透過率が高くなっても支障はない。

また、重畳画像のうち透過率を変化させる領域を同乗者周辺領域のみに設定しても良い。例えば、窓枠の内側の領域の透過率は常に１００％としてもよいし、窓枠及びその外側の領域であって、同乗者周辺以外の領域の透過率は０％より大きく１００％より小さい一定値としても良い。そのようにすれば、同乗者周辺領域以外の領域を通じて、車両１０の外部の広い範囲を常に視認することができる。しかも、同乗者が眠って同乗者に注意を払う必要がなくなったときには、同乗者の周辺領域の透過率を上げることで、車両１０の外部の更に広い範囲を目視することが可能となる。

次に、他の実施形態について、先に説明した実施形態とは異なる点を中心に説明する。

本実施形態において、画像合成部３１は、車両情報検出装置１５（車速センサ）から車速情報を取得する。

画像合成部３１は、車速が大きい場合には、図１０Ａに示されるような、重畳画像の透過率を小さくした状態で合成された第４の合成画像６４を生成する。このような構成により、情報過多が解消されるとともに必要な情報を制限でき、運転者が思考及び判断を行いやすくなる。また、画像合成部３１は、車速が小さい場合には、図１０Ｂに示されるような、重畳画像の透過率を大きくした状態で合成された第５の合成画像６５を生成する。低速時は運転者の情報処理に対する時間余裕も生まれることから、なるべく多くの情報を表示する。すなわち、画像合成部３１は、車両１０の走行速度に応じて、重畳画像の透過率を設定し、合成画像を生成する。透過率は、車速が閾値を上回ったり下回ったりした際に切り替わるようにしても良いし、車速の変化に追従して無段階に変化しても良い。なお、いずれの場合も、窓枠の内側の領域は透過率が１００％とされる。

本実施形態に係る表示制御装置２０によれば、車両１０が高速走行している際は、後続車両等、周囲の車両の位置を、窓枠の内側の領域に表示される画像を介して、明確に把握することができる。しかも、窓枠の内側以外の領域における重畳画像の透過率は低いので、相対的に車両１０の後方に高速で移動していく物体の映像が表示されることによる煩わしさを軽減することができる。一方、車両１０が低速走行している際は、車両１０の周辺のより広い範囲を視認することが可能となる。

以上、本発明に係る表示制御装置の実施形態について詳細に説明したが、本発明に係る表示制御装置が上に説明したものに限られないことは勿論である。例えば、各実施形態で説明した車両１０の外部の撮像装置の数は２つ以上あれば良く、３つに限られないし、当該撮像装置の配置位置は図１に示されるものに限られない。また、複数の撮像装置によって撮像された画像の合成手法は、撮像装置の数や位置に応じて公知の合成手法の中から好適なものを適宜選択することができ、本明細書で説明したものには限られない。

本発明によれば、異なる撮像装置で撮影された車両の周辺画像が合成された画像と車両の車内を示す画像とを合成して表示装置に表示する際、合成画像を違和感なく生成することを可能とする表示制御装置、表示制御方法、及び、表示制御プログラムを提供することができる。よって、その産業上の利用可能性は多大である。

１０ 車両
１１ 第１撮像装置
１２ 第２撮像装置
１３ 第３撮像装置
１４ 表示器
１５ 車両情報検出装置
１６ 車内撮像装置
２０ 表示制御装置
２１ ＣＰＵ
２２ ＧＰＵ
２３ 記憶装置
２４ インターフェース
２５ バス
３１ 画像合成部
３２ 制御部
４１ 第１の原合成画像
４２ 第２の原合成画像
４３ 第３の原合成画像
５０ 車内風景画像
５１ 第１の重畳画像
５２ 第２の重畳画像
５３ 第３の重畳画像
６１ 第１の合成画像
６２ 第２の合成画像
６３ 第３の合成画像
６４ 第４の合成画像
６５ 第５の合成画像
７１ シート
７２ ヘッドレスト
Ｘ１ 車道と歩道の境界
Ｘ２ 歩道と緑地帯の境界
Ｘ３ ガードレールの支柱
Ｌ１ 第１の仮想線
Ｌ２ 第２の仮想線
Ｗ１ 窓枠の下辺
Ｗ２ 窓枠の縦辺

Claims (14)

1. 異なる撮像装置で撮影された車両の周辺画像が合成された第１の画像と前記車両の車内を示す第２の画像とを合成する画像合成部と、
   前記画像合成部が合成した画像の表示を制御する制御部と、
   を備え、
   前記第２の画像は、前記周辺画像の合成により前記第１の画像に生じるゆがみに対応したゆがみを有する画像である
   表示制御装置。
2. 前記第２の画像は、前記車両における路面と平行な直線部分に相当する部分が、前記第１の画像において直線道路を示す曲線と平行となるゆがみを有する画像である
   請求項１に記載の表示制御装置。
3. 前記路面と平行な直線部分は、前記車両の窓枠の上辺、前記窓枠の下辺、前記車両の床と前記車両のドアとの境界線、前記ドアにデザインされた水平な直線、又は、前記車両の前後に並ぶ複数の座席の上部を連結した連結線である
   請求項２に記載の表示制御装置。
4. 前記第２の画像は、前記車両における路面と垂直な直線部分に相当する部分が、前記第１の画像において前記路面と垂直に設けられた物体を示す曲線と平行となるゆがみを有する画像である
   請求項１に記載の表示制御装置。
5. 前記路面と垂直な直線部分は、前記車両のピラーの垂直部分、前記車両の窓枠の縦辺、前記車両の座席の垂直部分、又は、前記ピラーと前記車両のドアの境界線である
   請求項４に記載の表示制御装置。
6. 前記画像合成部は、前記車内を撮影する撮像装置により撮影された画像を前記第２の画像として用いる
   請求項１乃至５の何れかに記載の表示制御装置。
7. 前記画像合成部は、前記車両に運転者以外の人が乗車している場合に前記車内を撮影する撮像装置により撮影された画像を前記第２の画像として用い、前記車両に運転者以外の人が乗車していない場合に予め用意された前記車内を示す画像を前記第２の画像として用いる
   請求項６に記載の表示制御装置。
8. 前記画像合成部は、前記第２の画像に含まれる前記車両の窓枠の内側に前記第１の画像が表示されるように前記第１の画像と前記第２の画像とを合成する
   請求項１乃至７の何れかに記載の表示制御装置。
9. 前記画像合成部は、前記第２の画像に含まれる前記車両の座席の前記窓枠の内側に重なる領域を前記車両の窓の一部とし、前記窓枠の内側に前記第１の画像が表示されるように前記第１の画像と前記第２の画像とを合成する
   請求項８に記載の表示制御装置。
10. 前記画像合成部は、前記車両に乗車している運転者以外の人が眠っている場合に、前記第２の画像の透過率を０％より大きく１００％より小さい値にして前記第１の画像と前記第２の画像とを合成する
    請求項１乃至９の何れかに記載の表示制御装置。
11. 前記画像合成部は、前記第２の画像に含まれる前記車両に乗車している運転者以外の人の周辺領域の透過率を０％より大きく１００％より小さい値にして前記第１の画像と前記第２の画像とを合成する
    請求項１乃至１０の何れかに記載の表示制御装置。
12. 前記画像合成部は、前記車両の走行速度に応じて前記第２の画像の透過率を設定し、前記第１の画像と前記第２の画像とを合成する
    請求項１乃至１１の何れかに記載の表示制御装置。
13. 異なる撮像装置で撮影された車両の周辺画像が合成された第１の画像と前記車両の車内を示す第２の画像とを合成する画像合成ステップと、
    前記画像合成ステップにおいて合成された画像の表示を制御するステップと、
    を含み、
    前記第２の画像は、前記周辺画像の合成により前記第１の画像に生じるゆがみに対応したゆがみを有する画像である
    表示制御方法。
14. 異なる撮像装置で撮影された車両の周辺画像が合成された第１の画像と前記車両の車内を示す第２の画像とを合成する画像合成手順と、
    前記画像合成手順において合成された画像の表示を制御する制御手順と、
    をコンピュータに実行させ、
    前記第２の画像は、前記周辺画像の合成により前記第１の画像に生じるゆがみに対応したゆがみを有する画像である
    表示制御プログラム。

Images