JP2016208368A - 画像処理装置、画像処理方法および車載装置 - Google Patents

画像処理装置、画像処理方法および車載装置 Download PDF

Info

Publication number
JP2016208368A
JP2016208368A JP2015089738A JP2015089738A JP2016208368A JP 2016208368 A JP2016208368 A JP 2016208368A JP 2015089738 A JP2015089738 A JP 2015089738A JP 2015089738 A JP2015089738 A JP 2015089738A JP 2016208368 A JP2016208368 A JP 2016208368A
Authority
JP
Japan
Prior art keywords
image
virtual viewpoint
unit
synthesis
viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015089738A
Other languages
English (en)
Other versions
JP6585371B2 (ja
Inventor
隆幸 小笹
Takayuki Ozasa
隆幸 小笹
輝彦 上林
Teruhiko Kamibayashi
輝彦 上林
康司 大西
Yasushi Onishi
康司 大西
武生 松本
Takeo Matsumoto
武生 松本
知之 藤本
Tomoyuki Fujimoto
知之 藤本
山本　大輔
Daisuke Yamamoto
大輔 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2015089738A priority Critical patent/JP6585371B2/ja
Priority to DE102016105298.1A priority patent/DE102016105298A1/de
Priority to US15/091,380 priority patent/US10328856B2/en
Priority to CN201610245212.5A priority patent/CN106067942B/zh
Publication of JP2016208368A publication Critical patent/JP2016208368A/ja
Priority to US16/112,189 priority patent/US10647255B2/en
Priority to JP2019160583A priority patent/JP6906576B2/ja
Application granted granted Critical
Publication of JP6585371B2 publication Critical patent/JP6585371B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】仮想視点画像を用いた表示をより適切に行うことができる画像処理装置、画像処理方法および車載装置を提供すること。
【解決手段】本発明に係る画像処理装置は、撮像部の撮像画像に基づき、仮想視点の画像を生成する画像生成部と、仮想視点の画像上に合成用画像が表示された画像を生成する画像処理部とを備える。画像処理部は、仮想視点の画像が仮想視点の移動中の視点位置の画像である場合、合成用画像の視認性を低下させる処理を行う。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法および車載装置に関する。
従来、車両の所定位置に設置された撮像手段によって撮像した車両の周辺画像に基づいて仮想視点から見た画像である仮想視点画像を生成し、かかる仮想視点画像を表示手段に表示する技術が知られている（例えば、特許文献１参照）。
特開２０１１−２４４２３９号公報
しかしながら、従来技術においては仮想視点画像のみを表示するものであり、仮想視点画像を用いた表示をより適切に行うことができれば、より利便性が増し望ましいと考えられる。
本発明は、上記に鑑みてなされたものであって、仮想視点画像を用いた表示をより適切に行うことができる画像処理装置、画像処理方法および車載装置を提供することを目的とする。
上記課題を解決し、目的を達成するために、本発明は、画像処理装置において、撮像部の撮像画像に基づき、仮想視点の画像を生成する画像生成部と、前記仮想視点の画像上に合成用画像が表示された画像を生成する画像処理部とを備え、前記画像処理部は、前記仮想視点の画像が前記仮想視点の移動中の視点位置の画像である場合、前記合成用画像の視認性を低下させる処理を行うことを特徴とする。
本発明によれば、仮想視点画像を用いた表示をより適切に行うことができる画像処理装置、画像処理方法および車載装置を提供することができる。
図１は、本発明の実施形態に係る画像処理方法を示す説明図である。 図２は、本発明の実施形態に係る車載装置の構成例を示す図である。 図３は、撮像装置の配置例を示す図である。 図４は、合成用画像をガイド線の画像とした場合の合成部によって行われる合成処理の説明図である。 図５は、始点となる視点位置から終点となる視点位置にかけて視点位置が連続的に移動する場合の各視点位置の一例を示す図である。 図６は、仮想視点が移動する場合における画像処理部による処理内容を示す説明図である。 図７は、画像処理装置が実行する画像処理手順を示すフローチャートである。
以下に、本発明に係る画像処理装置、画像処理方法および車載装置の実施形態を図面に基づいて詳細に説明する。
［１．画像処理方法］
図１は、本発明の実施形態に係る画像処理方法を示す説明図であり、かかる画像処理方法は、例えば、車両に搭載される車両用画像処理装置（以下、画像処理装置と記載する）によって実行される。
本実施形態に係る画像処理装置は、車両の所定位置に設置され車両の周辺を撮像する不図示の撮像装置（撮像部の一例）によって撮像された画像（以下、撮像画像と記載する）に基づき、図１（ａ）に示すように、仮想視点から見た画像（以下、仮想視点画像と記載する）を生成する。
さらに、画像処理装置は、仮想視点画像に合成用画像を合成した合成画像を生成し、かかる合成画像を表示装置（表示部の一例）へ出力することによって、仮想視点画像上に合成用画像を表示した画像を表示装置へ表示する。
合成用画像は、運転を支援するための指標となる画像であり、例えば、ガイド線の画像、警告画像および駐車スペースを示す画像などである。かかる合成用画像は、例えば、画像生成装置（図示せず）によって生成され、画像処理装置へ出力される。
ガイド線は、例えば、車両に設けられた舵角センサ（図示せず）によって検出された舵角などに基づいて予測された車両の走行軌跡を示すガイド線の画像である。警告画像は、例えば、車両の後方に障害物が存在する場合にかかる障害物の位置を報知するための画像であり、例えば、障害物を囲む囲い線の画像である。なお、仮想視点に応じてガイド線、障害物および駐車スペースの位置が変わることから、画像生成装置は、仮想視点に応じた合成用画像を生成する。
画像処理装置は、仮想視点の視点位置が移動中の仮想視点画像に合成用画像を合成する場合、仮想視点画像と合成用画像とが共に視点位置が連続して変化しながら表示されることになる。そのため、車両の乗員は、仮想視点画像および合成用画像の変化をそれぞれ視認しなければならず、画像の把握が難しくなるおそれがあり、また、距離感などの把握も難しくなるおそれがある。
そこで、画像処理装置は、仮想視点画像が仮想視点の移動中の視点位置の画像である場合、合成用画像の視認性を低下させる処理を行うようにしている。これにより、車両の乗員は、画像や距離感などの把握を容易に行うことができる。
例えば、画像処理装置は、図１（ｂ）に示すように、仮想視点画像が仮想視点の移動前後の視点位置Ａ、Ｂの画像である場合、仮想視点画像上に合成用画像が表示された画像を表示装置に出力する一方で、仮想視点画像が仮想視点の移動中の視点位置の画像である場合、仮想視点画像上に合成用画像が表示されていない画像を表示装置に出力する。
なお、合成用画像の視認性を低下させる処理は、合成用画像を合成せずに仮想視点画像を表示装置へ出力して合成用画像の視認性をゼロにする処理に限定されない。例えば、合成用画像の視認性を低下させる処理には、合成用画像の透過度を高めて仮想視点画像に合成した画像を表示装置へ出力する処理などがある。なお、以下においては、合成用画像を合成せずに仮想視点画像を表示装置へ出力する処理の例について詳細に説明する。
［２．車載装置の構成］
図２は、本発明の実施形態に係る車載装置の構成例を示す図である。図２に示すように、車載装置１００は、撮像装置１（撮像部の一例）と、画像制御装置２と、画像処理装置３と、表示装置４（表示部の一例）とを備える。なお、画像処理装置３は、例えば、画像制御装置２および表示装置４の少なくとも一つを含む構成であってもよい。
撮像装置１は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を備え、かかる撮像素子によって撮像した動画像である撮像画像を画像処理装置３へ出力する。かかる撮像装置１は、例えば、図３に示すように、車両５の後方部に配置され、車両５の後方を撮像する。図３は、撮像装置１の配置例を示す図である。なお、撮像装置１の配置および撮像装置１の数は、図３に示す例に限定されない。
画像制御装置２は、合成用画像生成部６と、画像制御部７と、操作部８とを備える。合成用画像生成部６は、仮想視点画像にクロマキー合成を行うための合成用画像を生成して出力する。かかる合成用画像は、運転を支援するための指標となる画像であり、例えば、ガイド線の画像や警告画像である。
合成用画像生成部６は、例えば、ガイド線の画像を生成する場合、車両に設けられた舵角センサ（図示せず）によって検出された舵角の情報などを取得し、かかる舵角などに基づいて車両の走行軌跡を予測する。合成用画像生成部６は、予測した走行軌跡を示すガイド線の画像を生成する。
また、合成用画像生成部６は、例えば、警告画像を生成する場合、撮像装置１の撮像画像を解析し、車両の後方に存在する障害物を検出する。合成用画像生成部６は、車両の乗員に対し障害物の存在を報知するための警告画像を生成する。かかる警告画像は、例えば、障害物の位置を報知する画像であり、障害物を囲む囲い線の画像である。
画像制御部７は、例えば、操作部８への入力操作などに基づき、画像処理装置３や合成用画像生成部６を制御する。画像制御部７は、操作部８への入力操作などにより仮想視点の変更要求がある場合、仮想視点の変更処理を行う。
例えば、画像制御部７は、現在の仮想視点の視点位置（以下、視点位置Ａと記載する）から変更先の視点位置（以下、視点位置Ｂと記載する）への変更要求がある場合、視点位置Ｂの情報を合成用画像生成部６や画像処理装置３へ出力する。
合成用画像生成部６は、画像制御部７から出力される視点位置Ｂの情報に基づき、視点位置Ｂに応じた合成用画像を生成し、画像処理装置３へ出力する。また、画像処理装置３は、画像制御装置２から出力される視点位置Ｂの情報に基づき、かかる視点位置Ｂまでの連続する視点位置から見た画像である仮想視点画像を生成する。
画像処理装置３は、撮像装置１から撮像画像を取得すると共に、画像制御装置２から合成用画像を取得する。画像処理装置３は、取得した撮像画像に基づき、仮想視点の画像（以下、仮想視点画像と記載する）を生成し、かかる仮想視点画像と合成用画像とをクロマキー合成し、生成した合成画像を表示装置４へ出力する。
表示装置４は、ＬＣＤ（Liquid Crystal Display）を備え、画像処理装置３から取得した合成画像や仮想視点画像のデータに基づき、合成画像や仮想視点画像を表示する。
［３．画像処理装置３の構成］
画像処理装置３は、図２に示すように、画像生成部１１と、画像処理部１２と、動作管理部１３とを備える。なお、動作管理部１３は、画像生成部１１や画像処理部１２にそれぞれ設けられてもよい。
画像生成部１１は、撮像装置１から出力される撮像画像に対して座標変換処理を行って仮想視点から見た画像である仮想視点画像を生成し、画像処理部１２へ出力する。画像処理部１２は、画像制御装置２から出力される合成用画像を取得し、かかる合成用画像を仮想視点画像に合成して表示装置４へ出力する。動作管理部１３は、画像生成部１１および画像処理部１２の動作を管理する。
かかる画像処理装置３は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されるデバイスである。また、画像処理装置３は、ＣＰＵやＭＰＵ等のプロセッサと、ＲＡＭ（Random Access Memory)、フラッシュメモリ等の半導体メモリ素子などの記憶部を備え、プロセッサが記憶部に記憶されたプログラムを実行することにより上述した各部位の機能を実現する構成であってもよい。
画像生成部１１は、撮像画像取得部２１と、仮想視点画像生成部２２とを備える。撮像画像取得部２１は、撮像装置１から出力される撮像画像を取得する。撮像装置１は、例えば、ＲＧＢ信号やコンポーネント信号などの映像信号により撮像画像のデータ（以下、撮像画像データと記載する）を画像処理装置３へ出力する。
撮像画像取得部２１は、撮像装置１から撮像画像データを取得すると、取得した撮像画像データを仮想視点画像生成部２２へ出力する。撮像画像データは、撮像装置１によって撮像される動画像の各フレームの画像に対応するデータであり、撮像画像取得部２１から撮像動画像のフレーム単位で順次仮想視点画像生成部２２へ出力される。
仮想視点画像生成部２２は、撮像画像に対して座標変換処理を行って仮想視点から見た画像である仮想視点画像を生成し、かかる仮想視点画像のデータ（以下、仮想視点画像データと記載する）を合成部３５へ出力する。
かかる座標変換処理において、仮想視点画像生成部２２は、例えば、撮像画像を所定の投影面に投影（マッピング）し、所定の投影面に投影された撮像画像のうち仮想視点から見て所定の視野角に含まれる領域の画像を仮想視点画像とする。
なお、所定の投影面は、例えば、仮想的な３次元空間における立体的な曲面であってもよく、図１（ａ）に示す路面であってもよい。また、所定の投影面への撮像画像の投影は、例えば、撮像装置１を原点座標とする撮像画像の座標を、投影面を基準とする座標系へ変換することによって行うことができる。
画像処理部１２は、合成用画像取得部３１と、圧縮部３２と、記憶部３３と、伸張部３４と、合成部３５と、画質調整処理部３６と、画像出力部３７とを備える。
合成用画像取得部３１は、画像制御装置２から出力される合成用画像を取得する。画像制御装置２は、例えば、ＲＧＢ信号やコンポーネント信号などの映像信号により合成用画像のデータ（以下、合成用画像データと記載する）を画像処理装置３へ出力する。合成用画像取得部３１は、画像制御装置２から合成用画像データを取得すると、取得した合成用画像データを圧縮部３２へ出力する。
圧縮部３２は、所定の圧縮処理によって合成用画像データを圧縮し、圧縮した合成用画像データ（以下、圧縮画像データと記載する）を記憶部３３に記憶する。例えば、圧縮部３２は、合成用画像データが予め指定された色が使用されている場合、ＣＬＵＴ（Color Look-Up Table）を用いることでデータ圧縮を行うことができ、また、このように圧縮したデータをランレングス法によってさらに圧縮することができる。なお、ＣＬＵＴおよびランレングス法は一例であり、その他の圧縮処理を行ってもよい。
伸張部３４は、記憶部３３に記憶された圧縮画像データを合成用画像データへ伸張する処理を行う。例えば、伸張部３４は、記憶部３３に記憶された圧縮画像データをランレングス法によって逆変換を行い、さらに、ＣＬＵＴによって逆変換を行うことによって圧縮画像データを合成用画像データへ伸張する処理を行う。
合成部３５は、画像生成部１１から取得した仮想視点画像データと伸張部３４から取得した合成用画像データとに基づき、仮想視点画像上に合成用画像をクロマキー合成した合成画像のデータ（以下、合成画像データと記載する）を生成する。合成部３５は、例えば、合成用画像を構成する複数の画素のうち予め指定された色（例えば、青色）の画素の色を透過色にした後、かかる合成用画像を仮想視点画像上に合成する。
かかる合成部３５は、例えば、動作管理部１３からの要求に応じて、仮想視点画像と合成用画像とを合成する合成機能をＯＮにしたり、合成機能をＯＦＦしたりする。合成部３５は、合成機能がＯＮである場合、仮想視点画像に合成用画像を合成し、合成機能がＯＦＦである場合、仮想視点画像と合成用画像との合成を行わずに、画像生成部１１から取得した仮想視点画像データを画質調整処理部３６へ出力する。
図４は、合成用画像をガイド線の画像とした場合の合成部３５によって行われる合成処理の説明図である。図４に示す例では、合成部３５は、仮想視点画像にガイド線の画像を合成した合成画像を生成する。かかる合成画像によって、車両の乗員は、ガイド線が重畳された仮想視点画像を見ることができ、運転をより適切に行うことが可能となる。
画質調整処理部３６は、合成部３５から出力される画像の画質を調整する処理を行い、かかる画質調整処理後の画像のデータを画像出力部３７へ出力する。画像出力部３７は、画質調整処理部３６からの画像のデータを表示装置４によって受信可能な映像信号のフォーマットへ変換して表示装置４へ出力する。
動作管理部１３は、画像制御装置２から出力される移動先の視点位置Ｂの情報に基づいて、移動後の視点位置Ｂまでの連続する視点位置（以下、Ｃ１〜Ｃｎと記載する。ｎは自然数）を画像生成部１１へ出力する。これにより、画像生成部１１は、移動前の視点位置Ａから移動後の視点位置Ｂまでの間で連続する視点位置Ｃ１〜Ｃｎ（以下、視点位置Ｃと総称する場合がある）の仮想視点画像を順次生成して出力する。
図５は、視点位置Ａから視点位置Ｂにかけて視点位置が連続的に移動する場合の各視点位置Ａ、Ｃ１〜Ｃｎ、Ｂの説明図であり、視点位置Ｃ１〜ＣｎのうちＣｎ／３、Ｃ２ｎ／３のみを便宜的に示している。また、図５に示す例では、視点位置Ａから視点位置Ｂへ向かうほど視点位置の高さが高くなる。
なお、視点位置Ａ、Ｂ間の視点位置Ｃの数は、視点位置Ａ、Ｂ間で連続して移動する視点位置の仮想視点画像を車両の乗員が例えばシームレスに視認できるような数であるが、コマ送り的に視認されるような数であってもよい。
図２に戻って、動作管理部１３の説明を続ける。動作管理部１３は、画像処理部１２から仮想視点画像上に合成用画像が表示された画像を表示装置４へ出力させるか画像処理部１２から合成用画像が非表示の仮想視点画像を表示装置４へ出力させるかを制御することができる。
動作管理部１３は、画像生成部１１から視点位置Ａ、Ｂの仮想視点画像が出力される場合、かかる仮想視点画像に合成用画像を合成した画像を画像処理部１２に生成させて出力させる。一方、動作管理部１３は、画像生成部１１から視点位置Ｃの仮想視点画像が出力される場合には、合成用画像を合成していない仮想視点画像を画像処理部１２から表示装置４へ出力させる。
図６は、仮想視点が視点位置Ａから視点位置Ｂまで移動する場合における画像処理部１２による処理内容を示す説明図であり、垂直同期信号、仮想視点画像の視点位置、および、合成部３５による合成機能のＯＮ／ＯＦＦの対応が示されている。
なお、図６においては、時刻ｔ２よりも前に、画像制御装置２から移動先の視点位置Ｂの情報を取得し、かかる情報に基づき、動作管理部１３が時刻ｔ２から視点位置を変更する例を示している。また、図６に示す垂直同期信号は、画像のフレーム単位の区切りを示すために便宜的に示されるものである。
図６に示すように、動作管理部１３は、時刻ｔ２までは、移動前の視点位置Ａの仮想視点画像を画像生成部１１に生成させ、視点位置Ａの仮想視点画像に視点位置Ａに対応する合成用画像を合成した合成画像を画像処理部１２に生成させ出力させる。
その後、動作管理部１３は、時刻ｔ２からｔ８まで、移動中の視点位置Ｃ１〜Ｃ６の仮想視点画像を画像生成部１１に生成させ、合成用画像と合成しない視点位置Ｃ１〜Ｃ６の仮想視点画像を画像処理部１２から出力させる。なお、図６に示す例では、１フレーム毎に視点が変わる例を示しているが、複数フレーム単位で視点が変わるようにしてもよい。
画像処理部１２は、動作管理部１３からの制御に基づき、時刻ｔ２からｔ８までの間、伸張部３４による伸張処理および合成部３５による合成処理を停止させ、視点位置Ｃ１〜Ｃ６の仮想視点画像を合成部３５からそのまま画質調整処理部３６へ出力させる。これにより、合成用画像と非合成の視点位置Ｃ１〜Ｃ６の仮想視点画像が画像処理部１２から出力される。
その後、動作管理部１３は、時刻ｔ８になると、移動停止後の視点位置Ｂの仮想視点画像を画像生成部１１に生成させて画像処理部１２へ出力させ、視点位置Ｂの仮想視点画像に視点位置Ｂに応じた合成用画像を合成した合成画像を画像処理部１２に生成させて表示装置４へ出力させる。
視点位置Ｂに応じた合成用画像は、時刻ｔ８よりも前（例えば、時刻ｔ２の前または時刻ｔ３の前）に、画像制御装置２によって生成され画像処理装置３へ出力される。動作管理部１３は、画像処理部１２を制御し、画像制御装置２から出力される視点位置Ｂに応じた合成用画像のデータ圧縮後に記憶部３３に記憶させておく。
そして、動作管理部１３は、伸張部３４によって記憶部３３に記憶された圧縮画像データを伸張させ伸張部３４から合成部３５へ出力させ、時刻ｔ８において、視点位置Ｂの仮想視点画像に視点位置Ｂに応じた合成用画像を合成部３５に合成させる。これにより、視点位置Ｂの仮想視点画像に視点位置Ｂに応じた合成用画像を合成した合成画像を画像処理部１２から出力させることができる。
なお、画像処理部１２は、各視点位置に応じた合成用画像を予め画像制御装置２から取得し記憶部３３に記憶することもできる。この場合、動作管理部１３は、仮想視点画像の視点位置に応じた合成用画像を記憶部３３から取得し伸張部３４に伸張させて合成部３５へ出力させることができる。
このように、画像処理部１２は、仮想視点画像が仮想視点の移動前後の視点位置の画像である場合、合成画像を表示装置４に表示し、仮想視点画像が仮想視点の移動中の視点位置の画像である場合、合成画像に代えて仮想視点画像を表示装置４に表示する。これにより、車両の乗員は、仮想視点が移動中である場合の仮想視点画像および合成用画像をそれぞれ視認しなくてよいため、表示装置４に表示される仮想視点画像に基づいて距離感などの把握を容易に行うことができる。
また、画像処理部１２は、仮想視点画像が仮想視点の移動中の視点位置の画像である場合、仮想視点画像と合成用画像との合成を停止することから、処理負荷を軽減することができる。
また、画像処理部１２は、合成用画像として仮想視点に応じた画像を仮想視点の画像に合成する。そのため、共に視点位置が連続して変化する仮想視点画像と合成用画像とを同時に視認しなくてよいため、例えば、仮想視点画像から距離感などの把握しやすくなる。
なお、上述した例では、合成用画像は、仮想視点の視点位置に応じた画像であるものとして説明したが、仮想視点の視点位置に応じて合成用画像が連続して変化しなくてもよい。このような場合であっても、視点位置が連続して変化する仮想視点画像に合成用画像を合成しないことによって、視認性が向上することから、仮想視点画像を用いた表示をより適切に行うことができる。
［４．画像処理装置３の画像処理］
次に、図７を参照して画像処理装置３によって実行される画像処理について説明する。図７は、画像処理装置３が実行する画像処理手順を示すフローチャートである。
図７に示すように、画像処理装置３の画像生成部１１および画像処理部１２は、画像取得処理を行う（ステップＳ１）。かかる処理において、画像生成部１１は、撮像装置１から撮像画像を取得し、画像処理部１２は、画像制御装置２から合成用画像を取得して記憶する。
次に、画像生成部１１は、ステップＳ１において取得した撮像画像を座標変換処理によって仮想視点画像へ変換する（ステップＳ２）。また、動作管理部１３は、仮想視点の視点位置が移動中であるか否かを判定する（ステップＳ３）。
ステップＳ３において、仮想視点の視点位置が移動中でないと判定された場合（ステップＳ３；Ｎｏ）、画像処理部１２は、ステップＳ１において記憶した合成用画像を取得し（ステップＳ４）、合成処理を行う（ステップＳ５）。かかる合成処理は、ステップＳ２において生成した仮想視点画像にステップＳ４で取得した合成用画像を合成することによって行う。
ステップＳ３において、仮想視点の視点位置が移動中であると判定した場合（ステップＳ３；Ｙｅｓ）、または、ステップＳ５の処理が終了した場合、画像処理部１２は、表示装置４に出力する画像の画質調整を行い（ステップＳ６）、画質調整後の画像を出力し（ステップＳ７）、処理を終了する。
以上のように、実施形態に係る画像処理装置３は、仮想視点画像が仮想視点の移動中の視点位置の画像である場合、合成画像に代えて仮想視点画像を表示装置４に出力するため、合成用画像の視認性を低下させることができ、仮想視点画像を用いた表示をより適切に行うことができる。
なお、上述した実施形態では、画像処理装置３は、合成用画像を非表示にすることで、合成用画像の視認性をゼロにするが、合成用画像の透過度を高めたり色を薄くしたりすることによって、合成用画像の視認性を低下させることもできる。
例えば、仮想視点画像が仮想視点の移動中の視点位置の画像である場合、合成部３５は、移動中の視点位置に応じた合成用画像の透過度を高めたり色を薄くしたりする処理を行った後、仮想視点画像に合成用画像を合成することができる。また、画像処理装置３は、合成用画像上に仮想視点画像を合成することによって、合成用画像の視認性をゼロにすることもできる。
また、上述した実施形態では、撮像装置１を車両後方に配置し、撮像装置１によって車両後方を撮像するものとして説明したが、例えば、運転を支援するために車両周辺を撮像するものであれば撮像装置１はどのような配置および撮像方向であってもよい。また、撮像装置１を複数の箇所に配置し、画像処理装置３は、複数の撮像装置１から出力される撮像画像に基づいて仮想視点画像を生成することもできる。
また、上述した実施形態では、車両に搭載される車載装置１００を構成する画像処理装置３を一例として説明したが、画像処理装置３は、例えば、スマートフォンなどに内蔵される画像処理装置であってもよい。
また、上述した実施形態では、合成用画像は、運転を支援するための指標となる画像を例に挙げて説明したが、例えば、利用者の利便性を高めるための合成用画像などであればよい。
また、上述した実施形態では、仮想視点を移動する際に仮想視点の始点と終点の視点位置で合成画像を出力し、始点と終点との間の視点位置では合成画像を出力しない例を説明したが、かかる例に限定されない。
例えば、画像処理部１２は、仮想視点の始点と終点との間にある１以上の視点位置で合成画像を出力することもできる。この場合、合成用画像の変化が断片的に把握できるため、仮想視点画像に基づいて距離感などの把握を容易に行いつつも、合成用画像の位置変化を容易に把握することができる。
また、上述した実施形態では、一つの合成用画像を仮想視点画像に合成する例を説明したが、種類が異なる複数の合成用画像を仮想視点画像に合成することもできる。この場合、画像処理部１２は、仮想視点画像が仮想視点の移動中の視点位置の画像である場合、種類が異なる複数の合成用画像のうち少なくとも一つの合成用画像を仮想視点画像に合成しない等によって視認性を低下させる。このような場合であっても、仮想視点画像を用いた表示をより適切に行うことができる。
この場合、画像処理部１２は、例えば、仮想視点画像に合成する合成用画像の色などを薄くする等、合成用画像を目立たないようにして仮想視点画像との合成処理を行うことができる。
また、上述した実施形態では、画像処理装置３は、移動先の視点位置Ｂの情報を取得した場合に視点位置Ｃ１〜Ｃｎの情報を生成するものとして説明したが、視点位置Ｃ１〜Ｃｎは、画像制御装置２によって生成されて画像処理装置３へ出力することもできる。
また、上述した実施形態では、画像処理装置３は、データ圧縮を行った合成用画像を記憶するものとして説明したが、画像処理装置３は、データ圧縮を行わずに合成用画像を記憶することもできる。
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
１ 撮像装置（撮像部の一例）
２ 画像制御装置
３ 画像処理装置
４ 表示装置（表示部の一例）
５ 車両
６ 合成用画像生成部
７ 画像制御部
８ 操作部
１０ 撮像画像取得部
１１ 画像生成部
１２ 画像処理部
１３ 動作管理部
２１ 撮像画像取得部
２２ 仮想視点画像生成部
３１ 合成用画像取得部
３２ 圧縮部
３３ 記憶部
３４ 伸張部
３５ 合成部
３６ 画質調整処理部
３７ 画像出力部

Claims (7)

  1. 撮像部の撮像画像に基づき、仮想視点の画像を生成する画像生成部と、
    前記仮想視点の画像上に合成用画像を表示した画像を生成する画像処理部と、を備え、
    前記画像処理部は、
    前記仮想視点の画像が前記仮想視点の移動中の視点位置の画像である場合、前記合成用画像の視認性を低下させる処理を行う
    ことを特徴とする画像処理装置。
  2. 前記画像処理部は、
    前記仮想視点の画像が前記仮想視点の移動中の視点位置の画像である場合、前記合成用画像を非表示にした前記仮想視点の画像を表示部に出力することによって、前記合成用画像の視認性をゼロにする
    ことを特徴とする請求項１に記載の画像処理装置。
  3. 前記画像処理部は、
    前記仮想視点の画像が前記仮想視点の移動中の視点位置の画像である場合、前記仮想視点の画像と前記合成用画像との合成を停止し、前記仮想視点の画像を前記表示部に出力する
    ことを特徴とする請求項２に記載の画像処理装置。
  4. 前記合成用画像は、前記仮想視点に応じた画像である
    ことを特徴とする請求項１〜３のいずれか１つに記載の画像処理装置。
  5. 前記撮像部は、車両に配置され、当該車両周辺を撮像した画像を前記撮像画像として当該画像処理装置へ出力し、
    前記画像処理部は、予測される前記車両の走行軌跡を示すガイド線の画像を前記合成用画像として前記仮想視点の画像に合成する
    ことを特徴とする請求項１〜４のいずれか１つに記載の画像処理装置。
  6. 撮像部の撮像画像に基づき、仮想視点からみた画像である仮想視点画像を生成する生成工程と、
    前記仮想視点の画像上に合成用画像を表示した画像を生成する処理工程と、を備え、
    前記処理工程は、
    前記仮想視点の画像が前記仮想視点の移動中の視点位置の画像である場合、前記合成用画像の視認性を低下させる処理を行う
    ことを特徴とする画像処理方法。
  7. 画像を表示する表示部と、
    車両の周辺の画像を撮像し、当該撮像画像を出力する撮像部と、
    前記撮像部の撮像画像に基づき、仮想視点の画像を生成する仮想視点画像生成部と、
    合成用画像を生成する合成用画像生成部と、
    前記仮想視点の画像上に合成用画像を表示した画像を生成して前記表示部に出力する画像処理部と、を備え、
    前記画像処理部は、
    前記仮想視点の画像が前記仮想視点の移動中の視点位置の画像である場合、前記合成用画像の視認性を低下させる処理を行う
    ことを特徴とする車載装置。
JP2015089738A 2015-04-24 2015-04-24 画像処理装置、画像処理方法および車載装置 Active JP6585371B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2015089738A JP6585371B2 (ja) 2015-04-24 2015-04-24 画像処理装置、画像処理方法および車載装置
DE102016105298.1A DE102016105298A1 (de) 2015-04-24 2016-03-22 Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und fahrzeugbasierte Vorrichtung
US15/091,380 US10328856B2 (en) 2015-04-24 2016-04-05 Image processing device, image processing method, and on-vehicle apparatus
CN201610245212.5A CN106067942B (zh) 2015-04-24 2016-04-19 图像处理装置、图像处理方法和车载设备
US16/112,189 US10647255B2 (en) 2015-04-24 2018-08-24 Image processing device, image processing method, and on-vehicle apparatus
JP2019160583A JP6906576B2 (ja) 2015-04-24 2019-09-03 画像処理装置、画像処理方法および車載装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015089738A JP6585371B2 (ja) 2015-04-24 2015-04-24 画像処理装置、画像処理方法および車載装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019160583A Division JP6906576B2 (ja) 2015-04-24 2019-09-03 画像処理装置、画像処理方法および車載装置

Publications (2)

Publication Number Publication Date
JP2016208368A true JP2016208368A (ja) 2016-12-08
JP6585371B2 JP6585371B2 (ja) 2019-10-02

Family

ID=57110296

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015089738A Active JP6585371B2 (ja) 2015-04-24 2015-04-24 画像処理装置、画像処理方法および車載装置

Country Status (4)

Country Link
US (2) US10328856B2 (ja)
JP (1) JP6585371B2 (ja)
CN (1) CN106067942B (ja)
DE (1) DE102016105298A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110087022A (zh) * 2018-01-26 2019-08-02 爱信精机株式会社 图像处理装置
JP2020135206A (ja) * 2019-02-15 2020-08-31 パナソニックＩｐマネジメント株式会社 画像処理装置、車載用カメラシステム及び画像処理方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6585371B2 (ja) * 2015-04-24 2019-10-02 株式会社デンソーテン 画像処理装置、画像処理方法および車載装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0870398A (ja) * 1994-08-26 1996-03-12 Canon Inc 画像入力装置
JP2005351809A (ja) * 2004-06-11 2005-12-22 Nikon Corp 観察装置
JP2006171849A (ja) * 2004-12-13 2006-06-29 Nissan Motor Co Ltd 画像処理装置
JP2007026071A (ja) * 2005-07-15 2007-02-01 Matsushita Electric Ind Co Ltd 画像合成装置及び画像合成方法
WO2009144994A1 (ja) * 2008-05-29 2009-12-03 富士通株式会社 車両用画像処理装置、車両用画像処理方法
JP2010029641A (ja) * 2008-07-04 2010-02-12 Toshiba Corp Ｘ線撮影装置、ｘ線撮影方法および画像処理装置
JP2011008762A (ja) * 2009-05-29 2011-01-13 Fujitsu Ten Ltd 画像処理装置、電子装置、および、画像処理方法
JP2012054883A (ja) * 2010-09-03 2012-03-15 Canon Inc 撮像制御システム、制御装置、制御方法、及び、プログラム
JP2014225836A (ja) * 2013-05-17 2014-12-04 キヤノン株式会社 撮像装置及び撮像装置の制御方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0877356A (ja) * 1994-09-09 1996-03-22 Fujitsu Ltd 三次元多眼画像の処理方法及び処理装置
JPH0896165A (ja) * 1994-09-29 1996-04-12 Fujitsu Ltd 画像生成方法及び画像生成装置
JP3262772B2 (ja) * 1999-12-17 2002-03-04 株式会社ナムコ 画像生成システム及び情報記憶媒体
US7307654B2 (en) * 2002-10-31 2007-12-11 Hewlett-Packard Development Company, L.P. Image capture and viewing system and method for generating a synthesized image
JP4257356B2 (ja) * 2006-09-26 2009-04-22 株式会社日立製作所 画像生成装置および画像生成方法
JP4899826B2 (ja) * 2006-11-28 2012-03-21 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
JP4947593B2 (ja) * 2007-07-31 2012-06-06 Ｋｄｄｉ株式会社 局所領域分割による自由視点画像の生成装置およびプログラム
JP5420216B2 (ja) * 2008-09-16 2014-02-19 本田技研工業株式会社 車両周囲監視装置
US8913657B2 (en) * 2008-10-27 2014-12-16 Lg Electronics Inc. Virtual view image synthesis method and apparatus
IL202460A (en) * 2009-12-01 2013-08-29 Rafael Advanced Defense Sys Method and system for creating a 3D view of real arena for military planning and operations
JP5212422B2 (ja) 2010-05-19 2013-06-19 株式会社富士通ゼネラル 運転支援装置
WO2011149558A2 (en) * 2010-05-28 2011-12-01 Abelow Daniel H Reality alternate
US9055205B2 (en) * 2010-09-03 2015-06-09 Canon Kabushiki Kaisha Imaging control system, control apparatus, control method, and storage medium
WO2012070010A1 (en) * 2010-11-24 2012-05-31 Stergen High-Tech Ltd. Improved method and system for creating three-dimensional viewable video from a single video stream
SG182880A1 (en) * 2011-02-01 2012-08-30 Univ Singapore A method and system for interaction with micro-objects
US9020241B2 (en) * 2011-03-03 2015-04-28 Panasonic Intellectual Property Management Co., Ltd. Image providing device, image providing method, and image providing program for providing past-experience images
JP5725953B2 (ja) * 2011-04-13 2015-05-27 キヤノン株式会社 撮像装置及びその制御方法、並びに情報処理装置
JP5408198B2 (ja) 2011-08-01 2014-02-05 日産自動車株式会社 映像表示装置及び映像表示方法
US8542933B2 (en) * 2011-09-28 2013-09-24 Pelican Imaging Corporation Systems and methods for decoding light field image files
KR101288069B1 (ko) * 2011-11-14 2013-07-18 현대모비스 주식회사 프로젝터를 이용한 주차 보조 시스템 및 그 방법
JP5811804B2 (ja) * 2011-11-24 2015-11-11 トヨタ自動車株式会社 車両用周辺監視装置
WO2014024995A1 (ja) * 2012-08-08 2014-02-13 株式会社東芝 医用画像診断装置、画像処理装置及び画像処理方法
US9578259B2 (en) * 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US10062209B2 (en) * 2013-05-02 2018-08-28 Nintendo Co., Ltd. Displaying an object in a panoramic image based upon a line-of-sight direction
JP6443654B2 (ja) * 2013-09-26 2018-12-26 Ｔｉａｎｍａ Ｊａｐａｎ株式会社 立体画像表示装置、端末装置、立体画像表示方法、及びそのプログラム
US9942474B2 (en) * 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
JP6585371B2 (ja) * 2015-04-24 2019-10-02 株式会社デンソーテン 画像処理装置、画像処理方法および車載装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0870398A (ja) * 1994-08-26 1996-03-12 Canon Inc 画像入力装置
JP2005351809A (ja) * 2004-06-11 2005-12-22 Nikon Corp 観察装置
JP2006171849A (ja) * 2004-12-13 2006-06-29 Nissan Motor Co Ltd 画像処理装置
JP2007026071A (ja) * 2005-07-15 2007-02-01 Matsushita Electric Ind Co Ltd 画像合成装置及び画像合成方法
WO2009144994A1 (ja) * 2008-05-29 2009-12-03 富士通株式会社 車両用画像処理装置、車両用画像処理方法
JP2010029641A (ja) * 2008-07-04 2010-02-12 Toshiba Corp Ｘ線撮影装置、ｘ線撮影方法および画像処理装置
JP2011008762A (ja) * 2009-05-29 2011-01-13 Fujitsu Ten Ltd 画像処理装置、電子装置、および、画像処理方法
JP2012054883A (ja) * 2010-09-03 2012-03-15 Canon Inc 撮像制御システム、制御装置、制御方法、及び、プログラム
JP2014225836A (ja) * 2013-05-17 2014-12-04 キヤノン株式会社 撮像装置及び撮像装置の制御方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110087022A (zh) * 2018-01-26 2019-08-02 爱信精机株式会社 图像处理装置
CN110087022B (zh) * 2018-01-26 2022-04-19 株式会社爱信 图像处理装置
JP2020135206A (ja) * 2019-02-15 2020-08-31 パナソニックＩｐマネジメント株式会社 画像処理装置、車載用カメラシステム及び画像処理方法

Also Published As

Publication number Publication date
US10647255B2 (en) 2020-05-12
JP6585371B2 (ja) 2019-10-02
CN106067942A (zh) 2016-11-02
DE102016105298A1 (de) 2016-10-27
US10328856B2 (en) 2019-06-25
US20180361934A1 (en) 2018-12-20
US20160311372A1 (en) 2016-10-27
CN106067942B (zh) 2019-09-06

Similar Documents

Publication Publication Date Title
US11628882B2 (en) Cruise-assist image generation device, cruise-assist image generation method, in-vehicle camera and equipment-control assist image generation device
JP5068779B2 (ja) 車両周囲俯瞰画像表示装置及び方法
US20190028651A1 (en) Imaging device, imaging system, and imaging method
JP6196444B2 (ja) 周辺車の位置追跡装置及び方法
JP5003395B2 (ja) 車両周辺画像処理装置及び車両周辺状況提示方法
JP2007214769A (ja) 車両用映像処理装置、車両周囲監視システム並びに映像処理方法
JP2008181330A (ja) 画像処理装置及び画像処理方法
US10647255B2 (en) Image processing device, image processing method, and on-vehicle apparatus
JP5561478B2 (ja) 駐車支援装置
JP6906576B2 (ja) 画像処理装置、画像処理方法および車載装置
JP6155674B2 (ja) 車両用視認装置
JP2007266703A (ja) 表示制御装置
WO2006132112A1 (ja) 曲線描画装置、曲線描画方法、駐車支援装置及び車両
JP2012166689A (ja) 運転支援装置
JP2019197953A (ja) 画像出力装置、画像出力システム及び画像出力装置の制御方法
JP2010130413A (ja) 周辺状況表示装置
US20210170946A1 (en) Vehicle surrounding image display device
JP2008294616A (ja) 運転支援システム及び車両
JP6274936B2 (ja) 運転支援装置
JP2016207040A (ja) 画像処理装置、画像処理方法および車載装置
JP2009218919A (ja) 車両用画像表示装置
CN113678433A (zh) 车辆周边图像生成装置、车辆周边显示系统及车辆周边显示方法
JP2009184468A (ja) 駐車支援装置及び駐車支援方法
JP2017188742A (ja) 運転支援方法及び運転支援装置
JP6229272B2 (ja) 車両用視認装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180330

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190311

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190905

R150 Certificate of patent or registration of utility model

Ref document number: 6585371

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250