JP2017005497A - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP2017005497A
JP2017005497A JP2015117401A JP2015117401A JP2017005497A JP 2017005497 A JP2017005497 A JP 2017005497A JP 2015117401 A JP2015117401 A JP 2015117401A JP 2015117401 A JP2015117401 A JP 2015117401A JP 2017005497 A JP2017005497 A JP 2017005497A
Authority
JP
Japan
Prior art keywords
image
pattern
display
unit
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015117401A
Other languages
English (en)
Other versions
JP6261542B2 (ja
Inventor
幸栄 清
Yukie Sei
幸栄 清
松山　哲
Satoru Matsuyama
哲 松山
親一 森山
Shinichi Moriyama
親一 森山
五朗 浅井
Goro Asai
五朗 浅井
真佐人 奥田
Masato Okuda
真佐人 奥田
洋平 里見
Yohei Satomi
洋平 里見
由香 志土地
Yuka Shidochi
由香 志土地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Toyota Motor Corp
Original Assignee
Denso Ten Ltd
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd, Toyota Motor Corp filed Critical Denso Ten Ltd
Priority to JP2015117401A priority Critical patent/JP6261542B2/ja
Priority to EP16172535.3A priority patent/EP3104599A1/en
Priority to US15/170,361 priority patent/US10037595B2/en
Priority to CN201610405518.2A priority patent/CN106254763B/zh
Publication of JP2017005497A publication Critical patent/JP2017005497A/ja
Application granted granted Critical
Publication of JP6261542B2 publication Critical patent/JP6261542B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】意図しない合成画像が表示されることを防止すること。【解決手段】実施形態に係る画像処理装置は、表示制御部と、パターン指定部と、パターン照合部とを備える。表示制御部は、複数の車載カメラから入力される入力画像に基づき、車両周囲を仮想視点から見た合成画像を生成して表示部に表示させる。パターン指定部は、車載カメラに対し、複数の画像パターンの中から入力画像として出力すべき画像パターンを指定する。パターン照合部は、車載カメラからそれぞれ送信される画像パターン応答の全てが画像パターンと一致するか否かを判定する。表示制御部は、合成画像への表示切替条件が成立した場合に、所定の準備画像を表示部に表示させ、パターン照合部によって画像パターン応答の全てが画像パターンと一致すると判定された場合に、準備画像に代えて合成画像を表示部に表示させる。【選択図】図３

Description

本発明は、画像処理装置および画像処理方法に関する。
従来、車両に搭載された複数の車載カメラから得られるカメラ画像を合成することにより、車両の直上や後部などの任意の仮想視点からみた車両の周囲の様子を示す合成画像を生成してディスプレイに表示する装置が提案されている。
特許文献１には、各車載カメラに対して画像領域の指定を行い、各車載カメラが、指定された画像領域をカメラ画像から切り取って出力する技術が開示されている。
特開２００２−０２７４４６号公報
しかしながら、上述した従来技術には、指定通りの画像データが全て揃うまでの間、指定した画像領域とは異なる領域の画像データを含む意図しない合成画像がディスプレイに表示されるおそれがあった。
実施形態の一態様は、上記に鑑みてなされたものであって、意図しない合成画像が表示されることを防止することができる画像処理装置および画像処理方法を提供することを目的とする。
本実施形態の一態様に係る画像処理装置は、表示制御部と、パターン指定部と、パターン照合部とを備える。表示制御部は、複数の車載カメラから入力される入力画像に基づき、車両周囲を仮想視点から見た合成画像を生成して表示部に表示させる。パターン指定部は、車載カメラに対し、複数の画像パターンの中から入力画像として出力すべき画像パターンを指定する。パターン照合部は、車載カメラからそれぞれ送信される画像パターン応答の全てが画像パターンと一致するか否かを判定する。表示制御部は、合成画像への表示切替条件が成立した場合に、所定の準備画像を表示部に表示させ、パターン照合部によって画像パターン応答の全てが画像パターンと一致すると判定された場合に、準備画像に代えて合成画像を表示部に表示させる。
実施形態の一態様によれば、意図しない合成画像が表示されることを防止することができる。
図１は、本実施形態に係る画像処理システムの構成例を示す図である。 図２は、車載カメラの配置例を示す図である。 図３は、表示部に表示させる画面の切替タイミングを示すシーケンス図である。 図４は、バック画面の一例を示す図である。 図５は、準備画面の一例を示す図である。 図６は、仮想視点画面の一例を示す図である。 図７は、本実施形態に係る画像処理システムの具体的な構成例を示す図である。 図８は、本実施形態に係る画像処理装置が実行する処理の処理手順を示すフローチャートである。 図９は、代替仮想視点画面の一例を示す図である。 図１０は、レイアウト画像の一例を示す図である。
以下に添付図面を参照して、本発明に係る画像処理装置および画像処理方法の実施形態を詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。
図１は、本実施形態に係る画像処理システムの構成例を示す図である。また、図２は、車載カメラの配置例を示す図である。
図１に示すように、本実施形態に係る画像処理システム１は、撮像装置２と、画像処理装置３と、表示部４とを備える。
撮像装置２は、前方カメラ２ａと、後方カメラ２ｂと、右方カメラ２ｃと、左方カメラ２ｄとを備える。これらの車載カメラ２ａ〜２ｄは、図２に示すように、車両１００の前方、後方、右方および左方にそれぞれ配置される。
車載カメラ２ａ〜２ｄは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を備え、かかる撮像素子を用いて車両１００の周囲を撮像する。具体的には、車載カメラ２ａ〜２ｄは、車両１００の前方、後方、右方および左方をそれぞれ撮像する。
車載カメラ２ａ〜２ｄは、魚眼レンズなどの広角レンズを備える。これにより、各車載カメラ２ａ〜２ｄは１８０度以上の画角を有する。したがって、これらの車載カメラ２ａ〜２ｄを利用することにより、車両１００の全周囲を撮影することができる。
各車載カメラ２ａ〜２ｄによって撮像された画像は、出力線５を介して画像処理装置３へ出力される。出力線５は、例えばＮＴＳＣ（National Television System Committee）ケーブルである。
ここで、各車載カメラ２ａ〜２ｄの画素数は、例えば１００万画素であり、出力線５により出力可能な最大画素数（例えば３０万画素）よりも大きい。このため、画像処理システム１では、後述する画像処理装置３が、各車載カメラ２ａ〜２ｄに対し、画像処理装置３へ出力すべき画像領域を指定し、各車載カメラ２ａ〜２ｄが、撮像した画像から画像処理装置３によって指定された画像領域を切り出して画像処理装置３へ出力するようにしている。
上記画像領域の指定は、通信線６を介して行われる。通信線６は、例えばＣＡＮ（Controller Area Network）バス等の車載ＬＡＮ（Local Area Network）である。なお、画像処理装置３は、かかる通信線６を介して表示部４や図示しない各種のＥＣＵ(Electronic Control Unit)等とも接続されており、これら表示部４やＥＣＵとの間で種々の情報の送受信を行うことが可能である。
なお、以下では、車載カメラ２ａ〜２ｄによって撮像される画像（切り出し前の画像）を「カメラ画像」と記載し、車載カメラ２ａ〜２ｄから画像処理装置３へ出力される画像（切り出し後の画像）を「入力画像」と記載する。
画像処理装置３は、車載カメラ２ａ〜２ｄから入力される入力画像に対して座標変換処理を行うことにより、車両１００の周囲を仮想視点から見た仮想視点画像を生成する。
かかる座標変換処理において、画像処理装置３は、例えば、撮像画像を所定の投影面に投影（マッピング）し、所定の投影面に投影された入力画像のうち仮想視点から見て所定の視野角に含まれる領域の画像を仮想視点画像とする。
例えば、画像処理装置３は、入力画像に含まれるデータの位置と、所定の投影面の位置との対応関係を示すテーブルを記憶しており、かかるテーブルを用いて、入力画像に含まれるデータを、所定の投影面の対応する位置に投影することができる。
かかる所定の投影面は、例えば、略半球状（例えば、お椀形状）をしており、その中心領域（例えば、お椀の底部分）は車両１００の位置であり、車両１００の位置の外側（例えば、お椀の底部分以外の部分）は、車両１００の周囲の領域に相当する。なお、所定の投影面は、例えば、曲面でなく平面であってもよい。
そして、画像処理装置３は、生成した仮想視点画像に対し、車両１００を上記仮想視点から見た車両画像をクロマキー合成した合成画像を生成して表示部４に表示させる。
表示部４は、ＬＣＤ（Liquid Crystal Display）を備え、画像処理装置３から取得した合成画像を含む仮想視点画面を表示することができる。なお、表示部４としては、例えばタッチパネル式ディスプレイを用いることができる。
ところで、画像処理装置３は、表示部４に表示させる画面を例えばバック画面等から上述した仮想視点画面へ切り替える場合に、仮想視点画像の生成に適した入力画像を取得するために、車載カメラ２ａ〜２ｄに対して入力画像として出力すべき画像領域の切り替えを要求することがある。
しかしながら、画像処理装置３が車載カメラ２ａ〜２ｄに対して画像領域の切り替えを要求してから、車載カメラ２ａ〜２ｄが切り替え後の入力画像を出力するまでにはタイムラグが存在する場合がある。このため、バック画面等から仮想視点画面へすぐに切り替えることとすると、要求した入力画像とは異なる入力画像（すなわち、切り替え前の入力画像）を含む意図しない合成画像が表示部４に表示されるおそれがある。さらに、入力画像の切り替えタイミングは車載カメラ２ａ〜２ｄごとに異なるため、入力画像が個々に切り替わることによって合成画像が頻繁に変化して画面がちらつくおそれもある。
このような状況を防ぐために、車載カメラ２ａ〜２ｄに対して画像領域の指定の切り替えを行ってから予め決められた時間が経過した後に、仮想視点画面への切り替えを行うことも考えられるが、想定外のタイムラグが生じた場合に対処することができない。また、一律に予め決められた時間待機するのは効率的ではない。
そこで、本実施形態に係る画像処理装置３は、バック画面等から仮想視点画面へ切り替える場合に、仮想視点画面に先立って所定の準備画面を表示部４に表示させ、新たに指定した入力画像に対応する出力応答を全ての車載カメラ２ａ〜２ｄから通信線６を介して受信した場合に、上記準備画面に代えて仮想視点画面を表示部４に表示させることとした。
かかる点について図３〜図６を参照して説明する。図３は、表示部４に表示させる画面の切替タイミングを示すシーケンス図である。また、図４は、バック画面の一例を示す図であり、図５は、準備画面の一例を示す図であり、図６は、仮想視点画面の一例を示す図である。なお、図３では、一例として、バック画面から仮想視点画面へ表示を切り替える場合のシーケン図を示している。
図３に示すように、前方カメラ２ａ、後方カメラ２ｂ、右方カメラ２ｃおよび左方カメラ２ｄは、カメラ画像から所定の領域を切り出した入力画像を画像処理装置３へそれぞれ出力する。画像処理装置３は、車載カメラ２ａ〜２ｄから取得した入力画像のうち、後方カメラ２ｂからの入力画像を用いたバック画面を生成して表示部４に表示させる。図４に示すように、バック画面１０１は、後方カメラ２ｂからの入力画像であるバック画像１１１を含み、他の車載カメラ２ａ，２ｃ，２ｄからの入力画像を含まない画面のことである。
画像処理装置３は、表示部４に表示させる画面（バック画面１０１や後述する仮想視点画面１０３）と、入力画像としてカメラ画像から切り出すべき画像領域（以下、「画像パターン」と記載する）との対応関係を示すテーブルを記憶している。また、車載カメラ２ａ〜２ｄは、入力画像としてカメラ画像から切り出す画像領域と、上記画像パターンとの対応関係を示すテーブルを記憶している。
画像処理装置３は、表示部４に現在表示されている画面に対応する画像パターンを通信線６経由で定期的に車載カメラ２ａ〜２ｄへ送信する。また、車載カメラ２ａ〜２ｄは、画像処理装置３から画像パターンを受信すると、現在出力中の入力画像に対応する画像パターン応答を画像処理装置３へ送信する。
例えば、バック画面１０１の表示中において、画像処理装置３は、バック画面１０１に対応する画像パターンＰ１を車載カメラ２ａ〜２ｄへ送信する。また、画像パターンＰ１を受信した車載カメラ２ａ〜２ｄは、画像パターンＰ１に対応する画像領域、すなわち、バック画面１０１に対応する画像領域から入力画像を切り出している場合には、画像パターン応答Ｐ１を画像処理装置３へ送信する。
つづいて、例えばユーザが仮想視点画面への切り替え操作を行うことにより、バック画面１０１から仮想視点画面への表示切替条件が成立すると、画像処理装置３は、まず、表示部４に対して準備画面を表示させる。
準備画面１０２は、図５に示すように、準備画像１１２を含む画面である。準備画像１１２は、黒色の単色画像であり、図示しない記憶部に予め記憶される。
このように、単色画像は比較的目立ちにくいため、準備画像１１２として単色画像を用いることで、例えば文字や模様等を含んだ画像を準備画像１１２として用いる場合と比較して運転中のユーザの注意を引きにくくすることができる。特に、本実施形態のように、黒色の単色画像を用いることにより、運転中のユーザの注意をより引きにくくすることができる。なお、準備画像１１２は、黒色以外の単色画像であってもよい。また、準備画像１１２は、必ずしも単色画像であることを要しない。
また、画像処理装置３は、バック画面１０１から仮想視点画面への表示切替条件が成立すると、仮想視点画面１０３に対応する画像パターンＰ２を車載カメラ２ａ〜２ｄへ送信する。
ここで、仮想視点画面１０３は、図６に示すように、例えばバック画像１１１と合成画像１１３とを含む画面である。合成画像１１３は、車載カメラ２ａ〜２ｄからの入力画像に基づいて生成される仮想視点画像１１５に対して車両画像１１６をクロマキー合成した画像である。なお、仮想視点画面１０３は、必ずしもバック画像１１１を含んでいることを要しない。
車載カメラ２ａ〜２ｄは、画像処理装置３から画像パターンＰ２を受信すると、カメラ画像から切り出す画像領域を画像パターンＰ１に対応する領域から画像パターンＰ２に対応する領域へ切り替え、画像パターンＰ２に対応する領域から切り出した入力画像を画像処理装置３へそれぞれ出力する。
また、車載カメラ２ａ〜２ｄは、出力した入力画像に対応する画像パターン応答Ｐ２を画像処理装置３に対してそれぞれ送信する。そして、画像処理装置３は、車載カメラ２ａ〜２ｄから受信した画像パターン応答Ｐ２の全てが画像パターンＰ２と一致した場合に、準備画面１０２に代えて仮想視点画面１０３を表示部４に表示させる。
上述したように、表示切替条件が成立した時点で仮想視点画面１０３への切り替えを行うと、意図しない合成画像を含む仮想視点画面１０３が表示部４に表示されるおそれがある。これに対し、本実施形態に係る画像処理装置３では、表示切替条件が成立した後、仮想視点画面１０３に先立って準備画面１０２を表示部４に表示させておくこととした。このため、意図しない合成画像１１３を含んだ仮想視点画面１０３が表示部４に表示されることを防止することができる。
次に、本実施形態に係る車載カメラ２ａ〜２ｄおよび画像処理装置３の具体的な構成および動作について説明する。まず、車載カメラ２ａ〜２ｄおよび画像処理装置３の具体的な構成について図７を参照して説明する。図７は、本実施形態に係る画像処理システム１の具体的な構成例を示す図である。なお、図７では、画像処理システム１の特徴を説明するために必要な構成要素のみを示しており、一般的な構成要素についての記載を省略している。
図７に示すように、車載カメラ２ａ〜２ｄは、Ｉ／Ｆ（インタフェース）部２１ａ〜２１ｄと、制御部２２ａ〜２２ｄとを備える。Ｉ／Ｆ部２１ａ〜２１ｄは、例えばＣＡＮ通信用のインタフェースであり、通信線６を介して画像処理装置３との間で画像データを除く各種のデータを送受信する。
例えば、Ｉ／Ｆ部２１ａ〜２１ｄは、通信線６を介して画像処理装置３から画像パターンを受信して制御部２２ａ〜２２ｄへ渡す。また、Ｉ／Ｆ部２１ａ〜２１ｄは、制御部２２ａ〜２２ｄから受け取った画像パターン応答を通信線６を介して画像処理装置３へ送信する。
制御部２２ａ〜２２ｄは、画像パターンに対応する画像領域をカメラ画像から切り取って入力画像として出力線５経由で画像処理装置３へ出力する。また、制御部２２ａ〜２２ｄは、カメラ画像から切り取った画像領域に対応する画像パターン応答をＩ／Ｆ部２１ａ〜２１ｄおよび通信線６経由で画像処理装置３へ送信する。
なお、車載カメラ２ａ〜２ｄ間において、入力画像および画像パターン応答の出力・送信タイミングは同期されていない。すなわち、入力画像および画像パターン応答は、車載カメラ２ａ〜２ｄからそれぞれ異なるタイミングで出力・送信される。
画像処理装置３は、画像取得部３１と、表示制御部３２と、Ｉ／Ｆ部３３と、画面切替判定部３４と、パターン指定部３５と、パターン照合部３６とを備える。
画像取得部３１は、出力線５を介して車載カメラ２ａ〜２ｄから入力画像を取得する。また、画像取得部３１は、取得した入力画像を表示制御部３２へ出力する。
表示制御部３２は、入力画像を用いた各種の画像を生成して表示部４に表示させる。例えば、表示制御部３２は、後方カメラ２ｂからの入力画像であるバック画像１１１を用いたバック画面１０１（図４参照）を表示部４へ表示させる。また、表示制御部３２は、車載カメラ２ａ〜２ｄの各入力画像に対して上述した座標変換処理や合成処理を行うことによって合成画像１１３（図６参照）を生成して合成画像１１３を含む仮想視点画面１０３を表示部４へ表示させる。
表示制御部３２は、後述する画面切替判定部３４からの情報に従って、表示部４に表示すべき画面を決定する。例えば、表示制御部３２は、表示部４に表示すべき画面がバック画面１０１であることを示す情報が画面切替判定部３４から出力されている場合には、バック画面１０１を表示部４へ表示させる。
一方、表示部４に表示すべき画面が仮想視点画面１０３であることを示す情報が画面切替判定部３４から出力された場合、表示制御部３２は、仮想視点画面１０３ではなく、準備画像１１２（図５参照）を表示部４へ表示させる。また、表示制御部３２は、車載カメラ２ａ〜２ｄから送信される画像パターン応答の全てが画像パターンと一致する旨の通知を後述するパターン照合部３６から受けた場合に、仮想視点画面１０３を表示部４へ表示させる。
その他、表示制御部３２は、表示部４に現在表示させている画面の種別を示す情報を後述するパターン指定部３５へ出力する処理を行う。例えば、バック画面１０１を表示部４に表示させている場合には、表示部４に現在表示させている画面がバック画面１０１であることを示す情報をパターン指定部３５へ出力する。
Ｉ／Ｆ部３３は、例えばＣＡＮ通信用のインタフェースであり、通信線６を介して車載カメラ２ａ〜２ｄおよび各種のＥＣＵとの間で各種のデータを送受信する。
例えば、Ｉ／Ｆ部３３は、車両１００の現在のシフトレバーのポジションを示すシフト情報をシフトＥＣＵ７から通信線６を介して受信し、車両１００の現在の車速を示す車速情報を車速ＥＣＵ８から通信線６を介して受信する。そして、Ｉ／Ｆ部３３は、受信したシフト情報および車速情報を画面切替判定部３４へ渡す。なお、シフトＥＣＵ７および車速ＥＣＵ８は、Ｉ／Ｆ部７１，８１を備えており、かかるＩ／Ｆ部７１，８１および通信線６を介して画像処理装置３と各種の情報を送受信する。
また、Ｉ／Ｆ部３３は、車載カメラ２ａ〜２ｄから通信線６を介して画像パターン応答を受信し、受信した画像パターン応答をパターン照合部３６へ渡す。
画面切替判定部３４は、表示切替条件の成否を判定する。表示部４に表示される画面は、例えば、画面切替スイッチ９へのユーザの入力操作の他、車両１００のシフトレバーのポジションや車速などに応じて選択される。なお、画面切替スイッチ９への入力操作は、例えば、表示部４上へのタッチ操作であってもよい。
例えば、画面切替判定部３４は、仮想視点画面１０３へ切り替える入力操作が画面切替スイッチ９に対してなされた場合に、仮想視点画面１０３への表示切替条件が成立したと判定する。また、画面切替判定部３４は、シフトＥＣＵ７から取得されるシフト情報が、例えば「Ｄ」（ドライブ）から「Ｒ」（リア）に変化した場合、あるいは、車速ＥＣＵ８から取得される車速情報が、例えば１０ｋｍ／ｈに変化した場合にも、仮想視点画面１０３への表示切替条件が成立したと判定する。
画面切替判定部３４は、表示切替条件が成立したと判定した場合、切り替え後の表示画面の種別を示す情報を表示制御部３２およびパターン指定部３５へ出力する。
パターン指定部３５は、車載カメラ２ａ〜２ｄに対して画像パターンの指定を行う。例えば、パターン指定部３５は、現在の表示画面がバック画面１０１である旨の情報が表示制御部３２から出力されている場合、画像パターンＰ１（図３参照）をＩ／Ｆ部３３および通信線６を介して車載カメラ２ａ〜２ｄへ送信する。
また、パターン指定部３５は、切り替え後の表示画面の種別を示す情報を画面切替判定部３４から取得した場合に、画像パターンの切り替えの要否を判定する処理を行う。
例えば、パターン指定部３５は、現在の表示画面がバック画面１０１である旨の情報が表示制御部３２から出力されている場合において、切り替え後の表示画面が仮想視点画面１０３である旨の情報を画面切替判定部３４から取得した場合、画像パターンの切り替え（Ｐ１→Ｐ２）が必要であると判定する。
パターン指定部３５は、画像パターンの切り替えが必要であると判定すると、切り替え後の画像パターンをＩ／Ｆ部３３および通信線６を介して車載カメラ２ａ〜２ｄへ送信する。また、パターン指定部３５は、切り替え後の画像パターンをパターン照合部３６にも出力する。
一方、パターン指定部３５は、画像パターンの切り替えが不要であると判定すると、その旨をパターン照合部３６へ出力する。
上述したように、画像処理装置３は、表示部４に表示させる画面と画像パターンとの対応関係を示すテーブルを記憶しており、パターン指定部３５は、かかるテーブルを用いて上記判定を行う。
パターン照合部３６は、車載カメラ２ａ〜２ｄからＩ／Ｆ部３３経由で取得される画像パターン応答と、パターン指定部３５から出力される画像パターンとを照合し、車載カメラ２ａ〜２ｄから送信される全ての画像パターン応答が画像パターンと一致するか否かを判定する。
パターン照合部３６は、車載カメラ２ａ〜２ｄから送信される全ての画像パターン応答の全てが画像パターンと一致すると判定した場合、表示制御部３２に対して仮想視点画面１０３の表示部４への表示を指示する。
一方、パターン照合部３６は、上記判定処理を所定回数繰り返しても、何れかの車載カメラ２ａ〜２ｄからの画像パターン応答が画像パターンと一致しない場合には、画像パターン応答が画像パターンと一致しない車載カメラ２ａ〜２ｄを特定する情報とともに、代替仮想視点画面の表示部４への表示を指示する。
パターン照合部３６は、画像パターンの切り替えが不要である旨の情報をパターン指定部３５から取得した場合には、上記判定処理を行うことなく、表示制御部３２に対して仮想視点画面１０３の表示部４への表示を指示する。
次に、本実施形態に係る画像処理装置３の具体的動作について図８を参照して説明する。図８は、本実施形態に係る画像処理装置３が実行する処理の処理手順を示すフローチャートである。なお、図８には、表示部４の表示画面が仮想視点画面１０３または代替仮想視点画面に切り替わるまでの処理手順を示している。
図８に示すように、画像処理装置３は、表示切替条件が成立するか否かを判定し（ステップＳ１０１）、表示切替条件が成立したと判定すると（ステップＳ１０１，Ｙｅｓ）、表示部４に準備画面１０２を表示させる（ステップＳ１０２）。なお、表示切替条件が成立しない場合（ステップＳ１０１，Ｎｏ）、画像処理装置３は、表示切替条件が成立するまでステップＳ１０１の判定処理を繰り返す。
つづいて、画像処理装置３は、画像パターンの切り替えの要否を判定し（ステップＳ１０３）、画像パターンの切り替えが必要と判定すると（ステップＳ１０３，Ｙｅｓ）、切り替え後の画像パターンを車載カメラ２ａ〜２ｄへ送信する（ステップＳ１０４）。
つづいて、画像処理装置３は、車載カメラ２ａ〜２ｄから送信される全ての画像パターン応答がステップＳ１０４で送信された画像パターンと一致するか否かを判定する（ステップＳ１０５）。そして、全ての画像パターン応答が画像パターンと一致すると判定すると（ステップＳ１０５，Ｙｅｓ）、準備画面１０２に代えて仮想視点画面１０３を表示部４に表示させて（ステップＳ１０６）、処理を終える。
一方、ステップＳ１０３において、画像パターンの切り替えが不要と判定した場合（ステップＳ１０３，Ｎｏ）、画像処理装置３は、仮想視点画面１０３を表示部４に表示させて（ステップＳ１０６）、処理を終える。
このように、画像処理装置３は、仮想視点画面１０３への表示切替条件が成立した場合において（ステップＳ１０１，Ｙｅｓ）、画像パターンの切り替えが不要と判定した場合、すなわち、表示切替条件成立後の画像パターンが、表示切替条件が成立する直前の画像パターンと同一である場合には、ステップＳ１０５の判定処理を行うことなく、仮想視点画面１０３を表示部４に表示させることとした。これにより、準備画面１０２の表示時間、すなわち、仮想視点画面１０３が表示されるまでの待ち時間を短縮することができる。
また、ステップＳ１０５において、何れかの車載カメラ２ａ〜２ｄからの画像パターン応答が画像パターンと一致しない場合（ステップＳ１０５，Ｎｏ）、画像処理装置３は、ステップＳ１０５の判定処理をＮ回（Ｎは、０より大きい整数）繰り返したか否かを判定する（ステップＳ１０７）。この判定処理において、ステップＳ１０５の判定処理をＮ回繰り返していない場合には（ステップＳ１０７，Ｎｏ）、処理をステップＳ１０５へ戻す。また、ステップＳ１０５の判定処理をＮ回繰り返したと判定した場合には（ステップＳ１０７，Ｙｅｓ）、画像処理装置３は、準備画面１０２に代えて代替仮想視点画面を表示部４に表示させて（ステップＳ１０８）、処理を終える。
ここで、代替仮想視点画面について図９を参照して説明する。図９は、代替仮想視点画面の一例を示す図である。
図９に示すように、代替仮想視点画面１０３Ｘは、仮想視点画面１０３（図６参照）における合成画像１１３に代えて代替合成画像１１３Ｘを含む画面である。表示制御部３２は、パターン照合部３６から代替仮想視点画面の表示部４への表示を指示された場合に、画像パターン応答が画像パターンと一致しない車載カメラ２ａ〜２ｄ（ここでは、左方カメラ２ｄ）から入力される入力画像に代えて所定の代替画像１１７を用いた代替合成画像１１３Ｘを生成して表示部４に表示させる。
画像処理装置３は、各車載カメラ２ａ〜２ｄに対応する代替画像１１７を記憶部（図示せず）に記憶しており、表示制御部３２は、画像パターン応答が画像パターンと一致しない車載カメラ２ａ〜２ｄに対応する代替画像１１７を記憶部から取り出して代替合成画像１１３Ｘを生成する。
このように、本実施形態に係る表示制御部３２は、何れかの車載カメラ２ａ〜２ｄから取得される画像パターン応答が画像パターンと一致しない場合には、画像パターン応答が画像パターンと一致しない車載カメラ２ａ〜２ｄから入力される入力画像に代えて、所定の代替画像１１７を用いた代替合成画像１１３Ｘを生成して表示部４に表示させる。これにより、何れかの車載カメラ２ａ〜２ｄから指定と異なる入力画像が入力されている場合であっても、意図しない合成画像が表示されることを防止しつつ、ユーザに対して合成画像を提示することができる。
代替画像１１７としては、黒色の単色画像を用いることができる。このように、単色画像を用いることで、仮想視点画像１１５Ｘのうち車載カメラ２ａ〜２ｄからの入力画像を用いて生成された部分と、代替画像１１７を用いて生成された部分との区別が容易となる。特に、本実施形態のように、代替画像１１７として黒色の単色画像を用いることにより、両者を明確に区別することができる。なお、代替画像１１７は、黒色以外の単色画像であってもよい。また、代替画像１１７は、必ずしも単色画像であることを要しない。
ところで、代替合成画像１１３Ｘには、代替画像１１７と入力画像との合成部分が含まれる。例えば、図９に示す代替合成画像１１３Ｘには、前方カメラ２ａからの入力画像と代替画像１１７との合成部分と、後方カメラ２ｂからの入力画像と代替画像１１７との合成部分とが含まれる。
表示制御部３２は、代替画像１１７と入力画像との合成部分を代替画像１１７に置き換えるようにしてもよい。これにより、仮想視点画像１１５Ｘのうち、車載カメラ２ａ〜２ｄからの入力画像のみを用いて生成される仮想視点画像部分と、代替画像１１７を用いて生成された部分との境界線を明確化することができる。
なお、表示制御部３２は、車載カメラ２ａ〜２ｄから入力される全入力画像を用いて仮想視点画像１１５Ｘを生成したうえで、仮想視点画像１１５Ｘの一部を代替画像１１７と置き換えることによって代替合成画像１１３Ｘを生成するようにしてもよい。
上述してきたように、本実施形態に係る画像処理装置３は、表示制御部３２と、パターン指定部３５と、パターン照合部３６とを備える。表示制御部３２は、複数の車載カメラ２ａ〜２ｄから入力される入力画像に基づき、車両周囲を仮想視点から見た合成画像１１３を生成して表示部４に表示させる。パターン指定部３５は、車載カメラ２ａ〜２ｄに対し、複数の画像パターンの中から入力画像として出力すべき画像パターンを指定する。パターン照合部３６は、車載カメラ２ａ〜２ｄからそれぞれ送信される画像パターン応答の全てが画像パターンと一致するか否かを判定する。表示制御部３２は、合成画像１１３への表示切替条件が成立した場合に、合成画像１１３に先立ち所定の準備画像１１２を表示部４に表示させ、パターン照合部３６によって画像パターン応答の全てが画像パターンと一致すると判定された場合に、準備画像１１２に代えて合成画像１１３を表示部４に表示させる。
したがって、本実施形態に係る画像処理装置３によれば、意図しない合成画像が表示されることを防止することができる。
ところで、上述した実施形態では、準備画像１１２として、単色画像を用いる場合の例について説明したが、単色画像に代えて、仮想視点画像１１５のレイアウト画像を準備画像として用いることとしてもよい。かかる点について図１０を参照して説明する。図１０は、レイアウト画像の一例を示す図である。
図１０に示すように、レイアウト画像１０４は、バック画像１１１の表示領域を示す枠画像１１８と、合成画像１１３の表示領域を示す枠画像１１９と、車両画像１１６とを含み、バック画像１１１および仮想視点画像１１５を含まない画像である。
このように、表示制御部３２は、表示部４の表示領域における合成画像１１３の表示位置を示すレイアウト画像１０４を準備画像として表示部４に表示させてもよい。これにより、次に切り替わる画面をユーザにいち早く認識させることができる。
以上、本願に係る画像処理装置および画像処理方法の実施例のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
１ 画像処理システム
２ 撮像装置
２ａ〜２ｄ 車載カメラ
３ 画像処理装置
４ 表示部
３２ 表示制御部
３５ パターン指定部
３６ パターン照合部
１０１ バック画面
１０２ 準備画面
１０３ 仮想視点画面
１１１ バック画像
１１２ 準備画像
１１３ 合成画像
１１５ 仮想視点画像

Claims (7)

  1. 複数の車載カメラから入力される入力画像に基づき、車両周囲を仮想視点から見た合成画像を生成して表示部に表示させる表示制御部と、
    前記車載カメラに対し、複数の画像パターンの中から前記入力画像として出力すべき画像パターンを指定するパターン指定部と、
    前記車載カメラからそれぞれ送信される画像パターン応答の全てが前記画像パターンと一致するか否かを判定するパターン照合部と
    を備え、
    前記表示制御部は、
    前記合成画像への表示切替条件が成立した場合に、所定の準備画像を前記表示部に表示させ、前記パターン照合部によって前記画像パターン応答の全てが前記画像パターンと一致すると判定された場合に、前記準備画像に代えて前記合成画像を前記表示部に表示させること
    を特徴とする画像処理装置。
  2. 前記パターン照合部は、
    前記表示切替条件の成立後に前記パターン指定部から前記車載カメラへ送信される前記画像パターンが、前記表示切替条件の成立前における前記画像パターンと同一である場合には、前記判定を行うことなく、前記表示制御部に対して前記合成画像の表示を指示すること
    を特徴とする請求項１に記載の画像処理装置。
  3. 前記表示制御部は、
    何れかの前記画像パターン応答が前記画像パターンと一致しない場合には、前記画像パターン応答が前記画像パターンと一致しない前記車載カメラから入力される前記入力画像に代えて所定の代替画像を用いた代替合成画像を生成して前記表示部に表示させること
    を特徴とする請求項１または２に記載の画像処理装置。
  4. 前記表示制御部は、
    前記準備画像として単色画像を前記表示部に表示させること
    を特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。
  5. 前記表示制御部は、
    前記準備画像として黒色の単色画像を前記表示部に表示させること
    を特徴とする請求項４に記載の画像処理装置。
  6. 前記表示制御部は、
    前記合成画像の表示位置を示すレイアウト画像を前記準備画像として前記表示部に表示させること
    を特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。
  7. 複数の車載カメラから入力される入力画像に基づき、車両周囲を仮想視点から見た合成画像を生成して表示部に表示させる表示制御工程と、
    前記車載カメラに対し、複数の画像パターンの中から前記入力画像として出力すべき画像パターンを指定するパターン指定工程と、
    前記車載カメラからそれぞれ送信される画像パターン応答の全てが前記画像パターンと一致するか否かを判定するパターン照合工程と
    を含み、
    前記表示制御工程は、
    前記合成画像への表示切替条件が成立した場合に、所定の準備画像を前記表示部に表示させ、前記パターン照合工程によって前記画像パターン応答の全てが前記画像パターンと一致すると判定された場合に、前記準備画像に代えて前記合成画像を前記表示部に表示させること
    を特徴とする画像処理方法。
JP2015117401A 2015-06-10 2015-06-10 画像処理装置および画像処理方法 Active JP6261542B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015117401A JP6261542B2 (ja) 2015-06-10 2015-06-10 画像処理装置および画像処理方法
EP16172535.3A EP3104599A1 (en) 2015-06-10 2016-06-01 Image processing device and image processing method
US15/170,361 US10037595B2 (en) 2015-06-10 2016-06-01 Image processing device and image processing method
CN201610405518.2A CN106254763B (zh) 2015-06-10 2016-06-08 图像处理装置和图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015117401A JP6261542B2 (ja) 2015-06-10 2015-06-10 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
JP2017005497A true JP2017005497A (ja) 2017-01-05
JP6261542B2 JP6261542B2 (ja) 2018-01-17

Family

ID=56098096

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015117401A Active JP6261542B2 (ja) 2015-06-10 2015-06-10 画像処理装置および画像処理方法

Country Status (4)

Country Link
US (1) US10037595B2 (ja)
EP (1) EP3104599A1 (ja)
JP (1) JP6261542B2 (ja)
CN (1) CN106254763B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020017077A (ja) * 2018-07-25 2020-01-30 株式会社デンソーテン 事故通報装置及び事故通報方法
JP7569010B2 (ja) 2021-02-10 2024-10-17 トヨタ自動車株式会社 車両用画像処理システム、車両及び画像送信方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6626817B2 (ja) * 2016-11-30 2019-12-25 京セラ株式会社 カメラモニタシステム、画像処理装置、車両及び画像処理方法
JP7069692B2 (ja) * 2017-12-20 2022-05-18 トヨタ自動車株式会社 画像表示装置
JP7336776B2 (ja) * 2021-03-24 2023-09-01 パナソニックＩｐマネジメント株式会社 車両監視装置、および車両監視システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012214083A (ja) * 2011-03-31 2012-11-08 Fujitsu Ten Ltd 画像生成装置、画像表示システム及び画像生成方法
JP2015074258A (ja) * 2013-10-04 2015-04-20 本田技研工業株式会社 車両周辺表示装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3599639B2 (ja) * 2000-05-26 2004-12-08 松下電器産業株式会社 画像処理装置
JP3269056B2 (ja) 2000-07-04 2002-03-25 松下電器産業株式会社 監視システム
JP2009100342A (ja) * 2007-10-18 2009-05-07 Sanyo Electric Co Ltd カメラ校正装置及び方法、並びに、車両
EP2280547A4 (en) * 2008-05-19 2013-02-13 Panasonic Corp VEHICLE SURROUNDING MONITORING DEVICE AND VEHICLE ENTOURING MONITORING METHOD
JP2011135253A (ja) * 2009-12-24 2011-07-07 Fujitsu Ten Ltd 画像処理装置、画像処理システム、および、画像処理方法
KR101491324B1 (ko) * 2013-10-08 2015-02-06 현대자동차주식회사 차량용 영상 획득 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012214083A (ja) * 2011-03-31 2012-11-08 Fujitsu Ten Ltd 画像生成装置、画像表示システム及び画像生成方法
JP2015074258A (ja) * 2013-10-04 2015-04-20 本田技研工業株式会社 車両周辺表示装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020017077A (ja) * 2018-07-25 2020-01-30 株式会社デンソーテン 事故通報装置及び事故通報方法
JP7168367B2 (ja) 2018-07-25 2022-11-09 株式会社デンソーテン 事故通報装置
JP7569010B2 (ja) 2021-02-10 2024-10-17 トヨタ自動車株式会社 車両用画像処理システム、車両及び画像送信方法

Also Published As

Publication number Publication date
JP6261542B2 (ja) 2018-01-17
CN106254763A (zh) 2016-12-21
US10037595B2 (en) 2018-07-31
US20160364842A1 (en) 2016-12-15
EP3104599A1 (en) 2016-12-14
CN106254763B (zh) 2019-04-23

Similar Documents

Publication Publication Date Title
JP6261542B2 (ja) 画像処理装置および画像処理方法
WO2015159407A1 (ja) 車載表示装置
JP6084097B2 (ja) 画像生成装置、画像表示システム及び画像生成方法
JP2008033901A (ja) 車両用画像表示システム
JP2008017311A (ja) 車両用映像表示装置及び車両周囲映像の表示方法
JP2013129386A (ja) 車両用後方監視装置
JP2008301091A (ja) 車両用周辺監視装置
JP5924370B2 (ja) 映像表示装置、映像切替装置、及び映像表示方法
JP2016092782A (ja) 車両用視界支援装置
JP2009141490A (ja) 合成画像生成装置および合成画像生成方法
JP2012065228A (ja) 画像処理装置、画像表示システム及び画像表示方法
JP2009049479A (ja) 車両周辺画像表示装置および表示モード情報表示方法
JP2016184926A (ja) 画像処理装置
JP6370833B2 (ja) 画像生成装置、画像表示システム及び画像生成方法
JP2004312063A (ja) 撮像装置、画像表示システム及び画像表示方法
JP6327144B2 (ja) 画像処理システム及び画像処理装置
JP6906576B2 (ja) 画像処理装置、画像処理方法および車載装置
JP6148896B2 (ja) 画像生成装置及び画像生成方法
JP2005244574A (ja) 画像表示装置、画像表示プログラム、記録媒体、画像表示方法および車載端末装置
JP2004356962A (ja) 車両用映像表示装置
JP6182883B2 (ja) 映像信号処理装置、映像表示装置及び映像信号処理方法
JP2005184397A (ja) 表示方法、表示システム、表示装置および撮影装置
TWI555655B (zh) 攝影機、遠端控制系統及遠端控制方法
JP5484020B2 (ja) マルチプロジェクションシステムの制御装置、制御方法、プログラム
JP2018100066A (ja) 運転支援装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170406

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170613

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171212

R150 Certificate of patent or registration of utility model

Ref document number: 6261542

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250