JP2020135206A - 画像処理装置、車載用カメラシステム及び画像処理方法 - Google Patents

画像処理装置、車載用カメラシステム及び画像処理方法 Download PDF

Info

Publication number
JP2020135206A
JP2020135206A JP2019025645A JP2019025645A JP2020135206A JP 2020135206 A JP2020135206 A JP 2020135206A JP 2019025645 A JP2019025645 A JP 2019025645A JP 2019025645 A JP2019025645 A JP 2019025645A JP 2020135206 A JP2020135206 A JP 2020135206A
Authority
JP
Japan
Prior art keywords
viewpoint
image
sight
line
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019025645A
Other languages
English (en)
Inventor
敏信 秦野
Toshinobu Hatano
敏信 秦野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2019025645A priority Critical patent/JP2020135206A/ja
Priority to US16/781,701 priority patent/US10926639B2/en
Priority to CN202010091846.6A priority patent/CN111572450B/zh
Publication of JP2020135206A publication Critical patent/JP2020135206A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/173—Reversing assist
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/654—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/101—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】第１ビュー表示と第２ビュー表示との間に、これらのビュー表示の視点及び視線の変化をスムーズにする１つ以上のビュー画像を挿入することにより、効果的な運転支援を実現する。【解決手段】画像処理装置は、画像に対する視点変換処理を行う視点変換画像生成部を備え、入力された画像に対する視点変換処理によって第１視点画像を生成し、前記第１視点画像とは異なる視点及び視線の第２視点画像を生成する前に、前記第１視点画像の視点及び視線と前記第２視点画像の視点及び視線との中間の視点及び視線を有する１つ以上の中間視点画像を生成したうえで、前記第２視点画像を生成する。【選択図】図１

Description

本開示は、撮像画像の視線及び視点を変更可能な画像処理装置、車載用カメラシステム及び画像処理方法に関する。
従来、自動車の運転を効果的に支援するためのセンシング技術の開発が行われている。代表的な画像情報入力装置であるカメラは、小型化され自由な配置での取り付けが可能になっており、ドライバーは、車の後方はもとより、その全周囲にわたっての映像を視認できるようになってきている。
高精細画素情報を低電力で処理できる画像処理技術が確立されており、カメラからの信号の伝送方式もこれまでのアナログビデオ信号出力方式から、高精細画像情報を安定して伝送出力できる高速シリアルデジタル信号出力方式へ移行中である。
カメラからの画像を利用した運転支援装置として、複数のカメラの画像を合成して、運転者の死角を含め自動車周囲の状況をわかりやすく表示案内する装置が実用化されている。画像を視点変換及び画像合成することにより、撮像画像の視点及び視線とは異なる視点及び視線を有する画像を運転者に提供できるようになっている。
特許文献１においては、仮想視点、仮想視線の方向の変更や、画面の拡大、縮小を行うための操作を簡単にする提案がある。この提案では、シフトレバー操作等のユーザ操作をトリガとして、カメラからの撮像画像を用いて、トップビュー表示、サイドビュー表示、リアビュー表示等への切換えが可能である。
特許第４５３７５３７号公報
しかしながら、従来ビュー表示の切換え時には、ビュー表示とビュー表示との間に無効な黒画を挿入表示しており、ドライバーはこの切換え時に一瞬ではあるが映像情報を取得することができないという課題があった。
また、特許文献１においては、ビュー表示の切換えはユーザ操作をトリガとして実施され、ユーザ操作に対応した視点でのビュー表示が行われる。しかしながら、ドライバーがビュー表示を見ている途中で、視点が異なる他のビュー表示に切換ると、ドライバーは視野に関する感覚を失ってしまうことがあるという課題もあった。例えば、駐車時の車両後進走行途中で視点がいきなり切換ると、ドライバーは後方視野に関する感覚を失い、かえってスムーズな駐車の妨げとなることがある。
本開示は、上述した従来の事情に鑑みて案出され、第１ビュー表示と第２ビュー表示との間に、これらのビュー表示の視点及び視線の変化をスムーズにする１つ以上のビュー表示を挿入し、効果的な運転支援を実現可能な画像処理装置、車載用カメラシステム及び画像処理方法を提供することを目的とする。
本開示は、画像に対する視点変換処理を行う視点変換画像生成部を備え、前記視点変換画像生成部は、入力された画像に対する視点変換処理によって第１視点画像を生成し、前記第１視点画像とは異なる視点及び視線の第２視点画像を生成する前に、前記第１視点画像の視点及び視線と前記第２視点画像の視点及び視線との中間の視点及び視線を有する１つ以上の中間視点画像を生成したうえで、前記第２視点画像を生成する、画像処理装置を提供する。
また、本開示は、前記画像処理装置と、前記第１視点画像に基づく第１ビュー表示、前記１つ以上の中間視点画像に基づく１つ以上の中間ビュー表示及び前記第２視点画像に基づく第２ビュー表示を連続的に表示させるための表示制御を行う表示処理部と、を備える車載用カメラシステムを提供する。
また、本開示は、入力された画像に対する視点変換処理によって第１視点画像を生成し、前記第１視点画像とは異なる視点及び視線の第２視点画像を生成する前に、前記第１視点画像の視点及び視線と前記第２視点画像の視点及び視線との中間の視点及び視線を有する１つ以上の中間視点画像を生成し、前記第２視点画像を生成する、画像処理方法を提供する。
本開示によれば、第１ビュー表示と第２ビュー表示との間に、これらのビュー表示の視点及び視線の変化をスムーズにする１つ以上のビュー画像を挿入し、効果的な運転支援を実現できる。
実施の形態に係る画像処理装置の構成の一例を示すブロック図 図１の画像処理装置が組み込まれて構成されるカメラを含む車載用カメラシステムを示すブロック図 画像メモリ２５の書き込み及び読み出しを説明するための説明図 撮像画像の各領域ＲＷ，ＲＭ，ＲＴと各ビュー表示の表示モードとの関係を説明するための説明図 視点変換処理の結果得られる画像の変化を説明するための説明図 本実施の形態における視点変換処理を示すタイミングチャート 第１ビュー表示、中間ビュー表示及び第２ビュー表示の変化を説明するための説明図
以下、適宜図面を適宜参照しながら、本開示に係る画像処理装置、車載用カメラシステム及び画像処理方法を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるものであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
（実施の形態）
本実施の形態では、本開示に係る画像処理装置及び画像処理方法の一例として、車両に取り付けられたカメラからの撮像画像に対する画像処理に適用した構成例について説明する。
なお、以下の説明では、車載用カメラシステムに組込まれる画像処理装置に適用する例を説明するが、これに限定されるものではなく、各種カメラからの撮像画像を画像処理する汎用の画像処理装置に適用可能である。また、車両に取り付けられた１台のバックカメラからの撮像画像を画像処理する例を説明するが、複数台のカメラからの画像を用いて視点及び視線変換する画像処理にも適用可能である。
図１は、実施の形態に係る画像処理装置の構成の一例を示すブロック図である。また、図２は、図１の画像処理装置が組み込まれて構成されるカメラを含む車載用カメラシステムを示すブロック図である。
図２に示すように、車載用カメラシステムは、主に、カメラ１０及び表示処理部３０を有して構成される。カメラ１０は、自動車の（図示略）の各部に設けられ、自車の周囲を撮像して得た撮像画像を出力し、ケーブル４を介して車両に設けられた表示処理部３０に送信する。
カメラ１０は、イメージセンサ１、画像処理装置２及びシリアライザ３を有して構成される。イメージセンサ１は、ＣＭＯＳセンサ等の撮像素子により構成され、被写体を撮像して撮像信号を画像処理装置２に出力する。
画像処理装置２は、例えば、イメージシグナルプロセッサ（ＩＳＰ：Image Signal Processor）により構成することができる。画像処理装置２は、ＭＰＵ（Micro processing Unit）、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphical Processing Unit）等を含んでよい。画像処理装置２は、イメージセンサ１からの撮像信号に対する所定の画像信号処理によって、撮像画像（動画像）を生成する。また、後述するように、画像処理装置２は、撮像画像に対して、歪補正、視点、視線の変更、サイズ変更等の処理（以下、視点変換処理と称する）を行う。画像処理装置２は、処理後の画像を所定の伝送規格でシリアライザ３に出力する。例えば、画像処理装置２は、ＤＶＰ（Digital Video Port）パラレル出力やＭＩＰＩ（Mobile Industry Processor Interface）シリアル出力が可能である。シリアライザ３は、画像処理装置２から画像を高速シリアルデータに変換してケーブル４を介して伝送する。
表示処理部３０は、主に、デシリアライザ３１、ＥＣＵ表示ＬＳＩ３２及びディスプレイ３３を有して構成される。
デシリアライザ３１は、ケーブル４を介して伝送された画像を受信し、パラレルデータに変換してＥＣＵ表示ＬＳＩ３２に出力する。例えば、デシリアライザ３１によって、受信された画像はＤＶＰパラレル出力に変換される。
ＥＣＵ表示ＬＳＩ３２は、電子制御ユニット（ＥＣＵ：Electronic Control Unit）に構成された表示用のＬＳＩ（Large Scale Integration）であり、入力された画像をディスプレイ３３に対応した表示用データに変換してディスプレイ３３に出力する。
ディスプレイ３３としては、例えば車両のダッシュボード等に配設されたナビゲーション装置のＬＣＤ（液晶表示装置）等を用いたディスプレイを利用することができる。また、近年、自動車のルームミラーやサイドミラー等にＬＣＤ等の表示装置を採用する場合もあり、ディスプレイ３３としては、これらのサイドミラー表示装置又はルームミラー表示装置を採用してもよい。なお、ディスプレイ３３は、ドライバーが運転中に見ることが可能な位置及びサイズに構成される。
ディスプレイ３３は、ＥＣＵ表示ＬＳＩ３２からの表示用データを用いて、表示画面上に画像を表示する。
図１に示すように、画像処理装置２は、主に、制御部２１、前処理部２２、書き込み制御部２３、メモリコントロール回路２４、画像メモリ２５及び視点変換画像生成部２６を有して構成される。なお、メモリコントロール回路２４及び画像メモリ２５は、画像処理装置２の外部に構成されていてもよい。
制御部２１は、ＣＰＵ（Central Processing Unit）等を用いたプロセッサによって構成されていてもよく、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。制御部２１は、画像処理装置２内の各部を制御する。
撮像部１ａは、図１のイメージセンサ１を構成するものであって、自動車（図示略）の各部、例えば前後左右の端部等に取り付けられる。撮像部１ａは、光学レンズ及びＣＭＯＳセンサ等の撮像素子（図示略）により構成されており、図１に示すように、例えば自車の前方、側方、後方等の所定の視野範囲の動画像の撮像を行う。撮像部１ａは、撮像素子により車両周囲の被写体光学像を光学レンズを介して取り込み、光電変換により撮像信号を得る。なお、撮像部１ａは、光学レンズとして例えば広角レンズ（図示略）を採用しており、比較的広角での撮像が可能である。図１の例では、撮像部１ａの視野角は１４８度である。
撮像部１ａからの撮像信号は画像処理装置２に供給される。画像処理装置２の前処理部２２は、制御部２１に制御されて、撮像部１ａの撮像を制御すると共に、撮像部１ａからの撮像信号を取り込む。また、前処理部２２は、撮像信号に対して所定のカラー画像処理を施した後、撮像信号に基づく各画素データをラスタスキャン順に書き込み制御部２３に出力する。
書き込み制御部２３は、制御部２１に制御されて、入力された画素データの画像メモリ２５への書き込みを制御する。書き込み制御部２３は、入力された画素データをラスタスキャン順にメモリコントロール回路２４に与える。
メモリコントロール回路２４は、画像メモリ２５の書き込み及び読み出しを制御するものである。メモリコントロール回路２４は、入力されたラスタスキャン順の画素データを画像メモリ２５の所定のアドレスに書き込むようになっている。また、メモリコントロール回路２４は、視点変換画像生成部２６に制御されて、画像メモリ２５に記憶された画素データを読み出して視点変換画像生成部２６に与える。
画像メモリ２５は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）により構成されており、所定フレーム数の画素データを記憶可能である。画像メモリ２５は、メモリコントロール回路２４に制御されて、撮像信号に基づく画素データを記憶する。画像メモリ２５には、撮像部１ａからの撮像信号に基づいて、各フレームの撮像画像を構成する画素データが順次記憶されることになる。以下、画像メモリ２５に記憶される画素データによって構成される１フレーム分の画像をフレーム現画像（原画像）と称する。
図３は画像メモリ２５の書き込み及び読み出しを説明するための説明図である。
図３の領域ＲＩは撮像部１ａからの撮像信号に基づく撮像画像（フレーム原画像）の範囲を示している。図３の例では、フレーム原画像は、水平１２８０画素×垂直９６０画素の画素データにより構成される。画像メモリ２５は、フレーム原画像を構成する各画素データをその画素位置に対応したアドレスに記憶している。なお、画像メモリ２５は、撮像画像を所定フレーム数分記憶可能である。
本実施の形態においては、第１及び第２の視点変換画像生成部の一例としての視点変換画像生成部２６は、画像メモリ２５に記憶された画素データの読み出し（切出し）を制御することにより、撮像部１ａによる撮像画像（フレーム原画像）に対して視点及び視線を変更した画像を生成することができる。
ところで、撮像部１ａによる撮像画像は、歪曲収差を有する。特に、撮像部１ａは、上述したように広角レンズを採用しており、比較的大きな歪曲収差を有する。このような歪曲収差の歪補正（ＤＣ：Distortion Correction）処理は、歪曲収差の情報に基づいて、フレーム原画像の各画素データについて、歪曲収差に応じた画素位置の変換を行えばよい。即ち、画像メモリ２５に記憶された画素データを、補正すべき画素位置に対応した順番で読み出すことで、ＤＣ処理が可能である。
また、視点変換画像生成部２６は、視点及び視線を変換するために、透視画法（ＰＣ：Perspective Correction）処理を行う。ＰＣ処理についても、画像メモリ２５に記憶された画素データを、変換すべき画素位置に対応した順番で読み出せばよい。ＰＣ処理は、フレーム原画像のサイズを変更するリサイズ処理を含むことになる。
視点変換画像生成部２６は、視点変換処理として、これらのＤＣ処理及びＰＣ処理（以下、ＤＣＰＣ処理と称す）を実行する。ＤＣＰＣ処理は、フレーム原画像のサイズ、ディスプレイ３３の有効表示領域のサイズ、撮像部１ａの広角レンズに関する情報並びに視点及び視線に関する情報等に基づいて、画像メモリ２５に記憶されているフレーム現画像の画素位置と出力すべき画像の画素位置との対応関係から求めることができる。
視点変換画像生成部２６は、この対応関係をルックアップテーブルとして保持するメモリ（図示略）を有する。ルックアップテーブルは、画像メモリ２５に記憶されたフレーム現画像の画素位置座標と、出力する画像の画素位置座標との対応を示すテーブルである。
視点変換画像生成部２６は、ＤＣＰＣ処理のためのルックアップテーブル（図示略）を、視点変換処理の種類、即ち、変換する視点及び視線に対応して複数有している。
視点変換画像生成部２６は、制御部２１によって視点及び視線が指定されることによって、対応するルックアップテーブルを参照して、視点及び視線変換を行った画像を出力する。
なお、視点変換画像生成部２６は、ルックアップテーブルを採用することなく、演算によって視点変換処理を行った画像を出力するようになっていてもよい。視点変換画像生成部２６は、生成した画像を所定の伝送規格でシリアライザ３に出力する。
また、図１の例では、１台の撮像部１ａからの撮像画像のみを画像メモリ２５に記憶させて視点変換画像生成部２６が視点変換処理を行う例を説明したが、複数台の撮像部からの撮像画像を画像メモリ２５に記憶させて、視点変換画像生成部２６が複数の画像を用いた視点変換処理を行うことも可能である。
図３の破線枠はディスプレイ３３の有効表示領域ＲＤの範囲を示しており、図３の例ではそのサイズは水平１２８０画素×垂直７２０画素である。例えば、視点変換画像生成部２６は、図３の撮像画像の領域ＲＩのうち、画面上端側が広く画面下端側が狭い台形状の比較的広い領域ＲＷの画像部分を、ディスプレイ３３の有効表示領域ＲＤに表示するように、画素データの読み出しを行う。なお、視点変換画像生成部２６は、フレーム原画像に含まれない画素位置のデータについては、フィルタ補間処理によって生成する。
また、視点変換画像生成部２６は、例えば、図３の撮像画像の領域ＲＩのうち、画面上端側が狭く画面下端側が広い台形状の比較的広い領域ＲＭの画像部分を、ディスプレイ３３の有効表示領域ＲＤに表示するように、画素データの読み出しを行う。
また、視点変換画像生成部２６は、例えば、図３の撮像画像の領域ＲＩのうち、画面上端側が極めて狭く画面下端側が広い台形状の比較的狭い領域ＲＴの画像部分を、ディスプレイ３３の有効表示領域ＲＤに表示するように、画素データの読み出しを行う。
なお、図３の領域ＲＷ，ＲＭ，ＲＴは、フレーム原画像に対して、視点及び視線変換処理並びにリサイズ処理のために読み出す画像の範囲を示したものである。ＤＣＰＣ処理では、歪曲収差を考慮して画素データの読み出しが行われる。
制御部２１には、ＥＣＵ等から、撮像部１ａの撮像画像に対する視点及び視線の変更を行うための変更指示信号が入力されるようになっている。例えば、制御部２１には、シフトレバーの操作や、ディスプレイ３３等に設けられた図示しないタッチパネル操作等に基づいて、変更指示信号が入力される。制御部２１は、変更指示信号が入力されると、当該変更指示信号に対応した視点変換処理が行われるように、視点変換画像生成部２６を制御するようになっている。これにより、視点変換画像生成部２６は、例えばシフトレバー操作等に応じて、予め設定された視点変換処理を実施して、視点及び視線を変更した動画像を生成する。
図４は撮像画像の上述した各領域ＲＷ，ＲＭ，ＲＴと各ビュー表示の表示モードとの関係を説明するための説明図である。図４は撮像部１ａによる撮像画像の一例を示している。
撮像画像４１の画像サイズは水平１２８０画素×垂直９６０画素であり、垂直方向の画素数は、撮像部１ａの視野角１４８度に対応する。撮像画像４１は、室内の正面の壁に配置された長方形のパネルを撮像して得られたものであり、パネルは水平及び垂直方向に直線状に横６×縦４に分割された２４個のマス目を有する。
室内は水平及び垂直に構築された壁、床及び天井を有しているが、図４の例では、室内の床の画像４２ａ、壁の画像４２ｂ，４２ｃ及び天井の画像４２ｄは、それぞれの境界が湾曲している。これは撮像部１ａに採用されている広角レンズの歪曲収差の影響である。同様に、長方形のパネルの画像４３についても、パネル外周及びマス目が湾曲している。
視点変換画像生成部２６は、歪曲収差の補正、視点及び視線の変更、リサイズ処理のためのＤＣＰＣ処理を実行することで、任意の視点及び視線の歪のない画像を得ることができる。
例えば、視点変換画像生成部２６は、撮像画像４１の撮像範囲中の比較的広い領域ＲＷを切出す領域とし、この領域ＲＷに対応する画像をディスプレイ３３の有効表示領域に表示する画像として出力する。この画像を表示するディスプレイ３３の表示モードは、領域ＲＷがパネルの全域、パネル手前の床、正面の壁及び側方の壁を含む範囲であり、視線が略平行で、近景から遠景までの広い範囲を見る場合の表示モードである。
また、例えば、視点変換画像生成部２６は、撮像画像４１の撮像範囲中の比較的狭い領域ＲＴを切出す領域とし、この領域ＲＴに対応する画像をディスプレイ３３の有効表示領域に表示する画像として出力する。この画像を表示するディスプレイ３３の表示モードは、この領域ＲＴが、主に、パネル下端の一部とパネル手前の床とを含む範囲であり、視線が比較的下向きで、近景を見下ろすように見た場合の表示モードである。
また、例えば、視点変換画像生成部２６は、撮像画像４１の撮像範囲中の領域ＲＭを切出す領域とし、この領域ＲＭに対応する画像をディスプレイ３３の有効表示領域に表示する画像として出力する。この画像を表示するディスプレイ３３の表示モードは、領域ＲＭが、主に、パネルの下半分、パネル手前の床、正面の壁の一部を含む範囲であり、視点及び視線は、領域ＲＷ，ＲＴに対応する表示の間の視点及び視線の表示モードである。
本実施の形態においては、制御部２１は、変更指示信号の入力が行われると、現在の視点及び視線の動画像（以下、第１視点画像と称する）の表示（以下、第１ビュー表示という）から視点変更指示信号に対応する視点及び視線の動画像（以下、第２視点画像と称する）の表示（以下、第２ビュー表示という）に急激に変化しないように、フレーム毎に、徐々に視点及び視線を変更した動画像（以下、中間視点画像と称する）の表示（以下、中間ビュー表示という）を行って、所定フレーム後に目標とする第２ビュー表示に到達するように、視点変換画像生成部２６を制御する。つまり、視点変換画像生成部２６は、第１ビュー表示と第２ビュー表示との間に、視点及び視線が徐々に変化する中間視点画像に基づく１つ以上の中間ビュー表示を行うように、所定フレーム毎（例えば毎フレーム）に異なるＤＣＰＣ処理を実行する。
例えば、図４の領域ＲＷに基づいて視点変換画像生成部２６が生成した画像を第１視点画像とし、図４の領域ＲＴに基づいて視点変換画像生成部２６が生成した画像を第２視点画像とするものとする。この場合には、中間視点画像としては、例えば、領域ＲＴに基づいて視点変換画像生成部２６が生成した画像を用いる。
図５はこのような視点変換処理の結果得られる画像の変化を説明するための説明図である。
図５の左側は、領域ＲＷに基づく第１視点画像が有効表示領域ＲＤに表示される第１ビュー表示を示している。また、図５の右側は、領域ＲＴに基づく第２視点画像が有効表示領域ＲＤに表示される第２ビュー表示を示している。そして、第１ビュー表示から第２ビュー表示への切換えの途中に、領域ＲＭに基づく中間視点画像が有効表示領域ＲＤに表示される中間ビュー表示が行われる。
図５に示すように、中間ビュー表示は、第１ビュー表示から第２ビュー表示への視点及び視線をスムーズにするためのものであり、中間ビュー表示を表示することで、ドライバーは視点及び視線の変化をスムーズに感じることができ、また、視野範囲もスムーズに切換るので、ドライバーが視野感覚を失うことが防止される。
次に、このように構成された実施の形態の動作について図６及び図７を参照して説明する。図６は本実施の形態における視点変換処理を示すタイミングチャートである。また、図７は第１ビュー表示、中間ビュー表示及び第２ビュー表示の変化を説明するための説明図である。
撮像部１ａによって撮像されて得られた撮像信号は、前処理部２２に与えられる。前処理部２２は撮像信号に所定のカラー信号処理を施す。書き込み制御部２３は、前処理部２２からの撮像信号に基づく画素データを、ラスタスキャン順に、メモリコントロール回路２４を介して画像メモリ２５に書き込む。こうして所定フレームのフレーム原画像が画像メモリ２５に記憶される。なお、画像メモリ２５には、フレーム周期でフレーム原画像が順次書き込まれる。
制御部２１は、このような視点変換画像生成部２６によるＤＣＰＣ処理を、ルックアップテーブルを切換えながら所定フレーム毎（例えば毎フレーム）実施させる。視点変換画像生成部２６によって生成された画像は、シリアライザ３、ケーブル４及びデシリアライザ３１を介してＥＣＵ表示ＬＳＩ３２に供給され、ディスプレイ３３の表示画面上に表示される。こうして、撮像部１ａから毎フレーム入力される撮像信号に基づいて、ディスプレイ３３に動画像が表示される。
本実施形態では、制御部２１は、視点及び視線の変化がスムーズとなるように、視点変換処理を実施させる。
図６はこの制御を示しており、制御部２１は、ドライバーの何らかの操作に応答して、第ｎフレームまでは、第１ビュー表示のための第１視点画像を発生させて表示させる。また、制御部２１は、第ｎ＋ｍフレームにおいて、第２ビュー表示のための第２視点画像を発生させて表示させる。そして、制御部２１は、第ｎ＋１〜第ｎ＋ｍ−１フレームの間、第１ビュー表示と第２ビュー表示との視点及び視線の変化をスムーズにするための第１〜第ｍ−１中間ビュー表示のための複数の中間視点画像を発生させて表示させる。
制御部２１は、毎フレーム異なる視点及び視線の中間ビュー表示を表示させてもよく、数フレーム毎に中間ビュー表示の視点及び視線を切換えるようになっていてもよい。
図７は第１ビュー表示と第２ビュー表示との間に３つの中間ビュー表示を表示する場合の例を示している。図７は、左側に画像メモリ２５から切出す領域を示し、右側にディスプレイ３３の有効表示領域ＲＤへの表示を示しており、上から下に向かって時間の変化に応じた状態を示している。図７の領域ＲＩはフレーム原画像の範囲を示している。
例えば、車両を後退させて駐車場に停車させる場合を例に動作を説明する。いま、説明を簡単にするために、撮像部１ａが自動車の後端に取り付けられ、撮像部１ａからの撮像信号のみが画像処理装置２に入力されるものとする。
ここで、ドライバーが自動車を後退させながら駐車場に停止させるものとする。制御部２１は、ドライバーのシフトレバーの操作によりバックギヤが入ると、ディスプレイ３３に表示させる画像を第１視点画像とするように各部を制御する。図７の領域ＲＷはこの場合に第１視点画像の生成に用いられる画像の範囲を示しており、視点変換画像生成部２６は、例えばルックアップテーブルを用いたＤＣＰＣ処理によって領域ＲＷの画素データを切出して、ディスプレイ３３の有効表示領域ＲＤに対応するサイズに変換する。
これにより、ディスプレイ３３の表示画面には、第１視点画像による第１ビュー表示ＶＲＷが行われる（図７参照）。ドライバーは第１ビュー表示ＶＲＷを見ることで、自動車後方の広い範囲を確認することができる。
一般的には、バック駐車では、自動車を回転させながら後退させ、所定のタイミングで後方に略直進するようにハンドル操作を行うことが多い。そこで、制御部２１は、後方に略直進させるようにハンドル操作が行われたときを起点に、第１ビュー表示から中間ビュー表示への切換え、即ち、ＤＣＰＣ処理に用いるルックアップテーブルの切換えを開始させ、最終的に第２ビュー表示を表示させることができる。
図７の例では、視点及び視線をスムーズに切換えるために、３つの中間ビュー表示ＶＲＭ１，ＶＲＭ２，ＶＲＭ３を採用する例を示している。後方に略直進させるようにハンドル操作が行われると、視点変換画像生成部２６は、次のフレームにおいて、ＤＣＰＣ処理に用いるルックアップテーブルを切換えて、図７の領域ＲＭ１の画素データに対応する第１中間視点画像を生成する。この第１中間視点画像がディスプレイ３３に供給されて、第１中間ビュー表示ＶＲＭ１が行われる。
更に、視点変換画像生成部２６は、第１中間ビュー表示ＶＲＭ１への切換えから所定時間後にＤＣＰＣ処理に用いるルックアップテーブルを切換えて、図７の領域ＲＭ２の画素データに対応する第２中間視点画像を生成する。この第２中間視点画像がディスプレイ３３に供給されて、第２中間ビュー表示ＶＲＭ２が行われる。
更に、視点変換画像生成部２６は、第２中間ビュー表示ＶＲＭ２への切換えから所定時間後にＤＣＰＣ処理に用いるルックアップテーブルを切換えて、図７の領域ＲＭ３の画素データに対応する第３中間視点画像を生成する。この第３中間視点画像がディスプレイ３３に供給されて、第３中間ビュー表示ＶＲＭ３が行われる。
更に、視点変換画像生成部２６は、第３中間ビュー表示ＶＲＭ３への切換えから所定時間後にＤＣＰＣ処理に用いるルックアップテーブルを切換えて、図７の領域ＲＴの画素データに対応する第２視点画像を生成する。この第２視点画像がディスプレイ３３に供給されて、第２ビュー表示ＶＲＴが行われる。
このように、バック駐車の開始時点では、第１ビュー表示ＶＲＷによって後方の広い範囲の視野を確保すると共に、バック駐車の完了直前時には、第２ビュー表示ＶＲＴによって、車両後端のバンパー（図示略）と地面の至近距離の拡大表示が可能である。第２ビュー表示ＶＲＴにより、駐車範囲の後端の確認が容易であり、駐車範囲内に確実に停車させるための運転支援が効果的に行われて、脱輪、歩道への乗り上げ、壁面との接触、設置ポールへのバンパー激突等を防ぐことができる。
また、ＤＣＰＣ処理に用いられる図７の各領域ＲＷ，ＲＭ１，ＲＭ２，ＲＭ３，ＲＴの比較から明らかなように、第１ビュー表示ＶＲＷから第２ビュー表示ＶＲＴへの切換えに際して、視点及び視線をスムーズに変化させる第１〜第３中間ビュー表示ＶＲＭ１〜ＶＲＭ３が行われる。これにより、ドライバーは、後方視野に関する感覚を失うことなく、ディスプレイ３３の表示から確実な後方確認が可能である。
このように本実施の形態においては、ビュー表示の切換りに際して、黒画像を表示させておらず、切換り時においてもビュー表示が連続的に表示される。また、第１ビュー表示と第２ビュー表示との間に、視点及び視線の変化をスムーズにするための１枚以上の中間ビュー表示を表示させており、ドライバーの視野の確認を極めて容易にしている。
実際の視覚においても視野は一定でありながら注視したいものを脳内でズームして視覚情報を詳細確認している。このような人の脳内視覚活動にタイミングを合わせるように、フレーム毎制御によって中間ビュー表示を生成して連続的に表示させることで、ドライバーに違和感を感じさせることなく視点及び視線の変更が可能である。
また、このようなビュー表示の切換えを、カメラに内蔵される画像処理装置によって実現しており、車載用カメラシステム内のＥＣＵにおいて、ビュー表示切換えのための処理負荷が増大することを防止することができる。
以上のように、実施の形態の画像処理装置は、視点変換画像生成部２６が、入力された画像に対する視点変換処理によって第１視点画像を生成する。また、視点変換画像生成部２６は、第１視点画像とは異なる視点及び視線の第２視点画像を生成する。視点変換画像生成部２６は、第１視点画像の生成と第２視点画像の生成との間に、第１視点画像の視点及び視線と第２視点画像の視点及び視線との中間の視点及び視線を有する１つ以上の中間視点画像を生成する。
これにより、第１視点画像から第２視点画像までの視点及び視線の変化がスムーズとなり、動画像の確認が極めて容易となる。
また、実施形態の画像処理装置では、視点変換画像生成部２６は、フレーム毎に前記視点変換処理を実施する。これにより、視点及び視線をフレーム毎に変化させることが可能となり、極めてスムーズで見やすい動画像表示が可能となる。
また、実施形態の画像処理装置では、視点変換画像生成部２６は、第１視点画像から第２視点画像に向かって視点及び視線の変化の方向が同一となる視点及び視線を有する複数の中間視点画像を生成する。これにより、視点及び視線の変化をスムーズにすることができ、視野に関する感覚が失われることを防止することができる。
また、実施形態の画像処理装置では、視点変換画像生成部２６は、歪補正処理及び透視画法処理によって視点変換処理を実現する。これにより、入力された画像の歪曲収差が補正されて、歪のない所望の視点及び視線の所望のサイズの画像を取得できる。
また、実施形態の画像処理装置では、視点変換画像生成部２６は、ユーザ操作に基づいて前記視点変換処理を実施する。これにより、ユーザの何らかの操作、例えば、シフトレバー操作やハンドル操作等によって、視点変換処理が実施されて、異なる視点及び視線の画像が得られる。
また、実施形態の画像処理装置では、視点変換画像生成部２６は、人の脳内視覚活動に対応して複数の中間視点画像を生成する。これにより、人の脳内視覚活動に応じた視点及び視線の変化で動画像表示が可能となる。
また、本実施形態の車載カメラシステムは、画像処理装置２と、画像の表示制御を行う表示処理部３０とを備え、表示処理部３０は、第１視点画像に基づく第１ビュー表示、１つ以上の中間視点画像に基づく１つ以上の中間ビュー表示及び第２視点画像に基づく第２ビュー表示を連続的に表示させる。これにより、各ビュー表示の切換りに際して、黒画像を表示させずに、各ビュー表示を連続的に表示させることができる。また、第１ビュー表示と第２ビュー表示との間には、視点及び視線の変化をスムーズにする１つ以上の中間ビュー表示が表示されるので、第１ビュー表示から第２ビュー表示に表示が変化する場合でも、スムーズな表示が可能であり、視野感覚が失われることを防止することができる。
また、実施形態の車載カメラシステムでは、表示処理部３０は、第１ビュー表示、１つ以上の中間ビュー表示及び第２ビュー表示を、自動車のサイドミラー表示装置又はルームミラー表示装置に表示する。これにより、サイドミラー表示装置又はルームミラー表示装置において、車両後退時に、視点及び視線がスムーズに変化する表示が可能である。
また、実施形態の画像処理方法は、視点変換画像生成部２６は、入力された画像に対する視点変換処理によって第１視点画像を生成する。視点変換画像生成部２６は、第１視点画像とは異なる視点及び視線の第２視点画像を生成する前に、第１視点画像の視点及び視線と第２視点画像の視点及び視線との中間の視点及び視線を有する１つ以上の中間視点画像を生成する。これにより、第１視点画像、１つ以上の中間視点画像及び第２視点画像が順次生成されることになり、視点及び視線がスムーズに変化する動画像が得られる。
以上、図面を参照しながら各種の実施の形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した実施の形態における各構成要素を任意に組み合わせてもよい。
本開示は、効果的な運転支援を実現可能な画像処理装置、車載用カメラシステム及び画像処理方法として有用である。
１ イメージセンサ
１ａ 撮像部
２ 画像処理装置
３ シリアライザ
４ ケーブル
１０ カメラ
２１ 制御部
２２ 前処理部
２３ 書き込み制御部
２４ メモリコントロール回路
２５ 画像メモリ
２６ 視点変換画像生成部
３０ 表示処理部
３１ デシリアライザ
３２ ＥＣＵ表示ＬＳＩ
３３ ディスプレイ
４１ 撮像画像

Claims (10)

  1. 画像に対する視点変換処理を行う視点変換画像生成部を備え、
    前記視点変換画像生成部は、
    入力された画像に対する視点変換処理によって第１視点画像を生成し、
    前記第１視点画像とは異なる視点及び視線の第２視点画像を生成する前に、前記第１視点画像の視点及び視線と前記第２視点画像の視点及び視線との中間の視点及び視線を有する１つ以上の中間視点画像を生成したうえで、
    前記第２視点画像を生成する、
    画像処理装置。
  2. 請求項１に記載の画像処理装置であって、
    前記視点変換画像生成部は、フレーム毎に前記視点変換処理を実施する、画像処理装置。
  3. 請求項１に記載の画像処理装置であって、
    前記視点変換画像生成部は、前記第１視点画像から前記第２視点画像に向かって視点及び視線の変化の方向が同一となる視点及び視線を有する複数の中間視点画像を生成する、画像処理装置。
  4. 請求項１に記載の画像処理装置であって、
    前記視点変換画像生成部は、歪補正処理及び透視画法処理によって前記視点変換処理を実現する、画像処理装置。
  5. 請求項１に記載の画像処理装置であって、
    前記視点変換画像生成部は、ユーザ操作に基づいて前記視点変換処理を実施する、画像処理装置。
  6. 請求項５に記載の画像処理装置であって、
    前記視点変換画像生成部は、人の脳内視覚活動に対応して複数の前記中間視点画像を生成する、画像処理装置。
  7. 請求項１に記載の画像処理装置であって、
    前記視点変換画像生成部は、
    前記入力された画像に対する視点変換処理によって第１視点画像を生成すると共に、前記第１視点画像とは異なる視点及び視線の第２視点画像を生成する第１の視点変換画像生成部と、
    前記第１視点画像の生成と前記第２視点画像の生成との間に、前記第１視点画像の視点及び視線と前記第２視点画像の視点及び視線との中間の視点及び視線を有する１つ以上の中間視点画像を生成する第２の視点変換画像生成部と、を有する、
    画像処理装置。
  8. 請求項１に記載の画像処理装置と、
    前記第１視点画像に基づく第１ビュー表示、前記１つ以上の中間視点画像に基づく１つ以上の中間ビュー表示及び前記第２視点画像に基づく第２ビュー表示を連続的に表示させるための表示制御を行う表示処理部と、
    を備える車載用カメラシステム。
  9. 請求項８に記載の車載用カメラシステムであって、
    前記表示処理部は、前記第１ビュー表示、１つ以上の中間ビュー表示及び第２ビュー表示を、自動車のサイドミラー表示装置又はルームミラー表示装置に表示する、車載用カメラシステム。
  10. 入力された画像に対する視点変換処理によって第１視点画像を生成し、
    前記第１視点画像とは異なる視点及び視線の第２視点画像を生成する前に、前記第１視点画像の視点及び視線と前記第２視点画像の視点及び視線との中間の視点及び視線を有する１つ以上の中間視点画像を生成したうえで、
    前記第２視点画像を生成する、
    画像処理方法。
JP2019025645A 2019-02-15 2019-02-15 画像処理装置、車載用カメラシステム及び画像処理方法 Pending JP2020135206A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019025645A JP2020135206A (ja) 2019-02-15 2019-02-15 画像処理装置、車載用カメラシステム及び画像処理方法
US16/781,701 US10926639B2 (en) 2019-02-15 2020-02-04 Image processing device, in-vehicle camera system and image processing method
CN202010091846.6A CN111572450B (zh) 2019-02-15 2020-02-13 图像处理装置、车载照相机系统和图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019025645A JP2020135206A (ja) 2019-02-15 2019-02-15 画像処理装置、車載用カメラシステム及び画像処理方法

Publications (1)

Publication Number Publication Date
JP2020135206A true JP2020135206A (ja) 2020-08-31

Family

ID=72040541

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019025645A Pending JP2020135206A (ja) 2019-02-15 2019-02-15 画像処理装置、車載用カメラシステム及び画像処理方法

Country Status (3)

Country Link
US (1) US10926639B2 (ja)
JP (1) JP2020135206A (ja)
CN (1) CN111572450B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113400937B (zh) * 2021-04-15 2022-05-24 浙江吉利控股集团有限公司 车辆娱乐信息显示系统及车辆
CN117541517B (zh) * 2024-01-05 2024-03-08 深圳市欧冶半导体有限公司 Cms的双曲率成像方法、装置、计算机设备和存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001339715A (ja) * 2000-05-25 2001-12-07 Matsushita Electric Ind Co Ltd 運転支援装置
JP2003134507A (ja) * 2001-10-24 2003-05-09 Nissan Motor Co Ltd 車両後方監視装置
JP2004222195A (ja) * 2003-01-17 2004-08-05 Denso Corp 車両周辺画像表示装置
JP2006171849A (ja) * 2004-12-13 2006-06-29 Nissan Motor Co Ltd 画像処理装置
WO2009144994A1 (ja) * 2008-05-29 2009-12-03 富士通株式会社 車両用画像処理装置、車両用画像処理方法
JP2011244239A (ja) * 2010-05-19 2011-12-01 Fujitsu General Ltd 運転支援装置
WO2011158609A1 (ja) * 2010-06-15 2011-12-22 アイシン精機株式会社 運転支援装置
JP2012066700A (ja) * 2010-09-24 2012-04-05 Denso Corp 車両用の後退駐車支援装置および後退駐車支援装置用のプログラム
JP2013085142A (ja) * 2011-10-11 2013-05-09 Honda Motor Co Ltd 車両の運転支援装置
JP2016127329A (ja) * 2014-12-26 2016-07-11 株式会社Ｊｖｃケンウッド 撮像システム
JP2016208368A (ja) * 2015-04-24 2016-12-08 富士通テン株式会社 画像処理装置、画像処理方法および車載装置
JP2017529517A (ja) * 2014-06-27 2017-10-05 コノート、エレクトロニクス、リミテッドＣｏｎｎａｕｇｈｔ Ｅｌｅｃｔｒｏｎｉｃｓ Ｌｔｄ． 自動車に接近する対象車両を自動車のカメラシステムにより追跡する方法、カメラシステムおよび自動車

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4727329B2 (ja) * 2005-07-15 2011-07-20 パナソニック株式会社 画像合成装置及び画像合成方法
JP5013773B2 (ja) * 2006-08-18 2012-08-29 パナソニック株式会社 車載画像処理装置及びその視点変換情報生成方法
JP4642723B2 (ja) * 2006-09-26 2011-03-02 クラリオン株式会社 画像生成装置および画像生成方法
JP4257356B2 (ja) * 2006-09-26 2009-04-22 株式会社日立製作所 画像生成装置および画像生成方法
JPWO2010007960A1 (ja) 2008-07-14 2012-01-05 クラリオン株式会社 車載用カメラの視点変換映像システム及び視点変換映像取得方法
JP2010274813A (ja) * 2009-05-29 2010-12-09 Fujitsu Ten Ltd 画像生成装置及び画像表示システム
JP5483120B2 (ja) * 2011-07-26 2014-05-07 アイシン精機株式会社 車両周辺監視システム
CN104012088B (zh) * 2012-11-19 2016-09-28 松下知识产权经营株式会社 图像处理装置以及图像处理方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001339715A (ja) * 2000-05-25 2001-12-07 Matsushita Electric Ind Co Ltd 運転支援装置
JP2003134507A (ja) * 2001-10-24 2003-05-09 Nissan Motor Co Ltd 車両後方監視装置
JP2004222195A (ja) * 2003-01-17 2004-08-05 Denso Corp 車両周辺画像表示装置
JP2006171849A (ja) * 2004-12-13 2006-06-29 Nissan Motor Co Ltd 画像処理装置
WO2009144994A1 (ja) * 2008-05-29 2009-12-03 富士通株式会社 車両用画像処理装置、車両用画像処理方法
JP2011244239A (ja) * 2010-05-19 2011-12-01 Fujitsu General Ltd 運転支援装置
WO2011158609A1 (ja) * 2010-06-15 2011-12-22 アイシン精機株式会社 運転支援装置
JP2012066700A (ja) * 2010-09-24 2012-04-05 Denso Corp 車両用の後退駐車支援装置および後退駐車支援装置用のプログラム
JP2013085142A (ja) * 2011-10-11 2013-05-09 Honda Motor Co Ltd 車両の運転支援装置
JP2017529517A (ja) * 2014-06-27 2017-10-05 コノート、エレクトロニクス、リミテッドＣｏｎｎａｕｇｈｔ Ｅｌｅｃｔｒｏｎｉｃｓ Ｌｔｄ． 自動車に接近する対象車両を自動車のカメラシステムにより追跡する方法、カメラシステムおよび自動車
JP2016127329A (ja) * 2014-12-26 2016-07-11 株式会社Ｊｖｃケンウッド 撮像システム
JP2016208368A (ja) * 2015-04-24 2016-12-08 富士通テン株式会社 画像処理装置、画像処理方法および車載装置

Also Published As

Publication number Publication date
US10926639B2 (en) 2021-02-23
CN111572450B (zh) 2023-05-23
US20200262296A1 (en) 2020-08-20
CN111572450A (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
US10462372B2 (en) Imaging device, imaging system, and imaging method
JP4766841B2 (ja) 車両に搭載されるカメラ装置及び車両周辺監視装置
US20120120240A1 (en) Video image conversion device and image capture device
JP2005311868A (ja) 車両周辺視認装置
WO2015141606A1 (en) Information processing method, information processing device, and program
JP2007141098A (ja) 画像処理装置及び画像処理方法
JP5064201B2 (ja) 画像表示システム及びカメラ出力制御方法
JP2011193485A (ja) 車両に搭載されるカメラ装置及び車両周辺監視装置
JP2006180340A (ja) 映像信号処理装置とその方法及び車載カメラシステム
CN111572450B (zh) 图像处理装置、车载照相机系统和图像处理方法
JP2007293457A (ja) 画像処理装置
JP5168186B2 (ja) 画像処理装置
JP4791222B2 (ja) 表示制御装置
JP2008162308A (ja) 車両用撮像装置及び車両用画像処理装置
JP2012085268A (ja) 撮像装置、撮像システム及び撮像方法
JP6118936B2 (ja) 画像処理装置
JP2008153882A (ja) 撮像表示システム
JP2008117369A (ja) 半導体集積回路装置および描画処理表示システム
JP6906576B2 (ja) 画像処理装置、画像処理方法および車載装置
JP2009218919A (ja) 車両用画像表示装置
JP4407246B2 (ja) 車両周辺モニタシステムおよび車両周辺モニタ方法
JP7547310B2 (ja) 撮像システム、移動装置、撮像方法およびプログラム
JP4655473B2 (ja) 車両周囲画像変換装置
JP2024106871A (ja) 画像処理システム、移動体、画像処理方法、およびコンピュータプログラム
TWM506429U (zh) 側視行車影像系統

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221025

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230425