JP2014089513A - 画像生成装置、および画像生成プログラム - Google Patents

画像生成装置、および画像生成プログラム Download PDF

Info

Publication number
JP2014089513A
JP2014089513A JP2012237922A JP2012237922A JP2014089513A JP 2014089513 A JP2014089513 A JP 2014089513A JP 2012237922 A JP2012237922 A JP 2012237922A JP 2012237922 A JP2012237922 A JP 2012237922A JP 2014089513 A JP2014089513 A JP 2014089513A
Authority
JP
Japan
Prior art keywords
image
display
recorded
image generation
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012237922A
Other languages
English (en)
Other versions
JP2014089513A5 (ja
Inventor
Hirohiko Yanagawa
博彦 柳川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2012237922A priority Critical patent/JP2014089513A/ja
Priority to US14/426,471 priority patent/US20150217692A1/en
Priority to PCT/JP2013/005993 priority patent/WO2014068856A1/ja
Priority to CN201380056682.1A priority patent/CN104756171A/zh
Publication of JP2014089513A publication Critical patent/JP2014089513A/ja
Publication of JP2014089513A5 publication Critical patent/JP2014089513A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/106—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using night vision cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】複数の撮像部から得られた情報に基づいて画像を生成する画像生成装置、および画像生成プログラムにおいて、駐車時の支援とドライブレコーダとの両方に利用できるようにする。
【解決手段】画像表示システム１において画像処理部１０は、表示画像合成部２３の機能を用いて、複数の画像のうちの少なくとも一部から表示部４１に表示させるための表示画像を生成する。また、記録画像合成部２４の機能を用いて、複数の画像のうちの少なくとも一部から表示画像とは異なる、記録用の記録画像を生成する。
このような画像表示システム１によれば、表示画像と記録画像とを別々に生成するので、表示画像を用いて駐車時の支援を行い、記録画像をドライブレコーダにて記録することができる。よって、画像表示システム１を駐車時の支援とドライブレコーダとの両方に利用することができる。
【選択図】図１

Description

本発明は、複数の撮像部から得られた情報に基づいて画像を生成する画像生成装置、および画像生成プログラムに関する。
上記の画像生成装置として、複数の画像から自車両を上空から見たと仮定したトップビュー画像を生成し、駐車時の支援に用いるものが知られている（例えば特許文献１参照）。
特開平０３−０９９９５２号公報
ところで近年では、事故時の画像（事故画像）を記録するドライブレコーダを設置する要求が高まっている。そこで、駐車時の支援に用いるトップビュー画像を事故画像として記録することが考えられるが、トップビュー画像には、信号の灯色等の周囲の様子が含まれないことが多く、事故の状況を把握するためには適さないという問題点があった。
そこで、このような問題点を鑑み、複数の撮像部から得られた情報に基づいて画像を生成する画像生成装置、および画像生成プログラムにおいて、駐車時の支援とドライブレコーダとの両方に利用できるようにすることを本発明の目的とする。
かかる目的を達成するために成された画像生成装置において、表示画像生成手段は、複数の画像のうちの少なくとも一部から表示部に表示するための表示画像を生成する。また、記録画像生成手段は、複数の画像のうちの少なくとも一部から表示画像とは異なる、記録用の記録画像を生成する。
このような画像生成装置によれば、表示画像と記録画像とを別々に生成するので、表示に適した表示画像を用いて駐車時の支援を行い、記録に適した記録画像をドライブレコーダの機能にて記録することができる。よって、画像生成装置を駐車時の支援とドライブレコーダの機能との両方に利用することができる。
なお、本発明の画像生成装置においては、一時的に表示画像と記録画像とが同一となったとしても、表示画像と記録画像とが異なる時期があれば構わない。また、表示画像および記録画像のうちの少なくとも一方の画像が、複数の撮像部から得られた画像を合成したものであってもよい。
さらに、上記目的を達成するためには、コンピュータを、画像生成装置を構成する各手段として機能させるための画像生成プログラムとしてもよい。また、各請求項の記載は、可能な限りにおいて任意に組み合わせることができる。この際、発明の目的を達成できる範囲内において一部構成を除外してもよい。
本発明が適用された画像表示システム１の概略構成を示すブロック図である。 画像処理部１０のＣＰＵ１１が実行する画像生成処理を示すフローチャートである。 画像生成処理のうちの画像選択処理を示すフローチャートである。 表示画像と記録画像との組み合わせの一例を示す説明図である。
以下に本発明にかかる実施の形態を図面と共に説明する。
［本実施形態の構成］
本発明が適用された画像表示システム１は、例えば乗用車等の車両に搭載されており、複数の撮像画像に基づいて、表示用に利用される表示画像と、記録用に利用される記録画像とを生成する機能を有する。詳細には、図１に示すように、画像表示システム１は、複数のカメラ３１〜３５と、画像処理部１０と、表示部４１と、記録部４２とを備えている。
複数のカメラ３１〜３５としては、自車両の後方を撮像範囲とするリアカメラ３１、自車両の左側および右側をそれぞれ撮像範囲とする左カメラ３２および右カメラ３３、自車両の前方を撮像範囲とするフロントカメラ３４およびナイトビューカメラ３５を備えている。なお、ナイトビューカメラ３５はフロントカメラ３４と概ね同様の撮像範囲を有するが、フロントカメラ３４とは異なり暗視カメラとしての機能を有する。
また、リアカメラ３１、左カメラ３２、右カメラ３３、およびフロントカメラ３４による撮像範囲は一部が重複し、これらのカメラからの画像を組み合わせることで、自車両全周の画像が得られるよう設定されている。
次に、表示部４１は周知のディスプレイとして構成されている。この表示部４１は、画像処理部１０によって生成された表示画像を表示させる。
記録部４２は、画像を記録可能な周知のレコーダとして構成されている。記録部４２は、画像処理部１０によって生成された記録画像を記録する。なお、記録部４２は、所定時間分（例えば１時間程度）の画像を記録可能であり、所定時間分の画像を記録後は古い画像から順に上書きする。
画像処理部１０は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３等を備えた周知のコンピュータとして構成されている。画像処理部１０のＣＰＵ１１は、ＲＯＭ１２等に記録されたプログラム（画像生成プログラムを含む）に基づいて、後述する画像生成処理等の各種処理を実施する。
画像処理部１０は、ＣＰＵ１１が実行する処理として、状況推定部２１、画像入力・変換部２２、表示画像合成部２３、および記録画像合成部２４としての機能を備えている。状況推定部２１としての機能では、自車両に設けられた各種センサから、シフトレンジ（シフトポジション）の情報、車速の情報、照度センサによる車両周囲の明るさの情報、ユーザによる操作の情報等を受け、自車両の走行状態や走行環境を推定し、どのような画像を生成するかを選択する。
また、画像入力・変換部２２としての機能では、表示または記録する画像の選択結果に基づいて、これらの画像を生成するために必要な画像を入力し、自車両を上空から見たときの画像を表すトップビュー画像や後方パノラマ画像等、加工が必要な画像を生成する。なお、トップビュー画像は、自車両の全周を撮像範囲とする複数のカメラ３１〜３４による画像の組み合わせから得られる画像であり、この画像を得るための処理は周知技術である。また、後方パノラマ画像は、リアカメラ３１、左カメラ３２、および右カメラ３３による撮像画像を組み合わせることで自車両の側方から後方を撮像範囲とする画像であり、この画像を得るための処理についても周知技術である。
表示画像合成部２３および記録画像合成部２４としての機能では、画像入力・変換部２２の機能で取得または生成した複数の画像のうちから、１または複数の画像を選択し、表示または記録するための画像を生成する。そして、表示画像合成部２３の機能は生成した画像を表示部４１に出力し、記録画像合成部２４の機能は生成した画像を記録部４２に出力する。
［本実施形態の処理］
このように構成された画像表示システム１において、画像処理部１０（ＣＰＵ１１）は、図２に示す画像生成処理を実施する。画像生成処理は、例えば車両の電源が投入されると開始される処理である。
画像生成処理では、図２に示すように、まず、カメラ３１〜３５による撮像画像を取得する（Ｓ１１０）。そして、状況推定部２１として機能を利用して画像選択処理を実施する（Ｓ１３０）。画像選択処理は、自車両の走行状態または走行環境に応じて生成する画像態様を設定する処理である。
詳細には、図３に示すように、まず、シフトポジションがＲ（リバース）であるか否かを判定する（Ｓ２１０）。シフトポジションがＲであれば（Ｓ２１０：ＹＥＳ）、低速取り回し（後退）を選択し（Ｓ２２０）、画像選択処理を終了する。
シフトポジションがＲでなければ（Ｓ２１０：ＮＯ）、自車両の速度が低速であるか否かを判定する（Ｓ２３０）。ここで、「低速」とは、自車両がすれ違いや駐車のために速度を落として走行していることを示し、例えば時速３０ｋｍ／ｈ未満の状態を示す。
自車両の速度が低速であれば（Ｓ２３０：ＹＥＳ）、低速取り回し（前進）を選択し（Ｓ２４０）、画像選択処理を終了する。自車両の速度が低速でなければ（Ｓ２３０：ＮＯ）、ヘッドライトおよびナイトビューカメラ３５を使用する旨のナイトビュースイッチがオンされているか否かを判定する（Ｓ２５０）。
ヘッドライトおよびナイトビューカメラ３５がオンされていれば（Ｓ２５０：ＹＥＳ）、中・高速走行（夜間）を選択し（Ｓ２６０）、画像選択処理を終了する。また、ヘッドライトまたはナイトビューカメラ３５がオフであれば（Ｓ２５０：ＮＯ）、中・高速走行（昼間）を選択し（Ｓ２７０）、画像選択処理を終了する。
このような画像選択処理が終了すると、図２に戻り、画像入力・変換部２２および表示画像合成部２３としての機能を利用して、表示画像を合成し（Ｓ１４０）、表示画像を表示部４１に出力する（Ｓ１５０）。また、画像入力・変換部２２および記録画像合成部２４としての機能を利用して、記録画像を合成し（Ｓ１６０）、記録画像を記録部４２に出力する（Ｓ１７０）。
ここで、Ｓ１４０およびＳ１６０の処理について生成される具体的な画像態様について以下に説明する。
画像選択処理において低速取り回し（後退）が選択された場合には、図４に示すように、表示画像合成部２３および記録画像合成部２４の機能では、トップビュー画像およびフロントカメラ３４の画像を並べた画像を生成する。また、画像選択処理において低速取り回し（前進）が選択された場合には、表示画像合成部２３および記録画像合成部２４の機能では、トップビュー画像およびリアカメラ３１の画像を並べた画像を生成する。低速移動時には、進行方向および車両の周囲を確認しながら車両を移動することが好ましいため、運転者を支援するため、および記録するために、このようにトップビュー画像および進行方向の画像を生成する。
なお、低速取り回し（前進）および低速取り回し（後退）が選択された場合には、本実施形態では表示画像合成部２３および記録画像合成部２４の機能を利用して同様の画像を生成するよう説明したが、例えば、記録画像合成部２４の機能では記録画像に含まれるトップビュー画像の占める面積の割合を表示画像よりも大きくするなど、表示画像とは異なる画像を生成してもよい。このとき、画像入力・変換部２２の機能を用いて準備した表示画像のための画像と共通の画像を記録画像に採用することで、処理負荷の軽減を図っている。
また、画像選択処理において中・高速走行（昼間）が選択された場合には、表示画像合成部２３の機能では、後方パノラマ画像を生成し、記録画像合成部２４の機能では後方パノラマ画像よりも画角（画像に表示される範囲）が広いトップビュー画像およびフロントカメラ３４の画像を並べた画像を生成する。
自車両の速度が比較的速いときは、高速移動時に確認しづらくなる後方の画像を表示画像として生成することで運転支援をする。また、記録画像としては進行方向が含まれる画像を採用する。
さらに、画像選択処理において中・高速走行（夜間）が選択された場合には、表示画像合成部２３の機能では、ナイトビューカメラ３５による画像をそのまま取得した原画像を生成し、記録画像合成部２４の機能ではトップビュー画像およびフロントカメラ３４の画像を並べた画像を生成する。このとき、記録画像としては、トップビュー画像およびナイトビューカメラ３５による画像としてもよい。
［本実施形態による効果］
以上のように詳述した画像表示システム１において画像処理部１０は、表示画像合成部２３の機能を用いて、複数の画像のうちの少なくとも一部から表示部４１に表示させるための表示画像を生成する。また、記録画像合成部２４の機能を用いて、複数の画像のうちの少なくとも一部から表示画像とは異なる、記録用の記録画像を生成する。
このような画像表示システム１によれば、表示画像と記録画像とを別々に生成するので、表示画像を用いて駐車時の支援を行い、記録画像をドライブレコーダの機能にて記録することができる。よって、画像表示システム１を駐車時の支援とドライブレコーダの機能との両方に利用することができる。
また、上記画像表示システム１において画像処理部１０は、表示画像よりも画像内に含まれる領域が広い記録画像を生成する。
このような画像処理部１０によれば、より撮像範囲の広い画像を撮像画像として記録することができる。よって、自車両が他の物体と衝突する場合、他の物体の接近方向等の周辺状況を良好に記録することができる。
さらに、上記画像表示システム１において画像処理部１０は、あるカメラ３１〜３５から入力される撮像画像をそのまま取り込んだ原画像（撮像画像の一部領域を削除していない画像）を含む画像を記録画像として生成する。
このような画像処理部１０によれば、カメラ３１〜３５からの撮像画像に含まれる全領域を利用する原画像を含む画像を記録画像として生成するので、より広範囲が撮像された画像を生成することができる。
また、上記画像表示システム１において画像処理部１０は、自車両の進行方向が撮像された画像を含む記録画像を生成する。
このような画像処理部１０によれば、自車両の進行方向を確実に記録画像に含むことができる。
さらに、上記画像表示システム１において画像処理部１０は、自車両の走行状態または走行環境に応じて生成する画像態様を変更する。
このような画像処理部１０によれば、自車両の走行状態または走行環境に応じて最適な画像を生成することができる。
また、上記画像表示システム１において画像処理部１０は、複数の画像が含まれる記録画像を生成し、複数の画像のうちの一部の画像は表示画像の少なくとも一部としている。
このような画像処理部１０によれば、表示画像の一部をそのまま記録画像にも利用するので、記録画像を生成する際の処理負荷を軽減することができる。
さらに、上記画像表示システム１において画像処理部１０は、トップビュー画像を含む記録画像を生成する。
このような画像処理部１０によれば、自車両が他の物体に接近する際に、トップビュー画像を生成して記録することができるので、記録画像から他の物体の接近方向を容易に特定することができる。
［その他の実施形態］
本発明の実施の形態は、上記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
例えば、上記実施形態において、Ｓ１４０〜Ｓ１５０の処理、およびＳ１６０〜Ｓ１７０の処理を並列で実施したが、これらの処理を直列で実施してもよい。また、中・高速走行（夜間）を選択した場合には、周囲の明るさや通常のカメラ（フロントカメラ３４）の認識性に応じて記録用に採用する画像を変更するようにしてもよい。
［本実施形態の構成と本発明の構成との対応関係］
本実施形態における画像処理部１０は本発明でいう画像生成装置に相当し、本実施形態におけるカメラ３１〜３５は本発明でいう撮像部に相当する。また、本実施形態における表示画像合成部２３は本発明でいう表示画像生成手段に相当し、本実施形態における記録画像合成部２４は本発明でいう記録画像生成手段に相当する。
１…画像表示システム、１０…画像処理部、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、２１…状況推定部、２２…画像入力・変換部、２３…表示画像合成部、２４…記録画像合成部、３１…リアカメラ、３２…左カメラ、３３…右カメラ、３４…フロントカメラ、３５…ナイトビューカメラ、４１…表示部、４２…記録部。

Claims (8)

  1. 車両に搭載され、複数の撮像部（３１〜３５）から得られた情報に基づいて画像を生成する画像生成装置（１０）であって、
    前記複数の画像のうちの少なくとも一部から表示部（４１）に表示するための表示画像を生成する表示画像生成手段（２３）と、
    前記複数の画像のうちの少なくとも一部から前記表示画像とは異なる、記録用の記録画像を生成する記録画像生成手段（２４）と、
    を備えたことを特徴とする画像生成装置。
  2. 請求項１に記載の画像生成装置において、
    前記記録画像生成手段は、前記表示画像よりも画像内に含まれる領域が広い記録画像を生成すること
    を特徴とする画像生成装置。
  3. 請求項２に記載の画像生成装置において、
    前記記録画像生成手段は、ある撮像部から入力される撮像画像をそのまま取り込んだ原画像を含む画像を記録画像として生成すること
    を特徴とする画像生成装置。
  4. 請求項１〜請求項３の何れか１項に記載の画像生成装置において、
    前記記録画像生成手段は、自車両の進行方向が撮像された画像を含む記録画像を生成すること
    を特徴とする画像生成装置。
  5. 請求項１〜請求項４の何れか１項に記載の画像生成装置において、
    前記表示画像生成手段は、自車両の走行状態または走行環境に応じて生成する画像態様を変更すること
    を特徴とする画像生成装置。
  6. 請求項１〜請求項５の何れか１項に記載の画像生成装置において、
    前記記録画像生成手段は、複数の画像が含まれる記録画像を生成し、前記複数の画像のうちの一部の画像は前記表示画像の少なくとも一部であること
    を特徴とする画像生成装置。
  7. 請求項１〜請求項６の何れか１項に記載の画像生成装置において、
    前記記録画像生成手段は、自車両を上空から見たときの画像を表すトップビュー画像を含む記録画像を生成すること
    を特徴とする画像生成装置。
  8. コンピュータを、請求項１〜請求項７の何れか１項に記載の画像生成装置を構成する各手段として機能させるための画像生成プログラム。
JP2012237922A 2012-10-29 2012-10-29 画像生成装置、および画像生成プログラム Pending JP2014089513A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012237922A JP2014089513A (ja) 2012-10-29 2012-10-29 画像生成装置、および画像生成プログラム
US14/426,471 US20150217692A1 (en) 2012-10-29 2013-10-08 Image generation apparatus and image generation program product
PCT/JP2013/005993 WO2014068856A1 (ja) 2012-10-29 2013-10-08 画像生成装置、および画像生成プログラム製品
CN201380056682.1A CN104756171A (zh) 2012-10-29 2013-10-08 图像生成装置及图像生成程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012237922A JP2014089513A (ja) 2012-10-29 2012-10-29 画像生成装置、および画像生成プログラム

Publications (2)

Publication Number Publication Date
JP2014089513A true JP2014089513A (ja) 2014-05-15
JP2014089513A5 JP2014089513A5 (ja) 2015-03-05

Family

ID=50626811

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012237922A Pending JP2014089513A (ja) 2012-10-29 2012-10-29 画像生成装置、および画像生成プログラム

Country Status (4)

Country Link
US (1) US20150217692A1 (ja)
JP (1) JP2014089513A (ja)
CN (1) CN104756171A (ja)
WO (1) WO2014068856A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017004241A (ja) * 2015-06-10 2017-01-05 株式会社駐車場綜合研究所 駐車位置報知装置、携帯端末、駐車位置報知システム、プログラム
CN108099788A (zh) * 2016-11-25 2018-06-01 华创车电技术中心股份有限公司 三维行车影像辅助装置
WO2019155936A1 (ja) * 2018-02-07 2019-08-15 株式会社東海理化電機製作所 車両用視認装置
JP2020088705A (ja) * 2018-11-29 2020-06-04 株式会社ユピテル 装置およびプログラム等
JP2022034439A (ja) * 2020-08-18 2022-03-03 トヨタ自動車株式会社 車両用画像記録装置及び車両用画像記録方法
US11741717B2 (en) 2018-06-28 2023-08-29 Panasonic Intellectual Property Corporation Of America Data generator and data generating method
JP7444148B2 (ja) 2019-01-30 2024-03-06 日本電気株式会社 情報処理装置、情報処理方法、プログラム

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2447672B (en) 2007-03-21 2011-12-14 Ford Global Tech Llc Vehicle manoeuvring aids
US9969428B2 (en) 2011-04-19 2018-05-15 Ford Global Technologies, Llc Trailer backup assist system with waypoint selection
US9854209B2 (en) * 2011-04-19 2017-12-26 Ford Global Technologies, Llc Display system utilizing vehicle and trailer dynamics
US9500497B2 (en) 2011-04-19 2016-11-22 Ford Global Technologies, Llc System and method of inputting an intended backing path
US9926008B2 (en) 2011-04-19 2018-03-27 Ford Global Technologies, Llc Trailer backup assist system with waypoint selection
US9506774B2 (en) 2011-04-19 2016-11-29 Ford Global Technologies, Llc Method of inputting a path for a vehicle and trailer
US9683848B2 (en) 2011-04-19 2017-06-20 Ford Global Technologies, Llc System for determining hitch angle
US9937953B2 (en) 2011-04-19 2018-04-10 Ford Global Technologies, Llc Trailer backup offset determination
US9723274B2 (en) 2011-04-19 2017-08-01 Ford Global Technologies, Llc System and method for adjusting an image capture setting
US9511799B2 (en) 2013-02-04 2016-12-06 Ford Global Technologies, Llc Object avoidance for a trailer backup assist system
US9592851B2 (en) 2013-02-04 2017-03-14 Ford Global Technologies, Llc Control modes for a trailer backup assist system
US9598012B2 (en) * 2014-03-11 2017-03-21 Toyota Motor Engineering & Manufacturing North America, Inc. Surroundings monitoring system for a vehicle
US9522677B2 (en) 2014-12-05 2016-12-20 Ford Global Technologies, Llc Mitigation of input device failure and mode management
US9533683B2 (en) 2014-12-05 2017-01-03 Ford Global Technologies, Llc Sensor failure mitigation system and mode management
US9607242B2 (en) 2015-01-16 2017-03-28 Ford Global Technologies, Llc Target monitoring system with lens cleaning device
KR101741433B1 (ko) * 2015-06-09 2017-05-30 엘지전자 주식회사 운전자 보조 장치 및 그 제어방법
US10486599B2 (en) * 2015-07-17 2019-11-26 Magna Mirrors Of America, Inc. Rearview vision system for vehicle
US9849864B2 (en) 2015-07-31 2017-12-26 Ford Global Technologies, Llc Vehicle parking assist system
US9896130B2 (en) 2015-09-11 2018-02-20 Ford Global Technologies, Llc Guidance system for a vehicle reversing a trailer along an intended backing path
US9981656B2 (en) 2015-10-13 2018-05-29 Ford Global Technologies, Llc Vehicle parking assist system
CN105398380A (zh) * 2015-10-23 2016-03-16 奇瑞汽车股份有限公司 辅助驾驶系统及方法
US9836060B2 (en) 2015-10-28 2017-12-05 Ford Global Technologies, Llc Trailer backup assist system with target management
US10328933B2 (en) 2015-10-29 2019-06-25 Ford Global Technologies, Llc Cognitive reverse speed limiting
WO2017154317A1 (ja) * 2016-03-09 2017-09-14 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
US10112646B2 (en) 2016-05-05 2018-10-30 Ford Global Technologies, Llc Turn recovery human machine interface for trailer backup assist
JP6143037B1 (ja) * 2016-09-23 2017-06-07 内田　英明 車両用画面表示システム
US10836312B2 (en) * 2017-06-19 2020-11-17 Rom Acquisition Corporation Dynamic 360 degree view accident avoidance system
JP6607272B2 (ja) * 2018-03-02 2019-11-20 株式会社Ｊｖｃケンウッド 車両用記録装置、車両用記録方法及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010028537A (ja) * 2008-07-22 2010-02-04 Sanyo Electric Co Ltd 画像処理装置及び記録装置
WO2010113253A1 (ja) * 2009-03-31 2010-10-07 コニカミノルタホールディングス株式会社 ３次元情報表示装置および３次元情報表示方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4156214B2 (ja) * 2001-06-13 2008-09-24 株式会社デンソー 車両周辺画像処理装置及び記録媒体
JP4548322B2 (ja) * 2005-11-28 2010-09-22 株式会社デンソー 駐車支援システム
US9420234B2 (en) * 2006-04-13 2016-08-16 Virtual Observer Pty Ltd Virtual observer
JP4404103B2 (ja) * 2007-03-22 2010-01-27 株式会社デンソー 車両外部撮影表示システムおよび画像表示制御装置
SE533876C2 (sv) * 2009-05-05 2011-02-15 Styr- och kontrollsystem för ett rörligt handikapphjälpmedel
JP5187369B2 (ja) * 2010-09-24 2013-04-24 株式会社デンソー 車両用の後退駐車支援装置および後退駐車支援装置用のプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010028537A (ja) * 2008-07-22 2010-02-04 Sanyo Electric Co Ltd 画像処理装置及び記録装置
WO2010113253A1 (ja) * 2009-03-31 2010-10-07 コニカミノルタホールディングス株式会社 ３次元情報表示装置および３次元情報表示方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017004241A (ja) * 2015-06-10 2017-01-05 株式会社駐車場綜合研究所 駐車位置報知装置、携帯端末、駐車位置報知システム、プログラム
CN108099788A (zh) * 2016-11-25 2018-06-01 华创车电技术中心股份有限公司 三维行车影像辅助装置
WO2019155936A1 (ja) * 2018-02-07 2019-08-15 株式会社東海理化電機製作所 車両用視認装置
US11741717B2 (en) 2018-06-28 2023-08-29 Panasonic Intellectual Property Corporation Of America Data generator and data generating method
JP2020088705A (ja) * 2018-11-29 2020-06-04 株式会社ユピテル 装置およびプログラム等
JP7277897B2 (ja) 2018-11-29 2023-05-19 株式会社ユピテル 装置およびプログラム等
JP7444148B2 (ja) 2019-01-30 2024-03-06 日本電気株式会社 情報処理装置、情報処理方法、プログラム
JP2022034439A (ja) * 2020-08-18 2022-03-03 トヨタ自動車株式会社 車両用画像記録装置及び車両用画像記録方法
JP7276280B2 (ja) 2020-08-18 2023-05-18 トヨタ自動車株式会社 車両用画像記録装置及び車両用画像記録方法

Also Published As

Publication number Publication date
US20150217692A1 (en) 2015-08-06
CN104756171A (zh) 2015-07-01
WO2014068856A1 (ja) 2014-05-08

Similar Documents

Publication Publication Date Title
JP2014089513A (ja) 画像生成装置、および画像生成プログラム
US20200086794A1 (en) Vehicle rear monitoring system
US8854466B2 (en) Rearward view assistance apparatus displaying cropped vehicle rearward image
CN107431787B (zh) 周边监控装置
JP4765649B2 (ja) 車両用映像処理装置、車両周囲監視システム並びに映像処理方法
JP4248570B2 (ja) 画像処理装置並びに視界支援装置及び方法
JP7106846B2 (ja) 周辺監視装置
CN108886602B (zh) 信息处理装置
JP2009206747A (ja) 車両用周囲状況監視装置及び映像表示方法
WO2017154833A1 (ja) 情報処理装置及びプログラム
JP5126549B2 (ja) 運転支援装置、運転支援方法、及び運転支援プログラム
JP3961969B2 (ja) 車両周辺画像処理システム
JP5067136B2 (ja) 車両周辺画像処理装置及び車両周辺状況提示方法
US10821900B2 (en) Image processing device
JP2011151731A (ja) 車両周辺監視装置
JP4679816B2 (ja) 車両周辺表示制御装置
US9940908B2 (en) Display control device
WO2017217422A1 (ja) 画像生成装置及びプログラム
JP2019202584A (ja) 画像処理装置および画像処理方法
JP2009213063A (ja) 監視装置
JP6488628B2 (ja) 映像処理装置、及び車載映像処理システム
JP6054738B2 (ja) カメラモジュール、カメラシステムおよび画像表示方法
JP2011182254A (ja) 車両用運転支援装置
JP2020083071A (ja) 車載装置
JP7162427B2 (ja) 車両用後方画像表示装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150114

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160105

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160426