JP2009055427A - 映像処理装置及びカメラ - Google Patents

映像処理装置及びカメラ Download PDF

Info

Publication number
JP2009055427A
JP2009055427A JP2007221188A JP2007221188A JP2009055427A JP 2009055427 A JP2009055427 A JP 2009055427A JP 2007221188 A JP2007221188 A JP 2007221188A JP 2007221188 A JP2007221188 A JP 2007221188A JP 2009055427 A JP2009055427 A JP 2009055427A
Authority
JP
Japan
Prior art keywords
mask
video
processing apparatus
information
video processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007221188A
Other languages
English (en)
Other versions
JP4595976B2 (ja
Inventor
Kazunari Hattori
和成 服部
Toshihiro Hattori
敏弘 服部
Heishin O
丙辰 王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2007221188A priority Critical patent/JP4595976B2/ja
Priority to US12/222,560 priority patent/US8670034B2/en
Publication of JP2009055427A publication Critical patent/JP2009055427A/ja
Application granted granted Critical
Publication of JP4595976B2 publication Critical patent/JP4595976B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/406Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components using wireless transmission
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

【課題】左右方向における中央領域の情報が相対的に多い映像であって、運転者が違和感を覚えにくい映像を出力することができる映像処理装置を提供する。
【解決手段】映像の上辺に沿って配置され、映像の下方向に凹形状になった上側マスク402と、映像の下辺に沿って配置され、映像の上方向に凹形状になった下側マスク403とからなるマスク401を映像に対して重ねる。このようなマスク401によって映像をマスクすることにより、歪みの発生しやすい周辺部の映像が見えなくなるため、歪みによりユーザが感じる違和感を軽減することができる。その上で、映像の左右方向における中央領域の情報の多い映像をユーザは視認することができる。
【選択図】図7

Description

本発明は、車両に搭載されたカメラにより撮影された映像を処理する映像処理装置、及び、車両に搭載されるカメラに関する。
近年、車両に搭載されたカメラにより撮影された映像を運転席付近に設置されたモニタに表示させることにより、運転者の死角位置に存在する障害物等を運転者に把握させる技術が実現されている。しかしながら、カメラの特性やカメラの設置位置の関係から、運転者にとって見やすい映像を表示させることが難しく、運転者が違和感を覚えることも多かった。
そこで、この問題を解決する一手法として、例えば特許文献1に記載された車両周辺視認装置が提案されている。この車両周辺視認装置は、カメラで撮像された映像に対し、画面の上部に位置する上側マスクと、画面の下部に位置する下側マスクとを合成表示することにより、運転者が映像を視認しやすくすることを実現したものである。ここで言う上側マスクというのは、画面の上辺に沿って下側に凸形状となった上辺マスク領域と、画面の中央部から上方に至る中央マスク領域とからなるマスクである。また、下側マスクというのは、画面の下辺に沿って、上側に緩やかな円弧形状に形成されたマスクである。
この結果、特許文献1に記載された車両周辺視認装置によれば、左右方向における中央領域ほど狭く両端部領域ほど広い映像を表示させることができる。つまり、パノラマ感のある映像を表示させることができる。
特開2006−262447号公報
その一方で、特許文献1に記載された車両周辺視認装置により表示される映像は、左右方向における中央領域の情報が少なくなってしまうという短所を有する。したがって、左右方向における中央領域の情報が運転者にとって特に重要となる映像(例えば、後退時に用いるための後方映像)に対しては、特許文献1に記載された発明を適用することは難しい。
本願発明は、このような問題にかんがみなされたものであり、左右方向における中央領域の情報が相対的に多い映像であって、運転者が違和感を覚えにくい映像を出力することができる映像処理装置等を提供することを目的とする。
上記課題を解決するためになされた請求項1に記載の映像処理装置は、車両に搭載されたカメラから車両の周辺の映像を映像信号により入力する映像入力手段と、マスクに関する情報であるマスク情報が記憶されたマスク情報記憶手段と、マスク情報記憶手段に記憶されたマスク情報に基づき、映像入力手段により入力された映像に対してマスク処理を実行するマスク処理実行手段と、マスク処理実行手段によりマスク処理された映像を表示装置へ出力する出力手段と、を備える。そして、出力手段により表示装置へ出力される映像の形状は略矩形であり、マスク情報記憶手段に記憶されたマスク情報によって表現されるマスクは、上側マスクと下側マスクとからなり、これらのマスクのうち、上側マスクは、映像が表示装置に表示された状態における映像の上辺に沿って配置されるマスクであって下方向に凹形状になったマスクであり、下側マスクは、映像が表示装置に表示された状態における映像の下辺に沿って配置されるマスクであって上方向に凹形状になったマスクである。なお、本発明でいうマスクとは、映像におけるマスクのかかる部分の見え方がマスクのかからない部分と比較して視認しづらくなる効果を奏するものを意味する。
したがって、本発明の映像処理装置によれば、歪みの発生しやすい周辺部の映像をマスクすることにより運転者の違和感を軽減しながら、映像の左右方向における中央領域の情報の多い映像を出力することができる。つまり、本発明の映像処理装置は、左右方向における中央領域の情報が運転者にとって特に重要となる映像(例えば、後退時に用いるための後方映像)を処理させる目的に適している。
ところで、上側マスク、又は、下側マスクの少なくともいずれか一方のマスクの凹形状は、映像入力手段が入力する映像の歪み曲線に沿った形状であるとよい(請求項2)。なお、「映像入力手段が入力する映像の歪み曲線」というのは、カメラ映像の歪み具合を示す曲線であって、カメラが撮影する被写体を格子とした場合のカメラ映像中の格子に沿った曲線である。
ここでこの曲線の具体例について、図17の説明図を用いて説明する。画角が180度程度の広角レンズを搭載したカメラにより、図17(a)に示す格子を撮影すると、カメラから出力される映像は、図17(b)に示すように周辺部が歪んだものになる。このうち、左右方向の線(例えば、線A)が上述した歪み曲線である。したがって、広角レンズを搭載したカメラによって、景色を撮影すると、地平線も、映像中では歪み曲線に沿って歪むことになる。このため、マスクの凹形状が歪み曲線に沿った形状を有していれば、その凹形状の部分を地平線に相当する基準線としてユーザが捉えることができるため、ユーザは歪んだ映像中における物体の位置関係を認識しやすくなる。
また、上側マスク、又は、下側マスクの少なくともいずれか一方のマスクの凹形状は、当該マスクを上方向に開口しているように回転させて見た場合に略V字形状となっていてもよい(請求項3)。
このようなマスクであれば、映像が放射状に広がっている様子を演出できるため、ユーザは特に広がり感を得やすい。
また、上側マスクの凹形状は、映像入力手段が入力する映像の歪み曲線に沿った形状であり、下側マスクの凹形状は、略V字形状であってもよい(請求項4)。
このようなマスクであれば、ユーザは、映像を自然に見ることができながら、広がり感も得ることができる。
ところで、マスク処理実行手段が行うマスク処理としては、マスク対象部分の塗りつぶし、マスク対象部分の明度変更、マスク対象部分の彩度変更、マスク対象部分の色相変更、又は、マスク対象部分のモザイク化、の少なくともいずれか一つであるとよい(請求項5)。
このようなマスク処理を行うようになっていれば、ユーザは、映像部分とマスク部分とを容易に区別することができる。
また、マスク処理実行手段が行うマスク処理において用いるマスク情報を変更できるようになっているとよい。つまり、ユーザからの操作を受け付ける操作受付手段を備え、マスク情報記憶手段が、複数のマスクについてのマスク情報を記憶するように映像処理装置を構成し、マスク処理実行手段は、操作受付手段が受け付けた操作に基づいて特定されるマスク情報記憶手段が記憶するいずれか一つのマスク情報に基づき、マスク処理を実行するようになっているとよい(請求項6)。
このようになっていれば、ユーザは、好みのマスクを選択することができる。
なお、特に、マスク情報記憶手段は、上述した特徴を有するサイズの異なる複数のマスクについてのマスク情報を記憶しているとよい(請求項7)。
このようになっていれば、ユーザは、同一の特徴を有するサイズの異なる複数のマスクを段階的に変更することが可能になる。
また、マスク処理実行手段は、操作受付手段が受け付けた操作に基づき、上側マスク又は下側マスクの少なくともいずれか一方についてのマスク処理を実行しないようになっているとよい(請求項8)。
このようになっていれば、ユーザは、状況や好みに応じて上側マスクや下側マスクを映像内から消去することができる。
ところで、操作受付手段は、出力手段が映像を出力する表示装置の表示面に設けられたタッチパネルであると特によい(請求項9)。
このようになっていれば、ユーザは表示装置を見ながら直感的にマスクを選択することができる。
また、ユーザが操作受付手段を介してマスクを選択できるようにする場合、操作受付手段は、車両のステアリング部分に設けられたステアリングスイッチであると特によい(請求項10)。
このようになっていれば、ユーザは、運転中にステアリングから手を離すことなく、マスクを選択することができる。
上述したようにマスクをユーザが選択できるようになっている場合は、マスク処理実行手段は、マスク処理を行った映像におけるマスク部分に、ユーザの操作をガイドするための操作アイコンを重畳させ、出力手段は、操作アイコンが重畳された映像を表示装置へ出力するようになっているとよい(請求項11)。
このようになっていれば、表示装置に表示された映像における撮影映像の部分が操作アイコンによって妨げられることがなく、ユーザは操作アイコンを見ながら操作することができる。
しかし、撮影映像の部分に操作アイコンが重畳されず、マスク部分に操作アイコンが重畳されているからと言って、操作が行われないにもかかわらず操作アイコンが表示装置に表示され続けると、ユーザに煩わしさを感じさせるおそれがある。
そこで、マスク処理実行手段は、タッチパネルがタッチされると操作アイコンを重畳させ、重畳させた後、所定時間経過すると操作アイコンを消去するようになっているとよい(請求項12)。なお、ここで言う「所定時間」としては、ユーザに操作意図がないと判断できる程度の時間が適しており、例えば、10秒という時間が考えられる。なお、この所定時間は、ユーザが操作受付手段を介して調整できるようになっていてもよい。
このようになっていれば、操作を行うときのみ操作アイコンを表示装置の表示面に表示させることができ、その後、操作が終了し、又は、操作が全く行われなかったことにより、操作がなされない状態が所定時間継続した場合には操作アイコンが消去されるため、ユーザの感じる煩わしさを軽減することができる。
ところで、映像処理装置は、ユーザへ報知するための報知情報を入力する報知情報入力手段をさらに備えているとよい。そして、マスク処理実行手段は、マスク処理を行った映像におけるマスク部分に、報知情報入力手段により入力された報知情報に基づく文字又は図形の少なくともいずれか一方を重畳させ、出力手段は、文字又は図形の少なくともいずれか一方が重畳された映像を表示装置へ出力するようになっているとよい(請求項13)。なお、報知情報としては、例えば、時刻情報や、天気情報や、車両の状態情報等が想定される。
このようになっていれば、表示装置に表示された映像における撮影映像の部分が報知情報によって妨げられることなく、ユーザは報知情報を認識することができる。
また、映像処理装置は、カメラの撮影範囲に存在する障害物に関する情報である障害物情報を入力する障害物情報入力手段をさらに備えているとよい。そして、マスク処理実行手段は、障害物情報入力手段を介して障害物情報を入力すると、マスク処理を行った映像におけるマスク部分の色を所定の色に変更し、出力手段は、マスク部分が所定の色に変更された映像を表示装置へ出力するようになっているとよい(請求項14)。
このようになっていれば、表示装置に表示されている映像中に障害物が存在することをユーザは直ちに認識することができる。また、その障害物をユーザが見落とすことも防止することができる。
また、マスク処理実行手段が、障害物情報として、車両から障害物までの距離を入力した場合は、その入力した距離に応じ、マスク処理を行った映像におけるマスク部分の色を変更するようになっているとよい(請求項15)。例えば、障害物までの距離が5m以上ある場合にはマスク部分の色を黒とし、障害物までの距離が1m以上5m未満である場合にはマスク部分の色を茶とし、障害物までの距離が1m未満である場合にはマスク部分の色を赤とすることが考えられる。
このようになっていれば、ユーザは表示装置を一瞥するだけで、障害物までの距離の概要をつかむことができ、障害物までの距離に応じた適切な運転操作を行いやすい。
また、障害物情報を入力する障害物情報入力手段を、映像処理装置が備えている場合は、マスク処理実行手段は、障害物情報入力手段を介して障害物情報を入力すると、映像におけるマスク部分に障害物情報に基づく文字又は図形の少なくともいずれか一方を重畳させ、出力手段は、文字又は図形の少なくともいずれか一方が重畳された映像を表示装置へ出力するようになっているとさらによい(請求項16)。ここで言う「障害物情報に基づく文字又は図形」というのは、例えば、障害物の種別や、障害物までの距離等を示す文字又は図形のことである。
このようになっていれば、ユーザは、障害物についてより詳細な情報(映像からだけではわかりにくい情報)を、表示装置に表示された文字や図形から得ることができるため、適切な運転操作等をとりやすい。
ところで、映像入力手段により入力された映像に人物が写っている場合は、特にユーザは注意する必要がある。そこで、映像入力手段により入力された映像から人物を検知する人物検知手段をさらに備えるように映像処理装置を構成し、マスク処理実行手段は、人物検知手段により人物が検知されると、マスク処理を行った映像におけるマスク部分の色を所定の色に変更し、出力手段は、マスク部分が所定の色に変更された映像を表示装置へ出力するようになっているとよい(請求項17)。
このようになっていれば、ユーザはマスク部分が所定の色になっていることからカメラの撮影範囲に人物がいることを知ることができるため、より容易に人物の存在に気づき、人物に注意することができる。
しかしながら、マスクによって人物が隠れてしまうのでは本末転倒である。そこで、人物検知手段を、映像中における人物の位置も検知することができるように構成し、マスク処理実行手段は、人物検知手段により検知された人物が、マスク処理を行うことにより隠れることになるか否かを判定し、隠れることになる場合はマスク処理を行わないようになっているとよい(請求項18)。
このようになっていれば、マスクによって人物が隠れてしまうことを防止することができる。
また、映像入力手段は、有線通信によってカメラから映像を入力するようになっていてもよいが、無線通信により映像をカメラから入力するようになっているとよい(請求項19)。
このようになっていれば、カメラと映像入力手段との間に信号線を設ける必要がなくなるため、映像処理装置の取り付け時の作業量を軽減することができる。
ところで、映像入力手段が前記映像を入力するカメラは、広画角レンズを備えたカメラであると特によい(請求項20)。なお、広画角レンズとは、画角が180度程度以上あるレンズをさすことが一般的である。
広画角レンズを備えたカメラは一般的に出力映像の周辺が大きく歪んでいる特性を有しているため、広画角レンズを備えるカメラと組み合わせることにより、上述した各映像処理装置は特に効果を発揮する。
なお、車両は道路上を走行する乗り物であるため、ユーザは垂直方向よりも水平方向の情報を欲する傾向がある。したがって、広画角レンズの中でも特に水平画角が180°以上あるレンズであれば、上述した各映像処理装置の効果は発揮されるともいえる(請求項21)。
また、広画角レンズを備えたカメラと組み合わせる場合、特に、次のような映像処理装置であるとよい。映像入力手段がカメラから取得した広画角映像の一部領域の切り出しズーム映像である狭画角映像を生成する狭画角映像生成手段を映像処理装置が備えるようにする。また、映像入力手段がカメラから取得した広画角映像と、狭画角映像生成手段が生成した狭画角映像とを切り替えて出力手段に出力させる映像切替手段を備えるように映像処理装置を構成する。また、マスク処理実行手段は、映像切替手段が広画角映像に切り替えている場合のみマスク処理を行い、マスク処理を行う前記映像におけるマスク部分と、広画角映像における狭画角映像に対応する領域とが重複しないようマスク処理を実行する(請求項22)。
このような映像処理装置であれば、狭画角映像から得られる情報量を増加させるとともに、画角切替時の映像の視認性も向上させることができる。
ところで、映像処理装置側でマスク処理を行うのではなく、カメラ自体にマスク部材が設けられていてもよい。つまり、カメラのレンズ部分に、上側マスク部材と下側マスク部材とを設けるとよい。上側マスク部材は、映像が表示装置に表示された状態における映像の上部をマスクするマスクであって下方向に凹形状になったマスクを実現するマスク部材であり、下側マスク部材は、映像が表示装置に表示された状態における映像の下部をマスクするマスクであって上方向に凹形状になったマスクを実現するマスク部材である(請求項23)。
このようなカメラによれば、歪みの発生しやすい周辺部の映像がマスクされるため運転者の違和感を軽減しながら、映像の左右方向における中央領域の情報の多い映像を出力することができる。つまり、本発明のカメラは、左右方向における中央領域の情報が運転者にとって特に重要となる映像(例えば、後退時に用いるための後方映像)を処理させる目的に適している。
以下、本発明が適用された実施形態について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
[構成の説明]
図1は、実施形態の映像処理装置11及び映像処理装置11に接続される各種装置類を説明するためのブロック図である。映像処理装置11には、カメラ21、表示装置22、シフト位置センサ23、障害物検知装置24、及び、ECU群25が接続されている。
(1)映像処理装置11
映像処理装置11は、映像入力インタフェース12、マスク情報記憶部13、前回選択マスク記憶部14、映像出力インタフェース15、操作部16、情報入力インタフェース17、及び、映像処理部18を備える。
映像入力インタフェース12は、カメラ21から映像信号を入力するためのインタフェースである。
マスク情報記憶部13は、複数のマスクについてのマスク情報を記憶する記憶部である。マスク情報というのは、マスクを構成するために必要な情報であり、マスクの形状に関する情報やマスクの色に関する情報等からなる。なお、各マスク情報には、一意に特定可能な識別情報(ID)が付されている。マスク情報の具体例については後述する。
前回選択マスク記憶部14は、前回、使用されたマスクのマスク情報を特定可能な識別情報(ID)を記憶する記憶部である。
映像出力インタフェース15は、表示装置22へ映像信号を出力するためのインタフェースである。
操作部16は、表示装置22の表示面と積層一体化されたタッチパネル、表示装置22の周囲に設けられたメカニカルなスイッチ、ステアリングに設けられたステアリングスイッチ等からなり、ユーザが映像処理装置11に対して操作指令を入力可能なデバイスである。
情報入力インタフェース17は、シフト位置センサ23、障害物検知装置24及びECU群25から各種信号を入力するためのインタフェースである。
映像処理部18は、周知のマイコンから構成され、ROMやフラッシュメモリ等に記憶されたプログラムに基づいて上述した各部を制御して各種の処理を実行する機能を有する。
(2)カメラ21
車両の後部に備えられた車載用カメラであり、車両周辺を撮影可能なカメラである。180度程度の水平画角を備える広角カメラであることが望ましい。なお、複数のカメラによって構成され、各カメラの映像を合成して利用するようになっていてもよい。カメラ21が撮影された映像は映像信号として映像処理装置11へ有線方式にて送信される。なお、周知の無線方式により映像信号を無線送信してもよい。
(3)表示装置22
表示装置22は、液晶パネル等からなるカラー画像表示部を有し、映像処理装置11から有線方式で入力された映像信号に基づいて画像を表示する。なお、カラー画像表示部の表示面には、上述した操作部16の一部を構成するタッチパネルが積層一体化されている(図示せず)。
(4)シフト位置センサ23
図示しないトランスミッションに設けられたセンサであり、トランスミッションのシフト位置を検出する機能を有するセンサである。シフト位置センサ23から得られる信号から、現在のシフト位置がD(ドライブ)位置にあるのか、N(ニュートラル)位置にあるのか、R(リバース)位置にあるのかといったことを知ることができる。シフト位置センサ23は、このような信号を有線方式にて映像処理装置11へ送信可能に構成されている。なお、周知の無線方式により信号を無線送信してもよい。
(5)障害物検知装置24
障害物検知装置24は、ソナーやレーダー等を用いて車両周辺に存在する障害物を検知可能な装置である。また、検知された障害物までの距離を算出することもできる機能を有している。なお、障害物検知装置24は、障害物の検知結果及び検知された障害物までの距離の情報を障害物情報として有線方式にて映像処理装置11へ送信可能に構成されている。なお、周知の無線方式により障害物情報を無線送信してもよい。
(6)ECU群25
ECU群25は、車両の各部を制御するECU群であり、エンジンECU、ブレーキECU、エアコンECU、ナビゲーションECU等のECUから構成される。ECU群25は、時刻情報、速度情報、異常情報等を映像処理装置11に対して有線方式にて送信する。なお、周知の無線方式により、これらの情報を無線送信してもよい。
[動作の説明]
次に、映像処理装置11の映像処理部18が実行する処理を説明することにより、映像処理装置11の動作について説明する。
(1)後退時処理
まず、映像処理装置11の映像処理部18が実行する後退時処理について、図2のフローチャートを用いて説明する。なお、後退時処理は、シフト位置がR位置に変更された旨の信号を、映像処理部18が情報入力インタフェース17を介してシフト位置センサ23から受信した際に実行が開始される。
映像処理装置11の映像処理部18は、後退時処理の実行を開始すると、まず前回選択マスクを特定する(S105)。これは、前回選択マスク記憶部14からマスク情報の識別情報(ID)を読み出すことによって行う。
続いて、識別情報(ID)に該当するマスク情報をマスク情報記憶部13から読み出す(S110)。ここで、マスク情報の一例を図6に示すマスク情報ファイル350を用いて説明する。
マスク情報ファイル350は、マスクのID、マスクのR値、マスクのG値、マスクのB値、及び、マスクの輝度値からなるヘッダ部分と、マスクをかけるかかけないかを、映像を構成するドット値に対応させたビット集合からなるデータ部分とから構成される。マスクのIDは、マスク情報ファイルを特定するための識別情報(ID)である。マスクのR値は、マスクをかけるドットのRGBカラー表現におけるR(レッド)の値である。マスクのG値は、マスクをかけるドットのRGBカラー表現におけるG(グリーン)の値である。マスクのB値は、マスクをかけるドットのRGBカラー表現におけるB(ブルー)の値である。
データ部分における各ビットの配置は、実際の映像におけるドット位置と対応しており、”−1”がマスクをかける意味のビットを表し、”1”がマスクをかけない意味のビットを表す。つまり、ビット値が”−1”である箇所に対応する映像のドットについては、R値,G値,B値にしたがった色によってマスクされることになる。
なお、本例では、マスクの形式、マスクの大きさ毎にマスク情報が存在する。また、マスク領域のないマスク情報(つまり、ビット値が全て”1”であるマスク情報)もマスク情報記憶部13に記憶されている。
説明を図2に戻し、映像処理部18は、続いて、映像入力インタフェース12を介して映像信号の入力を開始する(S115)。そして、S110で入力したマスク情報に基づいてマスクを構成し、映像入力インタフェース12を介して入力した映像との合成を開始する(S120)。そして、映像出力インタフェース15を介して表示装置22へ、合成した映像の映像信号の出力を開始する(S125)。表示装置22に表示される映像の具体例については後述する。
続いて、映像処理部18は、操作部16を介してユーザからマスクに関する操作指令があったか否かを判定する(S130)。これは、操作部16に入力された操作指令を判別することにより行う。また、マスクに関する操作指令というのは、例えば、マスクの形式を変更する指令や、マスクの大きさを変更する指令や、マスクの消去を意味する指令等である。
S130において、マスクに関する操作指令があったと判定した場合は(S130:Yes)、S135へ処理を移行し、マスクに関する操作指令はなかったと判定した場合は(S130:No)、マスクに関する操作指令があるまで本ステップにとどまる。
マスクに関する操作指令があったと判定した場合に進むS135では、操作指令に対応するマスク情報をマスク情報記憶部13から読み出す。そして、読み出したマスク情報からマスクを構成し、合成に用いていたマスクに代えて新たに構成したマスクを用いて、カメラ21から取得した映像との合成を開始する(S140)。それとともに、S135でマスク情報記憶部13から読み出したマスク情報の識別情報(ID)を前回選択マスク記憶部14に更新記憶する(S145)。そして、S130へ処理を戻す。
(2)報知情報重畳処理
次に、映像処理装置11の映像処理部18が実行する報知情報重畳処理について、図3(a)のフローチャートを用いて説明する。なお、報知情報重畳処理は、上述した後退時処理が開始された際に並行して実行が開始される。
映像処理装置11の映像処理部18は、報知情報重畳処理の実行を開始すると、情報入力インタフェース17を介してECU群25から報知すべき情報(報知情報)を受信したか否かを判定する(S205)。報知情報としては、例えば、時刻情報、車両の状態情報等が考えられる。S205において、報知情報を受信したと判定した場合は(S205:Yes)、S210へ処理を移行し、報知情報を受信していないと判定した場合は(S205:No)、報知情報を受信するまで本ステップにとどまる。
報知情報を受信したと判定した場合に進むS210では、報知情報に基づく文字や図形を、上述した後退時処理によって映像に合成されたマスク上に重畳する。なお、表示装置22に表示される映像の具体例については後述する。
その後、S205へ処理を戻す。
以上、報知情報重畳処理について説明したが、本処理により、表示装置22に表示された撮影映像(カメラ21によって撮影された映像)部分が報知情報によって妨げられることなく、ユーザは報知情報を認識することができる。
(3)操作アイコン重畳処理
次に、映像処理装置11の映像処理部18が実行する操作アイコン重畳処理について、図3(b)のフローチャートを用いて説明する。なお、操作アイコン重畳処理は、上述した後退時処理が開始された際に並行して実行が開始される。
映像処理装置11の映像処理部18は、操作アイコン重畳処理の実行を開始すると、まず表示装置22の表示面に設けられたタッチパネル(操作部16)がタッチされたか否かを判定する(S235)。タッチパネルがタッチされたと判定した場合は(S235:Yes)、S240へ処理を移行し、タッチパネルはタッチされていないと判定した場合は(S235:No)、タッチパネルがタッチされるまで本ステップにとどまる。
タッチパネルがタッチされたと判定した場合に進むS240では、操作アイコンを、上述した後退時処理によって映像に合成されたマスク上に重畳する。なお、表示装置22に表示される映像の具体例については後述する。
続いて、タッチパネルがタッチされた後、タッチパネルがタッチされない状態が10秒以上経過したか否かを判定する(S245)。タッチパネルがタッチされない状態が10秒以上経過したと判定した場合は(S245:Yes)、S250へ処理を移行し、タッチパネルがタッチされない状態が10秒以上経過していないと判定した場合は(S245:No)、タッチパネルがタッチされない状態が10秒以上経過するまで本ステップにとどまる。
タッチパネルがタッチされない状態が10秒以上経過したと判定した場合に進むS250では、S240で重畳させた操作アイコンをマスク上から消去する。そして、S235へ処理を戻す。
以上、操作アイコン重畳処理について説明したが、本処理により、表示装置22に表示された撮影映像(カメラ21によって撮影された映像)部分が操作アイコンによって妨げられることなく、ユーザは操作アイコンを見ながら操作することができる。
(4)障害物報知処理
次に、映像処理装置11の映像処理部18が実行する障害物報知処理について、図3(c)のフローチャートを用いて説明する。なお、障害物報知処理は、上述した後退時処理が開始された際に並行して実行が開始される。
映像処理装置11の映像処理部18は、障害物報知処理の実行を開始すると、情報入力インタフェース17を介して障害物検知装置24から障害物情報を受信したか否かを判定する(S265)。障害物情報を受信したと判定した場合は(S265:Yes)、S270へ処理を移行し、障害物情報を受信していないと判定した場合は(S265:No)、障害物情報を受信するまで本ステップにとどまる。
障害物情報を受信したと判定した場合に進むS270では、上述した後退時処理によって映像に合成されたマスクの色を、障害物までの距離に応じた色に変更する。具体的には、例えば、障害物までの距離が5m以上ある場合にはマスク部分の色を黒とし、障害物までの距離が1m以上5m未満である場合にはマスク部分の色を茶とし、障害物までの距離が1m未満である場合にはマスク部分の色を赤とすることが考えられる。
そしてさらに、障害物までの距離を示す数字を、色を変更したマスク上に重畳する(S275)。他にも、障害物検知装置24から、障害物の個数や、大きさ等の障害物に関する情報を得ることができるのであれば、これらもマスク上に重畳するようになっているとよい。
その後、S265へ処理を戻す。
以上、障害物報知処理について説明したが、障害物が存在するとマスクの色が変更されるため、障害物が存在することをユーザは直ちに認識することができる。しかも、障害物までの距離に応じてマスクの色が変わるため、ユーザはマスクの色から障害物までのおおよその距離を知ることができる。また、障害物までの距離を示す数字がマスク上に表示されるため、ユーザは、その数字を見れば障害物までの距離を正確に把握することができる。
(5)人物報知処理
次に、映像処理装置11の映像処理部18が実行する人物報知処理について、図4のフローチャートを用いて説明する。なお、人物報知処理は、上述した後退時処理が開始された際に並行して実行が開始される。
映像処理装置11の映像処理部18は、人物報知処理の実行を開始すると、映像入力インタフェース12を介してカメラ21から入力した映像中に人物が含まれているか否かの検知を開始する(S305)。この検知は、周知の画像処理技術により行われる。
検知が開始されると、実際に映像中に人物が検知されたか否かを判定する(S310)。人物が検知されたと判定した場合は(S310:Yes)、S320へ処理を移行し、人物は検知されていないと判定した場合は(S310:No)、S315へ処理を移行する。
人物は検知されていないと判定した場合に進むS315では、後述するS325でマスクを消していた場合には初期状態のマスクを表示させ、後述するS315でマスクの色を変更していた場合には初期状態のマスクの色に戻す。そして、S310へ処理を戻す。
一方、人物が検知されたと判定した場合に進むS320では、検知された人物が、表示装置22に表示される映像におけるマスクによって隠れるか否かを判定する。人物はマスクによって隠れると判定した場合は(S320:Yes)、S325へ処理を移行し、人物はマスクによって隠れないと判定した場合は(S320:No)、S330へ処理を移行する。
人物はマスクによって隠れると判定した場合に進むS325では、現在、合成中のマスクを全て消去する。なお、この消去は、部分的にマスクを消去してもよい(例えば、人物の隠れる上側マスクのみ、又は、下側マスクのみを消去してもよい)。そして、S310へ処理を戻す。
一方、人物はマスクによって隠れないと判定した場合に進むS330では、マスクの色を規定の色に変更する。この色は、ユーザに強く注意を促す色であると良く、例えば、赤色であるとよい。また、マスク自体が点滅したり、マスクの色が1秒ごとに変化したりするようにしてもよい。そして、S310へ処理を戻す。
以上、人物報知処理について説明したが、映像に人物が写っていることを検知するとマスクの色を変えるようになっているため、ユーザはカメラの撮影範囲に人物がいることを容易に知ることができ、より確実に人物に対して注意を向けることができる。また、人物がマスクによって隠れてしまう場合は、マスクを消去するようになっているため、マスクによって人物が隠れてしまうことを防止でき、映像によってユーザに人物を視認させることができる。
(6)表示切替処理
次に、映像処理装置11の映像処理部18が実行する表示切替処理について、図5のフローチャートを用いて説明する。なお、表示切替処理は、上述した後退時処理が開始された際に並行して実行が開始される。
映像処理装置11の映像処理部18は、表示切替処理の実行を開始すると、表示切替スイッチが押下されたか否かを判定する(S355)。表示切替スイッチというのは、表示装置22に広画角映像を表示させる表示モードと狭画角映像を表示させる表示モードとを切り替えるスイッチであり、操作部16を構成するスイッチの一部が割り当てられたものである。このS355において、表示切替スイッチが押下されたと判定した場合は(S355:Yes)、S360へ処理を移行し、表示切替スイッチは押下されていないと判定した場合は(S355:No)、表示切替スイッチが押下されるまで本ステップにとどまる。
表示切替スイッチが押下されたと判定した場合に進むS360では、現在、表示装置22に表示させている映像は広画角映像であるか否かを判定する(S360)。広画角映像を表示させていると判定した場合は(S360:Yes)、S365へ処理を移行し、広画角映像を表示させていないと判定した場合、つまり、狭画角映像を表示させていると判定した場合は(S360:No)、S380へ処理を移行する。
広画角映像を表示させていると判定した場合に進むS365では、広画角映像から狭画角映像の生成を開始する。具体的には、広画角映像から所定の領域を切り出し、デジタルズームを行って当該領域を拡大する映像処理を開始する。続いて、マスクの合成を停止する(S370)。そして、映像出力インタフェース15を介して表示装置22に狭画角映像の出力を開始する(S375)。その後、S355へ処理を戻す。
一方、広画角映像を表示させていないと判定した場合に進むS380では、前回選択マスク記憶部14からマスク情報の識別情報(ID)を読み出して、広画角映像を表示させていた際に使用していたマスク情報を特定し、該当するマスク情報をマスク情報記憶部13から読み出してマスクの合成を再開する。そして、映像出力インタフェース15を介して表示装置22に広画角映像の出力を開始する(S385)。その後、S355へ処理を戻す。
[表示される映像例]
(1)マスクなしの映像例
図7に示す映像例は、車両後方を撮影する事を目的として車両後端の上部に取り付けられたカメラ21によって得られる映像例であり、マスクなしの映像例である。図7に示すように映像の周辺部が歪んでおり特に四隅の歪み具合が大きいことがわかる。なお、以下の映像例は、図7に示す映像例と同様の構図のものである。
(2)マスクの基本形1
図8に示す映像例は、図7に示した映像例に対してマスク401を合成したものである。マスク401は、映像例の上辺に沿って配置される上側マスク402と、映像例の下辺に沿って配置される下側マスク403とからなる。
上側マスク402は、映像の下方向に凹形状になっており、映像の左右方向における歪み曲線に沿った弧部402aを有する。
一方、下側マスク403は、映像の上方向に凹形状になっており、その凹形状の部分が、第一の辺403aと第二の辺403bとから構成され、第一の辺403aと第二の辺403bとのなす角度が、下側マスク403側を基準に見たときに鈍角になっている(非マスク部分の映像を鋭角にさせている)。つまり、下側マスク403の凹形状の部分は、略V字形状を有していると言える。
このようなマスクによってカメラ21から得られる映像をマスクすることにより、歪みの発生しやすい周辺部の映像が見えなくなるため、歪みによりユーザが感じる違和感を軽減することができる。そして、上側マスク402が下方向に凹形状になっており、下側マスク403が上方向に凹形状になっているため、映像の左右方向における中央領域の情報の多い映像をユーザは視認することができる。また、上側マスク402の弧部402aは、映像の左右方向における歪み曲線に沿った形状になっているため、弧部402aを地平線に相当する基準線としてユーザが捉えることができる。つまり、ユーザは歪んだ映像中における物体の位置関係を認識しやすくなる。また、下側マスク403の凹形状の部分は、第一の辺403aと第二の辺403bとから構成されているため、映像が放射状に広がっている様子を演出できるため、ユーザは広がり感を得やすい。
(3)画角表示が追加された例1
図9に示す映像例は、図8に示した映像例の下部に、画角を表す角度表示411とその画角の範囲を示す矢印412とを重畳させたものである。
このように画角が表示されることにより、ユーザは今表示されている映像の画角がどれくらいであるかを容易に知ることができる。
(4)画角表示が追加された例2
図10に示す映像例は、図8に示した映像例の下部に、目盛り421を重畳させたものである。
このように目盛り421が表示されることにより、ユーザは今表示されている映像中に含まれる物体がどの方向に存在する物体であるのかを容易に知ることができる。
(5)画角表示が追加された例3
図11に示す映像例は、図10に示した映像例をベースに、目盛り425と下部マスク426との間を塗りつぶし、その塗りつぶした部分に現在の表示モードを表す文字(Wide View)を表示させた映像例である。
このように現在の表示モードを表す文字を表示させることにより、ユーザは今表示されている映像の表示モードを容易に知ることができる。
(6)画角表示が追加された例4
図12に示す映像例は、図11に示した映像例をベースに、目盛り431の塗りつぶし部分と、下部マスク432との間に、隙間を設けた映像例である。
このように隙間を設けることにより、映像が放射状に広がっている様子を演出できるため、ユーザは広がり感を得やすい。
(7)画角表示が追加された例5
図13に示す映像例は、図8に示した映像例の下部に、画角の範囲を示す矢印435と、現在の表示モードを表す文字436とを表示させた映像例である。
このような矢印435と文字436を表示させることにより、表示モードを表す文字436のみを表示させる場合と比較して、ユーザは矢印435の長さを基準に表示モード(Wide ViewなのかNarrow Viewなのか等)を把握できるため、現在の表示モードが何であるのかを直感的に把握しやすくなる。
(8)車両モデルが重畳表示された例
図14に示す映像例は、図8〜図13に示した映像例と比較し、下部マスク441の中央部が映像の上方向に位置している。そして、下部マスク441上に車両後部のモデル442が重畳表示されている。
このように車両後部のモデル442が重畳表示されることにより、ユーザは表示装置22に表示された映像が車両後方の映像であることを直感的に把握することができる。また、ユーザは映像中に含まれる物体の位置関係も把握しやすい。
(9)マスクの基本形2
図15に示す映像例は、下部マスク446を上部マスク447と対称の形状にしたものである。つまり、下部マスク446は、映像の上方向に凹形状になっており、弧部446aが映像の左右方向における歪み曲線に沿った形状となっている。
このようなマスクによってカメラ21から得られる映像をマスクすることにより、歪みの発生しやすい周辺部の映像が見えなくなるため、歪みによりユーザが感じる違和感を軽減することができる。そして、上側マスク447が下方向に凹形状になっており、下側マスク446が上方向に凹形状になっているため、映像の左右方向における中央領域の情報の多い映像をユーザは視認することができる。また、上側マスク447だけではなく下側マスク446の弧部446aも、映像の左右方向における歪み曲線に沿った形状になっているため、弧部446aを地平線に相当する基準線としてユーザが捉えることができる。つまり、ユーザは歪んだ映像中における物体の位置関係を認識しやすくなる。
なお、ここでは上側マスク447と下側マスク446とが共に、映像面との境界が歪曲線に沿った形状となったマスクを例示したが、他にも、映像面との境界が逆V字型になった上側マスクと、映像面との境界が歪曲線に沿った形状となった下側マスクといった組み合わせのマスクも考えられる。
(10)スライダを表示させた例
図16に示す映像例は、図15に示した映像例をベースに、スライダ451を重畳表示させた映像例である。このスライダ451は、操作アイコンであり、ユーザは、スライダ451の操作子451aを移動させることにより、マスクの大きさを変更することができる。
具体的には、ユーザが操作子451aを映像例における上方向に移動させると、上側マスク452の弧部452aが上側に上がる(つまり上側マスク452のマスク領域が小さくなる)とともに、下側マスク453の弧部453aが下側に下がる(つまり下側マスク453のマスク領域が小さくなる)。一方、ユーザが操作子451aを映像例における下方向に移動させると、上側マスク452の弧部452aが下側に下がる(つまり上側マスク452のマスク領域が大きくなる)とともに下側マスク453の弧部453aが上側に上がる(つまり下側マスク453のマスク領域が大きくなる)。
なお、これらの処理は、上述した後退時処理におけるS135,S140によって実現される。
このようにスライダ451を映像に重畳表示させることにより、マスク領域の大きさの変更をユーザは操作子451aを操作することによって行うことができ、変更可能な大きさの具合を把握した状態でマスク領域の大きさの変更を行うことができる。
(11)各種操作アイコン等を表示させた例
図17に示す映像例は、図11に示した映像例をベースに、操作アイコン及び報知情報を示すアイコンをマスク上に重畳表示させた映像例である。具体的には、操作アイコンとして、画角切替アイコン461、マスク種別切替アイコン462、マスクサイズ切替アイコン463、及び、歪補正選択アイコン464がマスクに重畳表示される。また、報知情報を示すアイコンとして、時刻情報アイコン465、及び、警告アイコン466とがマスクに重畳表示される。
なお、画角切替アイコン461は、このアイコンのいずれか一方が選択されることにより、表示装置23に表示される映像自体の画角が切り替わる。
マスク種別切替アイコン462は、このアイコンのいずれか一方が選択されることにより、マスクの種別が切り替わる。
マスクサイズ切替アイコン463は、このアイコンのいずれか一方が選択されることにより、マスク領域の大きさが切り替わる。この切り替えは、上述したスライダによる操作と同様の表示結果をもたらす。
歪補正選択アイコン464は、このアイコンのいずれか一つが選択されることにより、表示装置23に表示される映像の歪補正の強度が変更される。
時刻情報アイコン465は、時刻を表すアイコンである。
警告アイコン466は、時刻以外の報知情報や、障害物情報を報知するためのアイコンであり、図17では、障害物の存在と障害物までの距離を示している。
このようにマスク上にアイコンを重畳表示することにより、カメラ21によって撮影された映像の部分がアイコンによって妨げられることがなく、ユーザは操作アイコンを見ながら操作等することができる上、様々な情報を得ることができる。
(12)表示切替処理において切り替えられて表示される映像例
図20に示す映像例は、表示切替処理において切り替えられる広画角映像と、狭画角映像の例である。図20(a)は、広画角映像の例であり、図15と同様である。なお、枠551(実際の映像では非表示)によって示される領域が、次に説明する狭画角映像の領域である。また、枠551によって示される狭画角映像に対応する領域と、マスク552とが、重複していないことが読み取れる。一方、図20(b)は、狭画角映像の例であり、図20(a)における枠551によって示される領域が切り出されてズームされた映像である。なお、狭画角映像では、マスクの合成はなされない。
このように、狭画角映像に切り替わった場合には、マスクは合成されないため、狭画角映像から得られる情報量を増加させることができる。また、狭画角映像によって示される領域は、広画角映像において、マスクされることなく表示されるため、画角切替時の映像の視認性もよい。
[他の実施形態]
(1)上側マスクのみ、又は、下側マスクのみといった方法で映像にマスクをかけるようになっていてもよい。つまり、このようなマスクについてのマスク情報をマスク情報記憶部13が記憶しており、これらをユーザが選択可能になっているとよい。
また、これとは異なり、マスク情報によって構成される上側マスク及び下側マスクの一方を、ユーザの操作に基づいて任意に消すこと(マスクをかけないこと)ができるようになっていてもよい。
このようになっていれば、よりユーザの好みにマッチした映像を表示装置22に表示させることができる。
(2)上述した実施形態の映像処理装置11が行うマスク処理は、マスク対象部分を所定の色で塗りつぶすか否かという手法のものであったが、塗りつぶしの代わりにマスク対象部分の映像の明度を変更したり(例えば、明度を落としたり)、マスク対象部分の映像の彩度を変更したり(例えば、彩度を落としたり)、マスク対象部分の映像の色相を変更したり(例えば、寒色系やモノトーン系に変更したり)、マスク対象部分の映像をモザイク化したりしてもよい。もちろん、このようなマスク処理が行えるようにマスク情報記憶部13に適切なマスク情報を記憶させておく必要があることは言うまでもない。
このようなマスク処理方法であっても、ユーザは、映像部分とマスク部分とを容易に区別することができる。そして、これらの方法を選択できるようになっていれば、ユーザの好みにもマッチしやすくなり、映像処理装置11の利用頻度も向上する。
(3)上記実施形態の映像処理装置11は、マスクの形式、マスクの大きさ毎にマスク情報をマスク情報記憶部13が記憶し、映像処理部18がマスク情報を利用するようになっていたが、マスク情報記憶部13には、マスクの形式(タイプ)毎にのみマスク情報を記憶させておき、映像処理部18がマスク情報に基づいて様々な大きさのマスクを計算してマスクを構成することにより利用するようになっていてもよい。
このようになっていれば、マスク情報記憶部13が記憶するデータ量を減らすことができる。
(4)上記実施形態では、映像処理装置11においてマスク処理を行うようになっていたが、映像処理装置11ではマスク処理を行わず、カメラ自体にマスクが設けられていてもよい。ここで、マスクが設けられたカメラレンズについて、図19の模式図を用いて説明する。
図19に示すように、真円の形状を有するカメラレンズ501のレンズ面に上側マスク部材501aと下側マスク部材501bとが設けられている。これらのマスクは、樹脂、金属板等からなり、カメラレンズ501のレンズ面に直接固着されていてもよいし、カメラレンズ501のレンズ面に覆い被さる形で脱着可能に設けられていてもよい。
上側マスク部材501aは、映像が表示装置に表示された状態におけるその映像の上部をマスクするようにカメラレンズ501のレンズ面に設けられている。表示装置に表示される具体的な映像例は図15と同様である。また、下側マスク部材501bは、映像が表示装置に表示された状態におけるその映像の下部をマスクするようにカメラレンズ501のレンズ面に設けられている。表示装置に表示される具体的な映像例は図15と同様である。
このようなマスク部材を有するカメラレンズであれば、歪みの発生しやすい周辺部の映像がマスクされるため、運転者の違和感を軽減することができる。その上で、映像の左右方向における中央領域の情報の多い映像を出力することができるため、左右方向における中央領域の情報が運転者にとって特に重要となる映像(例えば、後退時に用いるための後方映像)を処理させる目的に適している。
[特許請求の範囲との対応]
上記実施形態の説明で用いた用語と、特許請求の範囲に記載した用語との対応を示す。
映像入力インタフェース12が映像入力手段に相当し、マスク情報記憶部13がマスク情報記憶手段に相当し、映像処理部18がマスク処理実行手段及び人物検知手段に相当し、映像出力インタフェース15が出力手段に相当し、操作部16が操作受付手段に相当し、情報入力インタフェース17が報知情報入力手段及び障害物情報入力手段に相当する。
映像処理装置及びその周辺装置類を説明するためのブロック図である。 後退時処理を説明するためのフローチャートである。 報知情報重畳処理、操作アイコン重畳処理、及び、障害物報知処理を説明するためのフローチャートである。 人物報知処理を説明するためのフローチャートである。 表示切替処理を説明するためのフローチャートである。 マスク情報を説明するための説明図である。 マスクなしの映像例である。 マスクの基本形1である。 映像例に対して画角表示が追加された例1である。 映像例に対して画角表示が追加された例2である。 映像例に対して画角表示が追加された例3である。 映像例に対して画角表示が追加された例4である。 映像例に対して画角表示が追加された例5である。 車両モデルが重畳表示された例である。 マスクの基本形2である。 映像例に対してスライダを表示させた例である。 映像例に対して各種操作アイコン等を表示させた例である。 映像の歪み曲線を説明するために説明図である。 マスクをしたレンズの一例である。 表示切替処理において切り替えられて表示される映像例である。
符号の説明
11…映像処理装置、12…映像入力インタフェース、13…マスク情報記憶部、14…前回選択マスク記憶部、15…映像出力インタフェース、16…操作部、17…情報入力インタフェース、18…映像処理部、21…カメラ、22…表示装置、23…シフト位置センサ、24…障害物検知装置、25…ECU群、501…カメラレンズ、501a…上側マスク部材、501b…下側マスク部材。

Claims (23)

  1. 車両に搭載されたカメラから前記車両の周辺の映像を映像信号により入力する映像入力手段と、
    マスクに関する情報であるマスク情報が記憶されたマスク情報記憶手段と、
    前記マスク情報記憶手段に記憶された前記マスク情報に基づき、前記映像入力手段により入力された前記映像に対してマスク処理を実行するマスク処理実行手段と、
    前記マスク処理実行手段によりマスク処理された映像を表示装置へ出力する出力手段と、
    を備えた映像処理装置であって、
    前記出力手段により前記表示装置へ出力される前記映像の形状は略矩形であり、
    前記マスク情報記憶手段に記憶された前記マスク情報によって表現されるマスクは、上側マスクと下側マスクとからなり、
    前記上側マスクは、前記映像が前記表示装置に表示された状態における前記映像の上辺に沿って配置されるマスクであって下方向に凹形状になったマスクであり、
    前記下側マスクは、前記映像が前記表示装置に表示された状態における前記映像の下辺に沿って配置されるマスクであって上方向に凹形状になったマスクであること、
    を特徴とする映像処理装置。
  2. 請求項1に記載の映像処理装置において、
    前記上側マスク、又は、前記下側マスクの少なくともいずれか一方のマスクの凹形状は、前記映像入力手段が入力する映像の歪み曲線に沿った形状であること、
    を特徴とする映像処理装置。
  3. 請求項1に記載の映像処理装置において、
    前記上側マスク、又は、前記下側マスクの少なくともいずれか一方のマスクの凹形状は、当該マスクを上方向に開口しているように回転させて見た場合に略V字形状となっていること、
    を特徴とする映像処理装置。
  4. 請求項1に記載の映像処理装置において、
    前記上側マスクの凹形状は、前記映像入力手段が入力する映像の歪み曲線に沿った形状であり、
    前記下側マスクの凹形状は、略V字形状であること、
    を特徴とする映像処理装置。
  5. 請求項1〜請求項4のいずれかに記載の映像処理装置において、
    前記マスク処理実行手段が行うマスク処理は、前記映像におけるマスク対象部分の塗りつぶし、前記映像におけるマスク対象部分の明度変更、前記映像におけるマスク対象部分の彩度変更、前記映像におけるマスク対象部分の色相変更、又は、前記映像におけるマスク対象部分のモザイク化、の少なくともいずれか一つであること、
    を特徴とする映像処理装置。
  6. 請求項1〜請求項5のいずれかに記載の映像処理装置において、
    さらに、ユーザからの操作を受け付ける操作受付手段を備え、
    前記マスク情報記憶手段は、複数のマスクについての前記マスク情報を記憶しており、
    前記マスク処理実行手段は、前記操作受付手段が受け付けた操作に基づいて特定される前記マスク情報記憶手段が記憶するいずれか一つの前記マスク情報に基づき、前記マスク処理を実行すること、
    を特徴とする映像処理装置。
  7. 請求項6に記載の映像処理装置において、
    前記マスク情報記憶手段は、前記特徴を有するサイズの異なる複数のマスクについての前記マスク情報を記憶していること、
    を特徴とする映像処理装置。
  8. 請求項1〜請求項5のいずれかに記載の映像処理装置において、
    さらに、ユーザからの操作を受け付ける操作受付手段を備え、
    前記マスク処理実行手段は、前記操作受付手段が受け付けた操作に基づき、前記上側マスク又は下側マスクの少なくともいずれか一方についての前記マスク処理を実行しないこと、
    を特徴とする映像処理装置。
  9. 請求項6〜請求項8のいずれかに記載の映像処理装置において、
    前記操作受付手段は、前記出力手段が前記映像を出力する前記表示装置の表示面に設けられたタッチパネルであること、
    を特徴とする映像処理装置。
  10. 請求項6〜請求項8のいずれかに記載の映像処理装置において、
    前記操作受付手段は、前記車両のステアリング部分に設けられたステアリングスイッチであること、
    を特徴とする映像処理装置。
  11. 請求項6〜請求項10のいずれかに記載の映像処理装置において、
    前記マスク処理実行手段は、前記マスク処理を行った前記映像におけるマスク部分に、ユーザの操作をガイドするための操作アイコンを重畳させ、
    前記出力手段は、前記操作アイコンが重畳された前記映像を前記表示装置へ出力すること、
    を特徴とする映像処理装置。
  12. 請求項9を引用する請求項11に記載の映像処理装置において、
    前記マスク処理実行手段は、前記タッチパネルがタッチされると前記操作アイコンを重畳させ、重畳させた後、所定時間経過すると前記操作アイコンを消去すること、
    を特徴とする映像処理装置。
  13. 請求項1〜請求項12のいずれかに記載の映像処理装置において、
    さらに、ユーザへ報知するための報知情報を入力する報知情報入力手段を備え、
    前記マスク処理実行手段は、前記マスク処理を行った前記映像におけるマスク部分に、前記報知情報入力手段により入力された前記報知情報に基づく文字又は図形の少なくともいずれか一方を重畳させ、
    前記出力手段は、前記文字又は図形の少なくともいずれか一方が重畳された前記映像を前記表示装置へ出力すること、
    を特徴とする映像処理装置。
  14. 請求項1〜請求項12のいずれかに記載の映像処理装置において、
    さらに、障害物に関する情報である障害物情報を障害物検知装置から入力する障害物情報入力手段を備え、
    前記マスク処理実行手段は、前記障害物情報入力手段を介して前記障害物情報を入力すると、前記マスク処理を行った前記映像におけるマスク部分の色を所定の色に変更し、
    前記出力手段は、マスク部分が前記所定の色に変更された前記映像を前記表示装置へ出力すること、
    を特徴とする映像処理装置。
  15. 請求項14に記載の映像処理装置において、
    前記マスク処理実行手段は、前記障害物情報として、前記車両から前記障害物までの距離を入力すると、その距離に応じ、前記マスク処理を行った前記映像におけるマスク部分の色を変更すること、
    を特徴とする映像処理装置。
  16. 請求項1〜請求項12のいずれかに記載の映像処理装置において、
    さらに、障害物に関する情報である障害物情報を障害物検知装置から入力する障害物情報入力手段を備え、
    前記マスク処理実行手段は、前記障害物情報入力手段を介して前記障害物情報を入力すると、前記映像におけるマスク部分に前記障害物情報に基づく文字又は図形の少なくともいずれか一方を重畳させ、
    前記出力手段は、前記文字又は図形の少なくともいずれか一方が重畳された前記映像を前記表示装置へ出力すること、
    を特徴とする映像処理装置。
  17. 請求項1〜請求項16のいずれかに記載の映像処理装置において、
    前記映像入力手段により入力された前記映像から人物を検知する人物検知手段をさらに備え、
    前記マスク処理実行手段は、前記人物検知手段により人物が検知されると、前記マスク処理を行った前記映像におけるマスク部分の色を所定の色に変更し、
    前記出力手段は、マスク部分が前記所定の色に変更された前記映像を前記表示装置へ出力すること、
    を特徴とする映像処理装置。
  18. 請求項17に記載の映像処理装置において、
    前記人物検知手段は、映像中における人物の位置も検知することができ、
    前記マスク処理実行手段は、前記人物検知手段により検知された人物が、前記マスク処理を行うことにより隠れることになるか否かを判定し、隠れることになる場合は前記マスク処理を行わないこと、
    を特徴とする映像処理装置。
  19. 請求項1〜請求項18のいずれかに記載の映像処理装置において、
    前記映像入力手段は、前記映像を無線通信により前記カメラから入力すること、
    を特徴とする映像処理装置。
  20. 請求項1〜19のいずれかに記載の映像処理装置において、
    前記映像入力手段が前記映像を入力する前記カメラは、広画角レンズを備えたカメラであること、
    を特徴とする映像処理装置。
  21. 請求項20に記載の映像処理装置において、
    前記映像入力手段が前記映像を入力する前記カメラのレンズは、水平画角は180°以上であること、
    を特徴とする映像処理装置。
  22. 請求項20又は請求項21に記載の映像処理装置において、
    前記映像入力手段が前記カメラから取得した広画角映像の一部領域の切り出しズーム映像である狭画角映像を生成する狭画角映像生成手段と、
    前記映像入力手段が前記カメラから取得した広画角映像と、前記狭画角映像生成手段が生成した狭画角映像とを切り替えて前記出力手段に出力させる映像切替手段と、
    をさらに備え、
    前記マスク処理実行手段は、前記映像切替手段が前記広画角映像に切り替えている場合のみ前記マスク処理を行い、また、前記マスク処理を行う前記映像におけるマスク部分と、前記広画角映像における前記狭画角映像に対応する領域とが重複しないよう前記マスク処理を実行すること、
    を特徴とする映像処理装置。
  23. 車両の周辺を撮影して略矩形の映像を出力可能なカメラであって、
    前記カメラのレンズ部分には、上側マスク部材と下側マスク部材とが設けられ、
    前記上側マスク部材は、前記映像が表示装置に表示された状態における前記映像の上部をマスクするマスクであって下方向に凹形状になったマスクを実現するマスク部材であり、
    前記下側マスク部材は、前記映像が表示装置に表示された状態における前記映像の下部をマスクするマスクであって上方向に凹形状になったマスクを実現するマスク部材であること、
    を特徴とするカメラ。
JP2007221188A 2007-08-28 2007-08-28 映像処理装置及びカメラ Expired - Fee Related JP4595976B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007221188A JP4595976B2 (ja) 2007-08-28 2007-08-28 映像処理装置及びカメラ
US12/222,560 US8670034B2 (en) 2007-08-28 2008-08-12 Image processor and camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007221188A JP4595976B2 (ja) 2007-08-28 2007-08-28 映像処理装置及びカメラ

Publications (2)

Publication Number Publication Date
JP2009055427A true JP2009055427A (ja) 2009-03-12
JP4595976B2 JP4595976B2 (ja) 2010-12-08

Family

ID=40406792

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007221188A Expired - Fee Related JP4595976B2 (ja) 2007-08-28 2007-08-28 映像処理装置及びカメラ

Country Status (2)

Country Link
US (1) US8670034B2 (ja)
JP (1) JP4595976B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102582516A (zh) * 2011-01-05 2012-07-18 株式会社电装 后方视野辅助设备
JP2013038521A (ja) * 2011-08-04 2013-02-21 Canon Marketing Japan Inc ネットワークカメラシステム、制御方法、及びプログラム
WO2014017620A1 (ja) * 2012-07-27 2014-01-30 日立建機株式会社 作業機械の周囲監視装置
JP2017061193A (ja) * 2015-09-24 2017-03-30 ダイハツ工業株式会社 車載カメラ
JP2020107613A (ja) * 2015-03-23 2020-07-09 株式会社小糸製作所 車輌用撮像装置、車輌用灯具及び電子制御ユニット

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4512293B2 (ja) * 2001-06-18 2010-07-28 パナソニック株式会社 監視システムおよび監視方法
US8218007B2 (en) * 2007-09-23 2012-07-10 Volkswagen Ag Camera system for a vehicle and method for controlling a camera system
DE102009020328A1 (de) 2009-05-07 2010-11-11 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Darstellung von unterschiedlich gut sichtbaren Objekten aus der Umgebung eines Fahrzeugs auf der Anzeige einer Anzeigevorrichtung
US8310523B2 (en) * 2009-08-27 2012-11-13 Sony Corporation Plug-in to enable CAD software not having greater than 180 degree capability to present image from camera of more than 180 degrees
JP2011118482A (ja) * 2009-11-30 2011-06-16 Fujitsu Ten Ltd 車載装置および認知支援システム
EP2511137B1 (en) * 2011-04-14 2019-03-27 Harman Becker Automotive Systems GmbH Vehicle Surround View System
JP5877376B2 (ja) * 2011-06-02 2016-03-08 パナソニックIpマネジメント株式会社 物体検出装置、物体検出方法および物体検出プログラム
JP5880916B2 (ja) * 2011-06-03 2016-03-09 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US9082021B2 (en) * 2011-11-01 2015-07-14 Aisin Seiki Kabushiki Kaisha Obstacle alert device
US20130293671A1 (en) * 2012-05-01 2013-11-07 Tourwrist, Inc. Systems and methods for stitching and sharing panoramas
KR101896715B1 (ko) * 2012-10-31 2018-09-07 현대자동차주식회사 주변차량 위치 추적 장치 및 방법
JP6260424B2 (ja) * 2014-04-16 2018-01-17 株式会社デンソー 車載カメラの取り付け誤差検出装置
JP6361382B2 (ja) * 2014-08-29 2018-07-25 アイシン精機株式会社 車両の制御装置
WO2016093063A1 (ja) * 2014-12-08 2016-06-16 株式会社リコー 画像管理システム、画像管理方法、及びプログラム
WO2016157462A1 (ja) * 2015-03-31 2016-10-06 株式会社小松製作所 作業機械の周辺監視装置
DE102015208343B4 (de) * 2015-05-06 2023-09-07 Robert Bosch Gmbh Verfahren zum Erzeugen eines Gesamtbildes einer Fahrzeugumgebung eines Fahrzeuges und entsprechende Vorrichtung
US20170132476A1 (en) * 2015-11-08 2017-05-11 Otobrite Electronics Inc. Vehicle Imaging System
CN105644442B (zh) * 2016-02-19 2018-11-23 深圳市歌美迪电子技术发展有限公司 一种扩展显示视野的方法、系统及汽车
WO2018105417A1 (ja) * 2016-12-09 2018-06-14 京セラ株式会社 撮像装置、画像処理装置、表示システム、および車両
US10108867B1 (en) * 2017-04-25 2018-10-23 Uber Technologies, Inc. Image-based pedestrian detection
US11175401B2 (en) * 2019-01-25 2021-11-16 Navico Holding As Systems and methods for determining distance in a sonar image
US11323633B2 (en) 2019-07-01 2022-05-03 Bendix Commercial Vehicle Systems, Llc Automated creation of a freeform mask for automotive cameras

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03127646U (ja) * 1990-04-04 1991-12-24
JP2005053296A (ja) * 2003-08-01 2005-03-03 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP2006246430A (ja) * 2005-02-02 2006-09-14 Auto Network Gijutsu Kenkyusho:Kk 車両周辺監視装置
JP2008004990A (ja) * 2006-06-20 2008-01-10 Nissan Motor Co Ltd 車両用表示制御装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3523660B2 (ja) 1992-12-03 2004-04-26 オリンパス株式会社 撮像装置
JP3511892B2 (ja) * 1998-05-25 2004-03-29 日産自動車株式会社 車両用周囲モニタ装置
US7277123B1 (en) * 1998-10-08 2007-10-02 Matsushita Electric Industrial Co., Ltd. Driving-operation assist and recording medium
US7027663B2 (en) * 2000-02-11 2006-04-11 Sony Corporation Masking tool
JP4918200B2 (ja) * 2001-04-24 2012-04-18 パナソニック株式会社 駐車運転支援装置
US7253833B2 (en) * 2001-11-16 2007-08-07 Autonetworks Technologies, Ltd. Vehicle periphery visual recognition system, camera and vehicle periphery monitoring apparatus and vehicle periphery monitoring system
JP3855814B2 (ja) * 2002-03-22 2006-12-13 日産自動車株式会社 車両用画像処理装置
JP4115198B2 (ja) * 2002-08-02 2008-07-09 株式会社日立製作所 タッチパネルを備えた表示装置
JP2004173071A (ja) 2002-11-21 2004-06-17 Auto Network Gijutsu Kenkyusho:Kk 車両周辺監視装置
JP4766841B2 (ja) * 2003-09-08 2011-09-07 株式会社オートネットワーク技術研究所 車両に搭載されるカメラ装置及び車両周辺監視装置
JP2005110202A (ja) * 2003-09-08 2005-04-21 Auto Network Gijutsu Kenkyusho:Kk カメラ装置及び車両周辺監視装置
JP2005112267A (ja) 2003-10-10 2005-04-28 Nissan Motor Co Ltd 車両用後退支援装置および車両用後退支援方法
US20050264833A1 (en) * 2004-03-09 2005-12-01 Seiko Epson Corporation Image retouching apparatus, corresponding image retouching method, and computer program product for image retouching
JP2005311868A (ja) * 2004-04-23 2005-11-04 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP4561353B2 (ja) * 2004-12-24 2010-10-13 日産自動車株式会社 映像信号処理装置とその方法及び車載カメラシステム
JP4606336B2 (ja) 2005-02-21 2011-01-05 株式会社オートネットワーク技術研究所 車両周辺視認装置
KR100703700B1 (ko) * 2005-04-06 2007-04-06 삼성전자주식회사 다수의 마이크로 영상을 표시하고 선택하여 확대하는 방법및 이를 이용한 디스플레이 장치와 휴대용 단말 장치
JP4975272B2 (ja) * 2005-05-30 2012-07-11 京セラ株式会社 ユーザ端末
JP4847051B2 (ja) * 2005-06-09 2011-12-28 クラリオン株式会社 車両周囲監視方法およびシステム
JP4591257B2 (ja) * 2005-07-27 2010-12-01 株式会社デンソー ハンズフリー装置
JP2007066224A (ja) 2005-09-02 2007-03-15 Auto Network Gijutsu Kenkyusho:Kk 運転支援装置
JP4711843B2 (ja) * 2006-02-06 2011-06-29 富士通株式会社 図形処理装置および図形処理方法
US8139083B2 (en) * 2006-08-09 2012-03-20 Sony Ericsson Mobile Communications Ab Custom image frames
KR100731812B1 (ko) * 2006-08-11 2007-06-22 엠텍비젼 주식회사 색상 편차 보정 장치 및 그 보정 방법, 이를 이용한 이미지프로세서, 기록 매체
US7701470B2 (en) * 2006-12-13 2010-04-20 Adobe Systems, Incorporated Stable mask combination in digital image editing
US7701363B1 (en) * 2007-01-17 2010-04-20 Milan Zlojutro Vehicle tracking and monitoring system
US7936361B2 (en) * 2007-04-30 2011-05-03 Hewlett-Packard Development Company, L.P. System and method for masking and overlaying images in multiple projector system
JP2009060404A (ja) * 2007-08-31 2009-03-19 Denso Corp 映像処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03127646U (ja) * 1990-04-04 1991-12-24
JP2005053296A (ja) * 2003-08-01 2005-03-03 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP2006246430A (ja) * 2005-02-02 2006-09-14 Auto Network Gijutsu Kenkyusho:Kk 車両周辺監視装置
JP2008004990A (ja) * 2006-06-20 2008-01-10 Nissan Motor Co Ltd 車両用表示制御装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102582516A (zh) * 2011-01-05 2012-07-18 株式会社电装 后方视野辅助设备
JP2012140106A (ja) * 2011-01-05 2012-07-26 Denso Corp 後方視界支援システム
US8854466B2 (en) 2011-01-05 2014-10-07 Denso Corporation Rearward view assistance apparatus displaying cropped vehicle rearward image
JP2013038521A (ja) * 2011-08-04 2013-02-21 Canon Marketing Japan Inc ネットワークカメラシステム、制御方法、及びプログラム
WO2014017620A1 (ja) * 2012-07-27 2014-01-30 日立建機株式会社 作業機械の周囲監視装置
JP2014025272A (ja) * 2012-07-27 2014-02-06 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
US9776566B2 (en) 2012-07-27 2017-10-03 Hitachi Construction Machinery Co., Ltd. Environment monitoring device for operating machinery
JP2020107613A (ja) * 2015-03-23 2020-07-09 株式会社小糸製作所 車輌用撮像装置、車輌用灯具及び電子制御ユニット
US11872604B2 (en) 2015-03-23 2024-01-16 Koito Manufacturing Co., Ltd. Image pickup device for vehicle, vehicle lamp and electronic control unit
JP2017061193A (ja) * 2015-09-24 2017-03-30 ダイハツ工業株式会社 車載カメラ

Also Published As

Publication number Publication date
US8670034B2 (en) 2014-03-11
JP4595976B2 (ja) 2010-12-08
US20090059005A1 (en) 2009-03-05

Similar Documents

Publication Publication Date Title
JP4595976B2 (ja) 映像処理装置及びカメラ
JP4458138B2 (ja) 車両周辺監視装置
JP5765995B2 (ja) 画像表示システム
EP2487906B1 (en) Control device and vehicle surrounding monitoring device
JP5271154B2 (ja) 画像生成装置及び画像表示システム
JP4955471B2 (ja) 画像表示装置及び車載用画像表示装置
CN107351764B (zh) 车辆后方监视系统
US8441536B2 (en) Vehicle periphery displaying apparatus
JP5329582B2 (ja) 車両用周辺監視装置
JP4867512B2 (ja) 画像表示装置およびプログラム
KR20120118073A (ko) 차량 주변 감시 장치
JP5622986B2 (ja) 画像表示システム、画像処理装置及び画像表示方法
JP2012217000A (ja) 画像表示システム、画像生成装置及び画像生成方法
JP2014110604A (ja) 車両周辺監視装置
JP2008100596A (ja) 後方視認装置
JP5915923B2 (ja) 画像処理装置及び運転支援システム
JP2008279875A (ja) 駐車支援装置
JP2016063390A (ja) 画像処理装置、及び画像表示システム
JP5718080B2 (ja) 車両用周辺監視装置
JP2014129093A (ja) 車両用周辺監視装置
JP5131152B2 (ja) 視覚支援装置
JP2012001126A (ja) 車両用周辺監視装置
JP2009061969A (ja) 映像処理装置
JP2007025739A (ja) 車両用画像表示装置
JP2008003659A (ja) 車両用周囲表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090625

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100824

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100906

R151 Written notification of patent or utility model registration

Ref document number: 4595976

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131001

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees