JP2021052257A - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP2021052257A
JP2021052257A JP2019172637A JP2019172637A JP2021052257A JP 2021052257 A JP2021052257 A JP 2021052257A JP 2019172637 A JP2019172637 A JP 2019172637A JP 2019172637 A JP2019172637 A JP 2019172637A JP 2021052257 A JP2021052257 A JP 2021052257A
Authority
JP
Japan
Prior art keywords
vehicle
region
image
image quality
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019172637A
Other languages
English (en)
Other versions
JP7167891B2 (ja
Inventor
西嶋 征和
Masakazu Nishijima
征和 西嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2019172637A priority Critical patent/JP7167891B2/ja
Priority to CN202010591072.3A priority patent/CN112634653B/zh
Priority to US16/913,455 priority patent/US11410288B2/en
Publication of JP2021052257A publication Critical patent/JP2021052257A/ja
Application granted granted Critical
Publication of JP7167891B2 publication Critical patent/JP7167891B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

【課題】着目すべき領域を高画質で撮像する。【解決手段】画像処理装置は、撮像範囲の全体を第1の画質で撮像するとともに、該撮像範囲の一部の領域を、第1の画質より高画質な第2の画質で撮像するカメラ(20)を搭載する車両(1)が、その進行方向が変化する特定場所に位置するか否かを判定する判定手段(15)と、車両が特定場所に位置すると判定された場合に、撮像範囲に含まれ、且つ、第2の画質で撮像すべき注目領域が撮像されるように、撮像範囲内における上記一部の領域の位置を変更する領域変更手段(12、13)と、を備える。【選択図】図1

Description

本発明は、画像処理装置の技術分野に関する。
この種の装置では、例えば撮像範囲の一部を高画質で撮像するとともに、撮像範囲の他の部分を低画質で撮像することによって、処理速度の向上が図られることがある。低画質で撮像する方法として、複数の画素を1個のブロック画素としてビニング画像(即ち、低画質化処理画像)を出力する技術が提案されている(特許文献1参照)。
特開2013−120988号公報
車両の前方を撮像する車載カメラの場合、例えば障害物検知等で着目すべき領域は、撮像範囲の中央部(即ち、車両の正面で、該車両からある程度離れた場所)であるので、該中央部が高画質で撮像されることが一般的である。他方で、例えば車両の右左折時等には、着目すべき領域が撮像範囲の中央部からずれてしまう。すると、着目すべき領域が高画質で撮像されないこととなり、例えば障害物検知等が適切に行われない可能性があるという技術的問題点がある。特許文献1に記載の技術では、この問題点を解決することはできない。
本発明は、上記問題点に鑑みてなされたものであり、着目すべき領域を高画質で撮像することができる画像処理装置を提供することを課題とする。
本発明の一態様に係る画像処理装置は、撮像範囲の全体を第1の画質で撮像するとともに、前記撮像範囲の一部の領域を、前記第1の画質より高画質な第2の画質で撮像するカメラを搭載する車両が、その進行方向が変化する特定場所に位置するか否かを判定する判定手段と、前記車両が前記特定場所に位置すると判定された場合に、前記撮像範囲に含まれ、且つ、前記第2の画質で撮像すべき領域であって、前記車両の挙動に応じて前記車両に対する位置が変化する領域である注目領域が撮像されるように、前記撮像範囲内における前記一部の領域の位置を変更する領域変更手段と、を備えるというものである。
当該画像処理装置によれば、注目領域が第2の画質で撮像されるように、第2の画質で撮像される領域である一部の領域の位置が変更されるので、例えば車両の右左折時等、注目領域(上述の“着目すべき領域”に相当)が車両正面からずれる場合においても、注目領域を比較的高画質な第2の画質で撮像することができる。
第1実施形態に係る画像処理装置の構成を示すブロック図である。 第1実施形態に係る画像処理装置の動作を示すフローチャートである。 高画質領域の位置の一例を示す図である。 第2実施形態に係る画像処理装置の構成を示すブロック図である。 第2実施形態の変形例に係る画像処理装置の動作を示すフローチャートである。 第3実施形態に係る画像処理装置の構成を示すブロック図である。 第3実施形態に係る画像処理装置の動作を示すフローチャートである。 第3実施形態の変形例に係る画像処理装置の動作を示すフローチャートである。
画像処理装置に係る実施形態について説明する。実施形態に係る画像処理装置は、カメラを制御可能に構成されている。尚、当該画像処理装置は、カメラとは別部材として構成されていてもよいし、カメラと一体として(例えば、カメラの一部として)構成されていてもよい。
カメラは、撮像範囲の全体を第1の画質で撮像するとともに、該撮像範囲の一部の領域を、第1の画質より高画質な第2の画質で撮像する。カメラは、例えば、撮像範囲の全体を第2の画質で撮像可能な撮像素子を有していてよい。この場合、例えばビニング処理等の既存の低画質化処理技術を用いて、第1の画質での撮像が行われてよい。上記一部の領域の第2の画質での撮像は、上記撮像素子のうち該一部の領域に相当する画素に係る画素値を読み出すことにより行われてよい。尚、撮像範囲の一部の領域の撮像が、「撮像範囲の一部の領域の切り出し(又はトリミング)」という概念で扱われてよい。
ここで、上記一部の領域のサイズは、撮像範囲の全体を第1の画質で撮像したときの処理負荷と、該一部の領域を第2の画質で撮像したときの処理負荷とが同等となるように設定されてよい。第1の画質で撮像するときに、例えば撮像素子の4画素が1個のブロック画素として扱われる場合、上記一部の領域のサイズは、撮像素子を構成する画素数の4分の1の画素数とされてよい。
当該画像処理装置は、判定手段及び領域変更手段を備えている。判定手段は、カメラを搭載する車両(即ち、当該画像処理装置を搭載する車両)が、その進行方向が変化する特定場所に位置するか否かを判定する。ここで「進行方向」は、車両をその上方から平面的に見た場合の該車両が移動する方向(例えば、車両の上下軸まわりに該車両が回転することで決定される方向)に限らず、3次元空間において該車両が移動する方向(例えば、車両の上下軸に加えて左右軸まわりに該車両が回転することで決定される方向)も含む概念である。
「進行方向が変化する特定場所」としては、例えば、右左折が行われる可能性のある交差点、カーブ路、坂道の入口及び出口、等が挙げられる。車両が特定場所に位置するか否かは、例えば次のようにして判定すればよい。即ち、カメラにより撮像された画像から、(i)例えば信号機、横断歩道等の特定場所に固有の物が写っているか否かを判定して、(ii)FOE(Focus of Expansion)の変化を検出することによって、又は、(iii)道路の曲率を検出することによって、車両が特定場所に位置するか否かを判定すればよい。或いは、車両に係る位置情報と、地図情報とに基づいて、車両が特定場所に位置するか否かを判定すればよい。或いは、車両に係る速度変化や操舵操作に基づいて、車両が特定場所に位置するか否かを判定すればよい。
領域変更手段は、車両が特定場所に位置すると判定された場合に、カメラの撮像範囲に含まれ、且つ、第2の画質で撮像すべき領域であって、車両の挙動に応じて該車両に対する位置が変化する領域である注目領域が撮像されるように、撮像範囲内における一部の領域(即ち、第2の画質で撮像される領域)の位置を変更する。
「注目領域」は、カメラにより撮像された画像の使用目的等に応じて変更されてよい。該画像が、例えば障害物検知に用いられる場合、注目領域は、典型的には、車両の前方の道路であってよい。ただし、例えば交差点では、対向車線や歩道等が注目領域として設定されてよい。「注目領域」は、上述の如く、車両の挙動に応じて該車両に対する位置が変化する領域である。このため、例えば車両が操舵されることにより、その進行方向が変化すると、撮像範囲における注目領域の位置も変化することとなる。例えば交差点では、車両の右左折時に、注目領域(例えば車両が交差点に進入したときの対向車線等)が、車両正面からずれることとなる。
領域変更手段は、具体的には例えば、第1の画質で撮像された画像に基づいて注目領域を特定して、該注目領域が撮像されるように、撮像範囲内における一部の領域の位置を変更してよい。「一部の領域の位置」の変更は、撮像素子を構成する複数の画素のうち、画素値を読み出す画素を変更することにより実現されてよい。
当該画像処理装置によれば、注目領域が第2の画質で撮像されるように、第2の画質で撮像される領域である一部の領域の位置が変更されるので、例えば車両の右左折時等、注目領域が車両正面からずれる場合においても、注目領域を比較的高画質な第2の画質で撮像することができる。
<第1実施形態>
実施形態に係る画像処理装置の一具体例としての車載カメラ100について図1乃至図3を参照して説明する。ここでは、画像処理装置は、車載カメラ100の一部として構成されているものとする。
車載カメラ100は、車両1に搭載されている。図1において、車載カメラ100は、制御装置10及び本体部20を備えて構成されている。ここで、「制御装置10」及び「本体部20」は、夫々、上述した「画像処理装置」及び「カメラ」に相当する。制御装置10は、本体部20を制御可能に構成されている。制御装置10は、例えば、撮像範囲全体の第1の画質での撮像と、該撮像範囲の一部の領域の第2の画質での撮像とを交互に行うように本体部20を制御してよい。
尚、撮像範囲の一部の領域を、以降、適宜「高画質領域」と称する。撮像範囲全体が第1の画質で撮像された画像を、以降、適宜「ビニング画像」と称する。撮像範囲の一部の領域が第2の画質で撮像された画像を、以降、適宜「高画質画像」と称する。
制御装置10は、その内部に論理的に実現される処理ブロックとして、又は、物理的に実現される処理回路として、画像取得部11、画像処理部12、位置決定部13、制御部14及び判定部15を有している。本体部20は、ここでは図示しない、撮像素子及び光学系を有している。
画像取得部11は、本体部20からビニング画像及び高画質画像を取得する。画像取得部11は、ビニング画像を画像処理部12に出力するとともに、高画質画像を、例えば障害物検知装置等の当該車載カメラ100により撮像された画像を用いる装置に出力する。
画像処理部12は、ビニング画像から注目領域を検出する。ここでは、注目領域を「交差点に車両1が進入するときの対向車線」として具体的に説明をする。画像処理部12は、ビニング画像から、対向車線に相当する領域を検出する。画像処理部12は、検出された対向車線に相当する領域に係る無限遠点を算出する。尚、対向車線に相当する領域の検出、及び、無限遠点の算出には、既存の技術を適用可能であるので、その詳細についての説明は省略する。
位置決定部13は、画像処理部12により算出された無限遠点に基づいて、注目領域が第2の画質で撮像されるように、撮像範囲内における高画質領域の位置を決定する。このとき、位置決定部13は、例えば無限遠点が高画質領域に含まれるように、高画質領域の位置を決定してよい。この場合、位置決定部13は、例えば無限遠点が高画質領域内の特定領域に位置するように、高画質領域の位置を決定してもよいし、例えば無限遠点が高画質領域に含まれ、且つ、高画質領域の位置の変化が抑制されるように、高画質領域の位置を決定してもよい。尚、画像処理部12及び位置決定部13は、上述した「領域変更手段」の一例に相当する。
制御部14は、位置決定部13により決定された高画質領域の位置に基づいて、高画質画像を撮像するように(言い換えれば、高画質領域を第2の画質で撮像するように)、本体部20を制御する。
判定部15は、例えばビニング画像に基づいて、車両1が、上記「進行方向が変化する特定場所」の一例としての、交差点に位置するか否かを判定する。尚、判定部15は、上述した「判定手段」の一例に相当する。
車載カメラ100の動作について、図2のフローチャートを参照して説明を加える。
図2において、判定部15は、ビニング画像に基づいて、車両1が交差点に進入したか否か(即ち、車両1が交差点に位置するか否か)を判定する(ステップS101)。ステップS101の処理において、車両1が交差点に進入していないと判定された場合(ステップS101:No)、当該動作は終了される。この場合、高画質領域は、撮像範囲の中央部に設定されてよい。その後、所定時間(例えば数十ミリ秒から数百ミリ秒等)経過後に、ステップS101の処理が行われる。つまり、図2に示される動作は、所定時間に応じた周期で繰り返し行われる。
ステップS101の処理において、車両1が交差点に進入したと判定された場合(ステップS101:Yes)、画像処理部12は、ビニング画像から、対向車線に相当する領域を検出する(ステップS102)。続いて、画像処理部12は、検出された対向車線に相当する領域に係る無限遠点を算出する(ステップS103)。
次に、位置決定部13は、画像処理部12により算出された無限遠点に基づいて、撮像範囲内における高画質領域の位置を決定する(ステップS104)。その後、制御部14は、位置決定部13により決定された高画質領域の位置に基づいて、高画質画像を撮像するように本体部20を制御する(ステップS105)。
ここで、車両1が交差点を右折するときに、図2に示される動作により高画質領域の位置が、どのように決定されるかを、図3を参照して具体的に説明する。図3(a)は、車両1が交差点に進入し、右折を開始する前のビニング画像の一例である。図3(b)は、車両1が交差点で右折を開始した後のビニング画像の一例である。
図3(a)に示すように、車両1が右折を開始する前は、対向車線は車両1の正面に位置するので、ビニング画像における対向車線に相当する領域に係る無限遠点は、ビニング画像の中心に比較的近い位置となる。このため、高画質領域は、ビニング画像の中央部(言い換えれば、撮像範囲の中央部)に設定されてよい(図3(a)の破線枠参照)。
図3(b)に示すように、車両1が右折を開始すると、上記無限遠点は、車両1の動きに合わせてビニング画像の左側に向かって移動することとなる。このため、高画質領域は、図3(a)に示す場合に比べて、ビニング画像の中央より左側に寄った位置に設定される(図3(b)の破線枠参照)。
(技術的効果)
実施形態に係る画像処理装置の一具体例としての車載カメラ100によれば、交差点に車両1が進入するときの対向車線に係る無限遠点に基づいて、高画質領域の位置が決定されるので、交差点を車両1が右折するときに、注目領域の一例としての対向車線の高画質画像を適切に撮像することができる。このとき撮像された高画質画像を用いて、例えば障害物検知が行われれば、交差点を車両1が右折する際に、対向車線を走行する対向車が好適に検知されることが期待できる。この結果、車両1と対向車との衝突(所謂、右直事故)が防止されることが期待できる。
車載カメラ100では、撮像範囲の一部の領域である高画質領域のみが第2の画質で撮像されるので、撮像範囲の全体が第2の画質で撮像される場合に比べて処理負荷を低減することができる。具体的には例えば、高画質領域が撮像範囲の4分の1のサイズであれば、撮像範囲の全体が第2の画質で撮像される場合に比べて処理負荷を4分の1にすることができる。
<第1変形例>
上述した第1実施形態では、交差点を車両1が右折する場合を一例として挙げたが、車載カメラ100は、例えば交差点を車両1が左折する場合にも適用可能である。この場合、注目領域は、例えば「横断歩道及び歩道」とすればよい。例えば車両1のウインカの作動状況に基づいて、車両1が交差点を右折するか左折するかを判定し、注目領域が変更されてよい。
この場合、画像処理部12は、上述したステップS102の処理に相当する処理において、ビニング画像から、横断歩道及び歩道に相当する領域を検出してよい。その後、画像処理部12は、上述したステップS103の処理に相当する処理において、検出された横断歩道及び歩道に相当する領域に係る無限遠点を算出してよい。そして、位置決定部13は、上述したステップS104の処理に相当する処理において、画像処理部12により算出された無限遠点に基づいて、撮像範囲内における高画質領域の位置を決定してよい。
<第2変形例>
上述した第1実施形態では、進行方向が変化する特定場所として交差点を一例として挙げたが、例えばカーブ路が、進行方向が変化する特定場所として設定されていてよい。この場合、注目領域は、例えば「道路(又は車道)」とすればよい。
この場合、判定部15は、上述したステップS101の処理に相当する処理において、ビニング画像(例えば、ビニング画像に写っている道路の曲率)に基づいて、車両1がカーブ路に進入したか否か(即ち、車両1がカーブ路に位置するか否か)を判定してよい。
位置決定部13は、上述したステップS104の処理に相当する処理において、例えば、ビニング画像に写っている道路の曲率、及び、画像処理部12により算出された道路に相当する領域に係る無限遠点(この場合、例えばカーブ路に係る接線から無限遠点が求められてよい)の少なくとも一方に基づいて、撮像範囲内における高画質領域の位置を決定してよい。
<第2実施形態>
実施形態に係る画像処理装置の他の一具体例としての車載カメラ200について図4を参照して説明する。第2実施形態では、判定部15の動作が一部異なる以外は、上述した第1実施形態と同様である。よって、第2実施形態について、第1実施形態と重複する説明を省略するとともに、図面上における共通箇所には同一符号を付して示し、基本的に異なる点についてのみ、図4を参照して説明する。
車載カメラ200の判定部15は、図4に示すように、GPS(Global Positioning System)31により検出された車両1の位置、及び、地図情報32を参照可能に構成されている。判定部15は、上述したステップS101の処理に相当する処理において、GPS31により検出された車両1の位置、及び、地図情報32に基づいて、車両1が交差点に進入したか否かを判定する。
このように構成すれば、車両1が、進行方向が変化する特定場所(ここでは、交差点)に位置するか否かを比較的容易に判定することができる。尚、車載カメラ200は、交差点を車両1が右折する場合に限らず、交差点を車両1が左折する場合や、車両1がカーブ路を走行する場合にも適用可能である(第1実施形態の各変形例参照)。
<変形例>
坂道の入口及び出口近傍が、進行方向が変化する特定場所として設定されていてよい。この場合の車載カメラ200の動作について図5のフローチャートを参照して説明する。ここでは、位置決定部13は、GPS31により検出された車両1の位置、及び、地図情報32を参照可能に構成されているものとする。地図情報32は、道路勾配に係る勾配情報を含んでいるものとする。
図5において、判定部15は、GPS31により検出された車両1の位置、及び、地図情報32に基づいて、車両1が坂道の入口又は出口近傍に位置するか否かを判定する(ステップS201)。
「近傍」に該当する範囲は、例えば車両1の速度や、高画質画像を用いる装置又は機能(例えば、障害物検知等)に応じて変化してよい。具体的には、車載カメラ200により撮像された高画質画像が障害物検知に用いられる場合、車両1の速度が比較的小さければ(例えば時速30キロメートル等)、「近傍」に該当する範囲は、坂道の入口又は出口を中心とした半径十数メートル〜20メートルの範囲であってよく、車両1の速度が比較的大きければ(例えば時速80キロメートル等)、「近傍」に該当する範囲は、坂道の入口又は出口を中心とした半径60メートル〜100メートルの範囲であってよい。
ステップS201の処理において、車両1が坂道の入口近傍及び出口近傍のいずれにも位置していないと判定された場合(ステップS201:No)、当該動作は終了される。この場合、高画質領域は、撮像範囲の中央部に設定されてよい。その後、所定時間経過後に、ステップS201の処理が行われる。
ステップS201の処理において、車両1が坂道の入口又は出口近傍に位置すると判定された場合(ステップS201:Yes)、画像処理部12は、ビニング画像から、例えば道路に相当する領域を検出する(ステップS202)。このとき、画像処理部12は、道路に相当する領域に係る無限遠点を算出してよい。
ステップS202の処理と並行して、位置決定部13は、GPS31により検出された車両1の位置、及び、地図情報32に含まれる勾配情報に基づいて、車両1の進路前方の道路に係る勾配情報を取得する(ステップS203)。
位置決定部13は、画像処理部12により取得された勾配情報に基づいて、撮像範囲内における高画質領域の位置を決定する(ステップS204)。その後、制御部14は、位置決定部13により決定された高画質領域の位置に基づいて、高画質画像を撮像するように本体部20を制御する(ステップS205)。
車両1が坂道の入口近傍に位置する場合、高画質領域は、撮像範囲の上端側(上り坂)又は下端側(下り坂)に位置する。車両1が坂道の出口近傍に位置する場合、高画質領域は、撮像範囲の下端側(上り坂)又は上端側(下り坂)に位置する。
ステップS204の処理において、位置決定部13は、画像処理部12により取得された勾配情報に基づいて、高画質領域の撮像範囲における上下方向の位置を決定するとともに、画像処理部12により算出された無限遠点に基づいて、高画質領域の撮像範囲における左右方向の位置を決定してよい。位置決定部13は、画像処理部12により取得された勾配情報に基づいて、高画質領域の撮像範囲における上下方向の位置を決定するとともに、車両1の位置から坂道の入口又は出口までの距離に応じて、該上下方向の位置を調整してよい。
尚、車両1が坂道を走行しているとき(即ち、車両1が、坂道における入口近傍及び出口近傍のいずれも走行していないとき)、高画質領域は撮像範囲の中央に設定されていてよい。
<第3実施形態>
実施形態に係る画像処理装置の他の一具体例としての車載カメラ300について図6及び図7を参照して説明する。第3実施形態では、位置決定部13の動作が一部異なる以外は、上述した第2実施形態と同様である。よって、第3実施形態について、第2実施形態と重複する説明を省略するとともに、図面上における共通箇所には同一符号を付して示し、基本的に異なる点についてのみ、図6及び図7を参照して説明する。
車載カメラ300の位置決定部13は、図6に示すように、車両情報取得部33により取得された車両情報を参照可能に構成されている。ここで、車両情報取得部33は、例えば車速センサ、操舵角センサ、ヨーレートセンサ等の各種車載センサにより検出された車両1の挙動に係る車両情報を取得するように構成されている。尚、車両情報取得部33については、既存の各種態様を適用可能であるので、その詳細についての説明は省略する。
位置決定部13は、上述したステップS102の処理と並行して、車両情報取得部33から、上記車両情報に含まれる車両1に係る角度情報(具体的には、車両1の操舵角及び車体回転角の少なくとも一方を示す角度情報)を取得する(ステップS303)。位置決定部13は、取得された角度情報に基づき、車両1が右折していることを条件に、車両1が回転する方向とは反対方向に高画質領域が移動するように、撮像範囲内における高画質領域の位置を決定する(ステップS304)。
このとき、位置決定部13は、取得された角度情報に基づいて、例えば車載カメラ300に係る1フレーム期間に車両1がどの程度回転するかを求めて、該求められた回転の程度に応じて撮像範囲内における高画質領域の位置を決定してよい。
尚、ステップS102の処理において、画像処理部12により、交差点に車両1が進入するときの対向車線に相当する領域が検出されなかったことを条件に、図7に示す処理は終了されてよい。或いは、ステップS303の処理において取得された角度情報に基づいて、例えば操舵角が一定に維持されていること、又は、当初とは反対方向に操舵されたこと(所謂、切り戻し)を条件に、図7に示す処理は終了されてよい。
尚、車載カメラ300は、交差点を車両1が右折する場合に限らず、交差点を車両1が左折する場合にも適用可能である。この場合、注目領域は、例えば「横断歩道及び歩道」とすればよい。
<変形例>
上述した第1実施形態の第2変形例と同様に、例えばカーブ路が、進行方向が変化する特定場所として設定されていてよい。
この場合、図8に示すように、車載カメラ300の判定部15は、GPS31により検出された車両1の位置、及び、地図情報32に基づいて、車両1がカーブ路に進入したか否か(即ち、車両1がカーブ路に位置するか否か)を判定する(ステップS401)。
ステップS401の処理において、車両1がカーブ路に進入していないと判定された場合(ステップS401:No)、当該動作は終了される。この場合、高画質領域は、撮像範囲の中央部に設定されてよい。その後、所定時間経過後に、ステップS401の処理が行われる。
ステップS401の処理において、車両1がカーブ路に進入していると判定された場合(ステップS401:Yes)、画像処理部12は、ビニング画像から、例えば道路に相当する領域を検出する(ステップS402)。
位置決定部13は、上述したステップS402の処理と並行して、車両情報取得部33から車両1に係る角度情報を取得する(ステップS403)。位置決定部13は、取得された角度情報に基づいて、車両1が回転する方向と同じ方向に高画質領域が移動するように、撮像範囲内における高画質領域の位置を決定する(ステップS404)。このとき、位置決定部13は、ステップS402の処理において、画像処理部12により検出された道路に相当する領域に基づいて、高画質領域の位置を調整してよい。
<その他>
(1)上述した第1実施形態乃至第3実施形態では、画像処理装置が車載カメラの一部として構成されているが、該画像処理装置に相当する制御装置10(図1等参照)は、本体部20(即ち、カメラ)とは別部材として構成されていてよい。この場合、制御装置10は、例えば車両1のECU(Electronic Control Unit)により実現されてよい。
(2)上述した第1実施形態乃至第3実施形態では、本体部20(即ち、カメラ)において、例えば、高画質領域に相当する画素に係る画素値が読み出されることにより高画質画像が得られる。しかしながら、本体部20により、撮像範囲の全体が第2の画質(即ち、高画質)で撮像されてもよい。このとき撮像された画像を全画角高画質画像と称する。
制御装置10(即ち、画像処理装置)は、注目領域を含む一部の領域を、全画角高画質画像から抽出(即ち、トリミング)してもよい。このように構成すれば、例えば障害物検知装置等において、全画角高画質画像が用いられる場合に比べて、該障害物検知装置の処理負荷を軽減することができる。尚、撮像範囲における一部の領域の位置の決定方法については、上述した第1実施形態等と同様の方法を用いてよい。
以上に説明した実施形態及び変形例から導き出される発明の各種態様を以下に説明する。
発明の一態様に係る画像処理装置は、撮像範囲の全体を第1の画質で撮像するとともに、前記撮像範囲の一部の領域を、前記第1の画質より高画質な第2の画質で撮像する車載カメラを搭載する車両が、その進行方向が変化する特定場所に位置するか否かを判定する判定手段と、前記車両が前記特定場所に位置すると判定された場合に、前記撮像範囲に含まれ、且つ、前記第2の画質で撮像すべき領域であって、前記車両の挙動に応じて前記車両に対する位置が変化する領域である注目領域が撮像されるように、前記撮像範囲内における前記一部の領域の位置を変更する領域変更手段と、を備えるというものである。
当該画像処理装置の一態様では、前記領域変更手段は、前記撮像範囲の全体が前記第1の画質で撮像された画像における無限遠点を特定して、前記特定された無限遠点に基づいて前記一部の領域の位置を変更する。
この態様では、前記特定場所は交差点であり、前記注目領域は、前記交差点に前記車両が進入するときの対向車線であり、前記領域変更手段は、前記画像における前記対向車線に係る無限遠点を特定して、前記特定された無限遠点に基づいて前記一部の領域の位置を変更してよい。
当該画像処理装置の他の態様では、前記領域変更手段は、前記車両の操舵角及び車体回転角の少なくとも一方を示す角度情報を取得して、前記取得された角度情報に基づいて前記一部の領域の位置を変更する。
この態様では、前記特定場所は交差点であり、前記注目領域は、前記交差点に前記車両が進入するときの対向車線であり、前記領域変更手段は、前記取得された角度情報に基づいて、前記車両が回転する方向とは反対方向に前記一部の領域が移動するように、前記一部の領域の位置を変更してよい。
当該画像処理装置の他の態様では、前記特定場所は坂道の入口又は出口近傍であり、前記領域変更手段は、勾配情報を含む地図情報と、前記車両の現在地を示す位置情報とから、前記坂道の勾配を特定して、前記特定された勾配に基づいて前記一部の領域の位置を変更する。
本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う画像処理装置もまた本発明の技術的範囲に含まれるものである。
1…車両、10…制御装置、11…画像取得部、12…画像処理部、13…位置決定部、14…制御部、15…判定部、20…本体部、31…GPS、32…地図情報、33…車両情報取得部、100、200、300…車載カメラ

Claims (6)

  1. 撮像範囲の全体を第1の画質で撮像するとともに、前記撮像範囲の一部の領域を、前記第1の画質より高画質な第2の画質で撮像するカメラを搭載する車両が、その進行方向が変化する特定場所に位置するか否かを判定する判定手段と、
    前記車両が前記特定場所に位置すると判定された場合に、前記撮像範囲に含まれ、且つ、前記第2の画質で撮像すべき領域であって、前記車両の挙動に応じて前記車両に対する位置が変化する領域である注目領域が撮像されるように、前記撮像範囲内における前記一部の領域の位置を変更する領域変更手段と、
    を備えることを特徴とする画像処理装置。
  2. 前記領域変更手段は、前記撮像範囲の全体が前記第1の画質で撮像された画像における無限遠点を特定して、前記特定された無限遠点に基づいて前記一部の領域の位置を変更することを特徴とする請求項1に記載の画像処理装置。
  3. 前記特定場所は交差点であり、
    前記注目領域は、前記交差点に前記車両が進入するときの対向車線であり、
    前記領域変更手段は、前記画像における前記対向車線に係る無限遠点を特定して、前記特定された無限遠点に基づいて前記一部の領域の位置を変更する
    ことを特徴とする請求項2に記載の画像処理装置。
  4. 前記領域変更手段は、前記車両の操舵角及び車体回転角の少なくとも一方を示す角度情報を取得して、前記取得された角度情報に基づいて前記一部の領域の位置を変更することを特徴とする請求項1に記載の画像処理装置。
  5. 前記特定場所は交差点であり、
    前記注目領域は、前記交差点に前記車両が進入するときの対向車線であり、
    前記領域変更手段は、前記取得された角度情報に基づいて、前記車両が回転する方向とは反対方向に前記一部の領域が移動するように、前記一部の領域の位置を変更する
    ことを特徴とする請求項4に記載の画像処理装置。
  6. 前記特定場所は坂道の入口又は出口近傍であり、
    前記領域変更手段は、勾配情報を含む地図情報と、前記車両の現在地を示す位置情報とから、前記坂道の勾配を特定して、前記特定された勾配に基づいて前記一部の領域の位置を変更する
    ことを特徴とする請求項1に記載の画像処理装置。
JP2019172637A 2019-09-24 2019-09-24 画像処理装置 Active JP7167891B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019172637A JP7167891B2 (ja) 2019-09-24 2019-09-24 画像処理装置
CN202010591072.3A CN112634653B (zh) 2019-09-24 2020-06-24 图像处理设备
US16/913,455 US11410288B2 (en) 2019-09-24 2020-06-26 Image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019172637A JP7167891B2 (ja) 2019-09-24 2019-09-24 画像処理装置

Publications (2)

Publication Number Publication Date
JP2021052257A true JP2021052257A (ja) 2021-04-01
JP7167891B2 JP7167891B2 (ja) 2022-11-09

Family

ID=74881068

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019172637A Active JP7167891B2 (ja) 2019-09-24 2019-09-24 画像処理装置

Country Status (3)

Country Link
US (1) US11410288B2 (ja)
JP (1) JP7167891B2 (ja)
CN (1) CN112634653B (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012216045A (ja) * 2011-03-31 2012-11-08 Fujitsu Ltd 画像処理装置および画像処理プログラム
JP2015018515A (ja) * 2013-07-12 2015-01-29 矢崎エナジーシステム株式会社 車載器
JP2015228707A (ja) * 2015-09-18 2015-12-17 株式会社ニコン 撮像装置
WO2017187811A1 (ja) * 2016-04-27 2017-11-02 ソニー株式会社 撮像制御装置及び撮像制御方法、並びに撮像装置
US20190281235A1 (en) * 2016-12-06 2019-09-12 Conti Temic Microelectronic Gmbh Camera Device and Method for Capturing a Surrounding Region of a Vehicle in a Situation-Adapted Manner

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6546119B2 (en) * 1998-02-24 2003-04-08 Redflex Traffic Systems Automated traffic violation monitoring and reporting system
JP4218453B2 (ja) * 2003-07-15 2009-02-04 株式会社デンソー 車両用前方視界支援装置
JP2007094045A (ja) * 2005-09-29 2007-04-12 Matsushita Electric Ind Co Ltd ナビゲーション装置、ナビゲート方法および車両
JP4760562B2 (ja) * 2006-06-19 2011-08-31 日産自動車株式会社 車両用周辺情報提示装置及び車両用周辺情報提示方法
JP2010055157A (ja) * 2008-08-26 2010-03-11 Panasonic Corp 交差点状況認識システム
JP2012093872A (ja) * 2010-10-26 2012-05-17 Fujitsu Ten Ltd 画像認識装置、及び、画像認識方法
JP2013120988A (ja) * 2011-12-06 2013-06-17 Shimadzu Corp 頭部装着型表示装置
JP2016048839A (ja) * 2014-08-27 2016-04-07 株式会社小糸製作所 電子制御ユニットおよび車両用映像システム
KR102384175B1 (ko) * 2015-07-29 2022-04-08 주식회사 만도모빌리티솔루션즈 차량의 카메라 장치
JP6750519B2 (ja) * 2016-05-24 2020-09-02 株式会社Jvcケンウッド 撮像装置、撮像表示方法および撮像表示プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012216045A (ja) * 2011-03-31 2012-11-08 Fujitsu Ltd 画像処理装置および画像処理プログラム
JP2015018515A (ja) * 2013-07-12 2015-01-29 矢崎エナジーシステム株式会社 車載器
JP2015228707A (ja) * 2015-09-18 2015-12-17 株式会社ニコン 撮像装置
WO2017187811A1 (ja) * 2016-04-27 2017-11-02 ソニー株式会社 撮像制御装置及び撮像制御方法、並びに撮像装置
US20190281235A1 (en) * 2016-12-06 2019-09-12 Conti Temic Microelectronic Gmbh Camera Device and Method for Capturing a Surrounding Region of a Vehicle in a Situation-Adapted Manner

Also Published As

Publication number Publication date
CN112634653A (zh) 2021-04-09
CN112634653B (zh) 2022-05-17
JP7167891B2 (ja) 2022-11-09
US11410288B2 (en) 2022-08-09
US20210090234A1 (en) 2021-03-25

Similar Documents

Publication Publication Date Title
KR102524851B1 (ko) 차로 병합 및 차로 분리의 항법을 위한 시스템 및 방법
US20240132154A1 (en) Road profile along a predicted path
KR102534353B1 (ko) 검출된 배리어에 기반한 차량의 항법
US10798319B2 (en) Camera device and method for capturing a surrounding region of a vehicle in a situation-adapted manner
JP7144398B2 (ja) 自車両の周辺領域を捕捉するためのカメラ装置並びに方法
JP5421072B2 (ja) 接近物体検知システム
JP5482167B2 (ja) 車両用走行案内装置、車両用走行案内方法及びコンピュータプログラム
US8560220B2 (en) Method and apparatus for determining a plausible lane for guiding a vehicle and an automobile
JP2014086071A (ja) 車路認識方法及びシステム
US20180134289A1 (en) Lane division line recognition apparatus, lane division line recognition method, driving assist apparatus including lane division line recognition apparatus, and driving assist method including lane division line recognition method
JP2011118482A (ja) 車載装置および認知支援システム
KR19990031307A (ko) 무인 자동차의 화상 처리 장치 및 방법
US20200364470A1 (en) Traveling lane recognition apparatus and traveling lane recognition method
JP2010078387A (ja) 車線判定装置
JP5330289B2 (ja) 撮像装置および料金収受システム
JP7195200B2 (ja) 車載装置、車載システムおよび周辺監視方法
JP5986206B2 (ja) 画像処理装置、撮像装置、移動体、プログラム、および領域設定方法
US20230245414A1 (en) Vehicle control system using a scanning system
JP2006344133A (ja) 道路区画線検出装置
JP7245653B2 (ja) 信号機認識方法及び信号機認識装置
US20230150499A1 (en) Vehicle control system and vehicle driving method using the vehicle control system
JP7167891B2 (ja) 画像処理装置
JP5308810B2 (ja) 車載映像表示装置
US11721113B2 (en) Vehicular driving assist system with lane detection using rear camera
JP6941677B2 (ja) 画像認識装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210917

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220909

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221010

R151 Written notification of patent or utility model registration

Ref document number: 7167891

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151