JP2018142954A - 自律走行のための映像処理方法、映像処理装置及び自律走行車両 - Google Patents

自律走行のための映像処理方法、映像処理装置及び自律走行車両 Download PDF

Info

Publication number
JP2018142954A
JP2018142954A JP2018016588A JP2018016588A JP2018142954A JP 2018142954 A JP2018142954 A JP 2018142954A JP 2018016588 A JP2018016588 A JP 2018016588A JP 2018016588 A JP2018016588 A JP 2018016588A JP 2018142954 A JP2018142954 A JP 2018142954A
Authority
JP
Japan
Prior art keywords
frame
target object
video
video processing
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018016588A
Other languages
English (en)
Inventor
榮 完 徐
Young-Wan Seo
榮 完 徐
バロム 田
Ba Rom Jeon
バロム 田
百 煥 趙
Baek Hwan Cho
百 煥 趙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2018142954A publication Critical patent/JP2018142954A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T5/92—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

【課題】 自律走行のための映像処理方法及び装置を提供する。【解決手段】 一実施形態に係る映像処理方法は、入力映像の第１フレームで対象オブジェクトを認識し、前記対象オブジェクトの明度に基づいて前記入力映像の第２フレームの露出を調整し、前記第１フレーム及び前記第２フレームを合成して合成映像を生成するステップを含む。【選択図】 図１

Description

下記の実施形態は、自律走行のための映像処理方法及び装置に関する。
自律走行（Ａｕｔｏｍａｔｉｃ Ｄｒｉｖｉｎｇ）は、車両走行中に要求される各種の操作を自動で行うものであり、例えば、自律走行車両は運転者がハンドルと加速ペダル、ブレーキなどを操作しなくても自ら道路で走ることができる。車両の自律走行のためには車間距離を自動で維持する技術、車線離脱及び車線維持の有無を知らせる技術、後方及び側方の検出物を知らせる技術などが使用される。自律走行のための様々な技術は、車両で把握される周辺映像情報を用いて実行される。
本発明の目的は、自律走行のための映像処理方法及び装置を提供することにある。
一実施形態によると、映像処理方法は、入力映像の第１フレームで対象オブジェクトを認識するステップと、前記対象オブジェクトの明度に基づいて、前記入力映像の第２フレームの露出を調整するステップと、前記第１フレーム及び前記第２フレームを合成して合成映像を生成するステップとを含む。
前記対象オブジェクトを認識するステップは、前記第１フレームで道路を認識するステップと、前記道路上の一定の範囲を認識領域に設定するステップと、前記認識領域で前記対象オブジェクトを認識するステップとを含み得る。
前記対象オブジェクトを認識するステップは、前記第１フレーム及び車両の位置に基づいて前記対象オブジェクトを認識するステップを含み得る。
前記対象オブジェクトは、トンネルの入口、トンネルの出口、及び車両のライトのうち少なくとも１つ又は少なくとも２つの組合せを含み得る。
前記第２フレームの露出を調整するステップ及び前記合成映像を生成するステップは、前記対象オブジェクトの明度と前記第１フレームで前記対象オブジェクトを除いた残りの領域の明度との間の差が予め決定された閾値よりも大きい場合に実行され得る。
前記第２フレームの露出を調整するステップは、前記対象オブジェクトの明度が前記第１フレームで前記対象オブジェクトを除いた残りの領域の明度に比べて大きい場合、前記第２フレームの露出を減少させるステップと、前記対象オブジェクトの明度が前記第１フレームで前記対象オブジェクトを除いた残りの領域の明度に比べて小さい場合、前記第２フレームの露出を増加させるステップとを含み得る。
前記合成映像を生成するステップは、前記第１フレームで前記対象オブジェクトを除いた残りの領域と前記第２フレームで前記対象オブジェクトに対応する領域とを合成するステップを含み得る。
前記合成映像を生成するステップは、前記第１フレームで前記対象オブジェクトを除いた残りの領域と前記第２フレームで前記対象オブジェクトに対応する領域のうち道路上の領域を合成するステップを含み得る。
前記第２フレームの露出を調整するステップは、車両が夜間に明るいトンネルに進入する場合、前記車両が昼間に暗いトンネルから進出する場合、及び前記車両に逆光が照らす場合のうち少なくとも１つ又は少なくとも２つの組合せに対応して、前記第２フレームの露出を減少させるステップを含み得る。
前記第２フレームの露出を調整するステップは、車両が昼間に暗いトンネルに進入する場合、及び前記車両が夜間に明るいトンネルから進出する場合の双方又は一方に対応して、前記第２フレームの露出を減少させるステップを含み得る。
一実施形態によると、映像処理装置は、入力映像の第１フレームで対象オブジェクトを認識し、前記対象オブジェクトの明度に基づいて前記入力映像の第２フレームの露出を調整し、前記第１フレーム及び前記第２フレームを合成して合成映像を生成するプロセッサを含む。
前記プロセッサは、前記第１フレームで道路を認識し、前記道路上に認識領域を設定し、前記認識領域で前記対象オブジェクトを認識し得る。
前記プロセッサは、前記第１フレーム及び車両の位置に基づいて前記対象オブジェクトを認識し得る。
前記プロセッサは、前記対象オブジェクトの明度と前記第１フレームで前記対象オブジェクトを除いた残りの領域の明度との間の差が予め決定された閾値よりも大きい場合、前記第２フレームの露出を調整し得る。
前記プロセッサは、前記第１フレームで前記対象オブジェクトを除いた残りの領域と前記第２フレームで前記対象オブジェクトに対応する領域とを合成して前記合成映像を生成し得る。
前記プロセッサは、前記第１フレームで前記対象オブジェクトを除いた残りの領域と前記第２フレームで前記対象オブジェクトに対応する領域のうち道路上の領域を合成して前記合成映像を生成し得る。
前記映像処理装置は、前記プロセッサに接続され、コンピュータで読出し可能な命令語を含むメモリをさらに含み、前記プロセッサは、前記命命令語に基づいて前記対象オブジェクトを認識し、露出を調整し、前記合成映像を生成するように制御され得る。
前記映像処理装置は、前記入力映像を生成するイメージセンサをさらに含み得る。
前記映像処理装置は、前記合成映像に基づいて走行する自律走行車両であり得る。
一実施形態に係る自律走行車両は、入力映像の第１フレームで対象オブジェクトを認識し、前記対象オブジェクトの明度に基づいて前記入力映像の第２フレームの露出を調整し、前記第１フレーム及び前記第２フレームを合成して合成映像を生成する映像処理装置と、前記合成映像に基づいて車両を制御する制御装置とを含む。
前記映像処理装置は、前記第１フレームで道路を認識し、前記道路上に認識領域を設定し、前記認識領域で前記対象オブジェクトを認識し得る。
一実施形態に係る自律走行車両は、複数のフレームを含むイメージストリームを生成するイメージセンサと、前記イメージストリームの第１フレーム内の対象オブジェクトを認識し、前記第１フレーム内の前記対象オブジェクトに関して識別された特徴に基づいて、前記イメージセンサの動作パラメータを調整する第１動作、及び補助センサを駆動させる第２動作のうち少なくとも１つを行い、前記調整された動作パラメータ及び前記補助センサのうち少なくとも１つを用いて前記対象オブジェクトを含む第２フレームを取得し、前記第２フレームに基づいて自律走行車両を制御するプロセッサとを含む。
本発明によると、自律走行のための映像処理方法及び装置を提供することができる。
一実施形態に係る映像処理過程を示す図である。 一実施形態に係る認識領域を説明する図である。 一実施形態に係る位置情報を活用した認識過程を示す図である。 一実施形態に係るトンネルの入口を示す図である。 一実施形態に係るトンネルの出口を示す図である。 一実施形態に係る車両のライトを示す図である。 一実施形態に係る露出調整に基づいて連続した合成映像を生成する過程を示す図である。 一実施形態に係る映像処理装置を示すブロック図である。 一実施形態に係る自律走行車両を示すブロック図である。 一実施形態に係る映像処理方法を示した動作フローチャートである。
本明細書に開示されている本発明の概念による実施形態に対して特定の構造的又は機能的な説明は、単に本発明の概念による実施形態を説明するための目的として例示されたものであり、本発明の概念による実施形態は様々な形態で実施され、本明細書に説明された実施形態に限定されることはない。
第１又は第２などの用語を複数の構成要素を説明するために用いることができるが、このような用語は１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第１構成要素は第２構成要素と命名することができ、同様に第２構成要素は第１構成要素にも命名することができる。
いずれかの構成要素が他の構成要素に「連結されて」いると言及された場合、その次の構成要素に直接的に連結されてもよく、又は中間に他の構成要素が存在することもあり得ると理解されなければならない。一方いずれかの構成要素が他の構成要素に「直接連結されて」いるか「直接接続されて」いと言及される場合には、中間に他の構成要素が存在しないものとして理解されなければならない。構成要素間の関係を説明する表現、例えば「〜間に」と「すぐ〜の間に」、又は「〜に隣接する」と「〜に直接に隣接する」などのように解釈されなければならない。
単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
異なるように定義さがれない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
以下、実施形態を添付する図面を参照しながら詳細に説明する。各図面に提示された同一の参照符号は同一の部材を示す。
図１は、一実施形態に係る映像処理過程を示す図である。図１を参照すると、映像処理装置１００は、入力映像に基づいて合成映像を生成する。映像処理装置１００は、１つ又はそれ以上のソフトウェアモジュール、１つ又はそれ以上のハードウェアモジュール、又はこれらの様々な組合せで実現される。
映像処理装置１００は車両に搭載されてもよく、合成映像は車両の自律走行のために使用されてもよい。自律走行は、車両の走行中に要求される各種の操作を自動に行うことにある。例えば、自律走行状態で車両は運転者のハンドル操作、加速操作及び減速操作などを行わなくても自ら走行できる。車両の自律走行のために車両間の距離を自動に維持する技術、車線離脱や車線維持の有無を知らせる技術、車両周辺の障害物を知らせる技術などが使用される。
自律走行のための様々な技術は、車両で把握される様々な検出情報を用いて実行される。例えば、車両は車両に備えられたカメラを用いて車両周辺の映像情報を取得し、映像情報を用いて車両周辺の地形地物を把握し得る。もし、車両が明度対比が大きい環境にある場合、車両周辺の映像情報から車両周辺の地形地物を円滑に把握し難い。例えば、車両がトンネルに進入する場合、トンネルの入口周辺の照度は高く、トンネル内部の照度は低い状況であるため、車両がトンネル内部の状態を把握することが困難である。
映像処理装置１００は、入力映像で周辺に比べて明度対比（又はコントラスト）の大きい部分を認識し、該当部分の明度を調整して合成映像を生成する。例えば、映像処理装置１００は、ＨＤＲ（ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ）方式によって合成映像を生成し得る。一実施形態によると、周辺に比べて明度対比が大きいと予測されるオブジェクトは予め決定され、映像処理装置１００は、入力映像で予め決定されたオブジェクトを認識する。例えば、予め決定されたオブジェクトは、トンネルの入口、トンネルの出口、及び車両のライトのうち少なくとも１つ、又は少なくとも２つの組合せを含んでもよく、これに限定されることはない。以下で予め決定されたオブジェクトは、対象オブジェクトと称される。映像処理装置１００は、入力映像から対象オブジェクトを認識し、対象オブジェクトの明度を調整して合成映像を生成する。
入力映像は、連続的な複数のフレームを含む。例えば、入力映像は、第１フレーム１１０及び第２フレーム１２１を含む。第２フレーム１２１は、第１フレーム１１０の次のフレームである。以下では、第１フレーム１１０及び第２フレーム１２１に基づいて映像処理装置１００の動作を説明するが、下記の説明は入力映像の他のフレームにも適用され得る。
映像処理装置１００は、第１フレーム１１０で対象オブジェクト１１５を認識する。対象オブジェクト１１５を認識することは、対象オブジェクト１１５に対応する領域を認識するものとして理解される。一実施形態によると、映像処理装置１００は、映像基盤のオブジェクト認識方式を用いて対象オブジェクト１１５を認識する。例えば、映像処理装置１００は、入力映像から対象オブジェクト１１５を認識するよう学習された認識装置を用いて対象オブジェクト１１５を認識する。該当の認識装置は、人工ニューラルネットワークを含む。人工ニューラルネットワークは、ディープランニングによって入力映像から対象オブジェクト１１５を認識するように学習される。
他の実施形態によると、映像処理装置１００は、映像基盤のオブジェクト認識方式及び車両の位置情報に基づいて対象オブジェクト１１５を認識してもよい。例えば、映像処理装置１００は、ＧＰＳ情報などを用いて車両の位置を把握する。映像処理装置１００は、地図情報などを用いて車両の位置近辺に予め決定された対象オブジェクトが存在するか否かを判断する。地図情報は、予め決定された対象オブジェクトの類型、位置などが格納される。映像処理装置１００は、車両の位置近辺に予め決定された対象オブジェクトが存在するという判断に応じて、第１フレーム１１０から対象オブジェクト１１５を検出する。
実施形態により、映像処理装置１００は、予め決定された認識領域内で対象オブジェクト１１５を認識する。例えば、認識領域は、道路上の一定の範囲に予め決定されてもよい。この場合、映像処理装置１００は、第１フレーム１１０で道路を認識し、認識された道路上で対象オブジェクト１１５を認識する。そのため、映像処理装置１００は、自律走行に影響を与えない道路以外の領域に不要な演算力を消耗しなくてもよい。
映像処理装置１００は、第１フレーム１１０で対象オブジェクト１１５が認識されることにより、第２フレーム１２１の露出を調整する。第２フレーム１２３は、露出が調整された状態を示す。露出調整は、様々な方式で実行される。例えば、映像処理装置１００は、入力映像を撮影したカメラの露出時間を調整したり、該当のカメラの感度を調整したり、入力映像が撮影された後に入力映像の露出をソフトウェア的な方法によって調整し得る。
露出を調整するために他の適切な方法を用いてもよい。例えば、絞り、Ｆ−ストップ、ズーム、焦点、遮蔽（ｓｈｉｅｌｄｉｎｇ）、スペクトルの紫外線や赤外線の部分のような、異なる物理的特性や動作特性、又は異なるパラメータを使用する補助センサ又は補助カメラを用いてもよい。暗いかまたはその他の不利な状況で赤外線を介して補充的な対象情報を取得してもよい。実施形態によると、可視スペクトル及びそのスペクトルで作動する単一カメラの使用に限定されることなく、動作パラメータの修正及び／又は補助イメージ、ライダー（ｌｉｄａｒ）又は音響センサの利用などが主カメラ（ｐｒｉｍａｒｙ ｃａｍｅｒａ）を補充するために考慮される。例えば、必要に応じて、補助カメラが駆動されて補助カメラのイメージストリームによって主カメラの映像が補完され得る。
映像処理装置１００は、対象オブジェクト１１５の明度に基づいて第２フレーム１２１の露出を調整する。例えば、対象オブジェクト１１５がトンネルの入口である場合、昼間には入力映像によって対象オブジェクト１１５の内部が認識され難い状況であるため、対象オブジェクト１１５の明度が調整される必要がある。一方、夜間には、対象オブジェクト１１５の内部だけではなく、対象オブジェクト１１５の外部環境も暗いため、対象オブジェクト１１５の明度を調整しなくてもよい。
安全な走行のために、自律走行のための映像分析にはリアルタイム性が保障されなければならない。もし、入力映像の全てのフレームに関して露出調整が実行される場合、露出調整及び合成にコンピューティングリソースが大きく消耗されることから、合成映像の生成が遅れることがある。映像処理装置１００は、第１フレーム１１０で対象オブジェクト１１５が認識されても、必要な場合にのみ第２フレーム１２１の露出を調整し得る。
一実施形態によると、映像処理装置１００は、第１フレーム１１０で対象オブジェクト１１５の明度と対象オブジェクト１１５を除いた残りの領域の明度との間の差に基づいて、第２フレーム１２１の露出調整が必要であるかを決定する。対象オブジェクト１１５を除いた残りの領域の明度は、対象オブジェクト１１５の周辺領域の明度又は対象オブジェクト１１５を除いた残りの領域の平均明度を意味する。例えば、映像処理装置１００は、対象オブジェクト１１５の明度と第１フレーム１１０で対象オブジェクト１１５を除いた残りの領域の明度との間の差が予め決定された閾値よりも大きい場合、第２フレーム１２１の露出を調整する。一例として、閾値は、２−ステップに決定してもい。ここで、ステップは、入力映像を撮影するカメラの露出計で用いられる露出補正の単位を意味する。
第２フレーム１２１の露出調整が求められるものとして決定された場合、映像処理装置１００は、第１フレーム１１０で対象オブジェクト１１５の明度と対象オブジェクト１１５を除いた残りの領域の明度との間の差に基づいて、第２フレーム１２１の露出を調整する。例えば、第１フレーム１１０で対象オブジェクト１１５の明度が対象オブジェクト１１５を除いた残りの領域の明度に比べて大きい場合、映像処理装置１００は、第２フレーム１２１の露出を減少させる。また、第１フレーム１１０で対象オブジェクト１１５の明度が対象オブジェクト１１５を除いた残りの領域の明度に比べて小さい場合、映像処理装置１００は、第２フレーム１２１の露出を増加させる。図１では、対象オブジェクト１１５の明度が対象オブジェクト１１５を除いた残りの領域の明度に比べて小さいため、第２フレーム１２１の露出は増加された。
第２フレーム１２１の露出が調整されることにより、映像処理装置１００は、第１フレーム１１０と第２フレーム１２３を合成して合成映像の第１フレーム１３０を生成する。例えば、映像処理装置１００は、第１フレーム１１０で対象オブジェクト１１５を除いた残りの領域と第２フレーム１２３で対象オブジェクト１１５に対応する領域１２５を合成する。又は、映像処理装置１００は、第１フレーム１１０で対象オブジェクト１１５を除いた残りの領域と領域１２５のうち道路上の領域を合成する。
映像処理装置１００は、入力映像に含まれた複数のフレームのうち合成が必要な一部のフレームについて上述した動作を行う。例えば、映像処理装置１００は、入力映像で対象オブジェクト１１５の存在を持続的にモニタリングする。入力映像で対象オブジェクト１１５が認識された場合、映像処理装置１００は、必要に応じて入力映像を調整して合成映像を生成する。合成映像は、車両の自律走行に用いられてもよい。合成映像によって車両周辺の状況がより正確に予測され得る。
図２は、一実施形態に係る認識領域を説明する図である。映像処理装置は、入力映像で対象オブジェクトを認識することにおいて、入力映像の全体領域をスキャンする代わりに、予め決定された認識領域をスキャンする。認識領域は、道路上の一定の範囲も設定されてもよい。映像処理装置は入力映像で道路を認識して、道路上の一定の範囲を認識領域に設定する。
図２を参照すると、入力映像２００が図示されている。映像処理装置は、入力映像２００で道路を認識し、道路上の一定の範囲を認識領域に設定する。認識領域が設定された場合、映像処理装置は、入力映像２００で認識領域以外の部分をスキャンしなくてもよい。したがって、映像処理装置は、認識領域内で対象オブジェクト２１０を迅速かつ効率よく認識できる。
認識領域が設定されることにより、映像処理装置がスキャンしなければならない範囲は減少するため、オブジェクト認識に必要とされるリソースが節約される。また、認識領域が設定されることにより他のオブジェクトが対象オブジェクト２１０として誤認される可能性が減少し得る。例えば、ランプに該当するオブジェクト２２０は車両のライトに該当する対象オブジェクト２１０として誤認される可能性がある。したがって、認識領域が設定されない場合、オブジェクト２２０によって入力映像の露出が調整される。オブジェクト２２０は車両の走行と直接的に関連しないため、オブジェクト２２０による映像の合成によってコンピューティングリソースが浪費される。
道路上の一定の範囲が認識領域として設定される場合、オブジェクト２２０は、映像処理装置によってスキャンされないため、対象オブジェクト２１０として認識されない。映像処理装置は、認識領域内でのみ対象オブジェクト２１０をスキャンすることから、コンピューティングリソースの浪費を防止し、オブジェクト認識の正確度を向上させることができる。
図３は、一実施形態に係る位置情報を活用した認識過程を示す図である。図３を参照すると、地図３１０及び入力映像３２０が図示されている。
映像処理装置は、対象オブジェクトの認識において、位置情報を映像情報と共に利用し得る。位置情報は、車両の位置及び車両周辺オブジェクトの位置を含む。位置情報は、映像処理装置によって生成されたり、又は車両の制御装置によって生成されて映像処理装置に提供される。
位置情報は、様々な測位技術によって生成される。例えば、位置情報は、ＧＰＳ（ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ）及びＩＭＵ（ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）などに基づいて生成されるが、これに限定されることはない。映像処理装置は、位置情報に基づいて車両及び車両周辺オブジェクトの位置を把握し、入力映像に現れたオブジェクトの認識において車両及び車両周辺オブジェクトの位置を活用できる。
例えば、地図３１０には、車両３１３及び対象オブジェクト３１１が表示されている。入力映像３２０には対象オブジェクト３２５が含まれている。映像処理装置は、地図３１０上で車両３１３の前方に対象オブジェクト３１１が位置する地点に基づいて、入力映像３２０から対象オブジェクト３２５を認識できる。実施形態によると、位置情報と映像情報が共に考慮されるため、オブジェクト認識の正確度が向上する。
車両の位置は状況に応じて他の方式により決定されてもよい。例えば、車両がトンネルに進入する前には衛星からＧＰＳ信号を受信するため、車両の位置はＧＰＳに基づいて決定される。又は、車両がトンネルの内部に存在すると、衛星からＧＰＳ信号を受信できないことから、車両の位置はＩＭＵに基づいて決定されてもよい。
図４は、一実施形態に係るトンネルの入口を示す図である。図４を参照すると、昼間の暗いトンネルの入口が含まれた入力映像４１０、昼間の明るいトンネルの入口が含まれた入力映像４２０、夜間の暗いトンネルの入口が含まれた入力映像４３０、及び夜間の明るいトンネルの入口が含まれた入力映像４４０が図示されている。
映像処理装置は、入力映像で対象オブジェクトを認識し、対象オブジェクトの明度と入力映像で、対象オブジェクトを除いた残りの領域の明度との間の差に基づいて入力映像の露出を調整する。例えば、対象オブジェクトの明度と入力映像から対象オブジェクトを除いた残りの領域の明度との間の差が予め決定された閾値よりも大きい場合、入力映像の露出が調整される。図４において、対象オブジェクトはトンネルの入口に該当する。トンネル内部の照明、トンネルの長さ、及びトンネル外部からトンネル内部に入射される光量などに応じて、トンネル内部は明るいか暗いこともあるため、入力映像の露出を調整することにおいて、昼間又は夜間を指示する走行時間及びトンネル内部の明度が全て考慮される。
入力映像４１０は、トンネル外部に位置する車両が昼間に暗いトンネルに進入する場合に撮影されたものである。入力映像４１０で、トンネルの入口は暗く残り部分は明るい。この場合、トンネルの入口の明度と残り部分の明度との間の差が予め決定された閾値よりも大きい。したがって、入力映像４１０が受信される場合、映像処理装置は入力映像４１０の露出を高めて合成映像を生成する。
入力映像４２０は、トンネル外部に位置する車両が昼間に明るいトンネルに進入する場合に撮影されたものである。入力映像４２０で、トンネルの入口と残り部分が全て明るい。この場合、トンネルの入口の明度と残り部分の明度との間の差が予め決定された閾値よりも小さい。したがって、入力映像４２０が受信される場合、映像処理装置は合成映像を生成しなくてもよい。
入力映像４３０は、トンネル外部に位置する車両が夜間に暗いトンネルに進入する場合に撮影されたものである。入力映像４３０で、トンネルの入口と残り部分が全て暗い。この場合、トンネルの入口の明度と残り部分の明度との間の差が予め決定された閾値よりも小さい。したがって、入力映像４３０が受信される場合、映像処理装置は合成映像を生成しなくてもよい。
入力映像４４０は、トンネル外部に位置する車両が夜間に明るいトンネルに進入する場合に撮影されたものである。入力映像４４０で、トンネルの入口は明るくて残り部分は暗い。この場合、トンネルの入口の明度と残り部分の明度との間の差が予め決定された閾値よりも大きい。したがって、入力映像４４０が受信される場合、映像処理装置は、入力映像４４０の露出を低くして合成映像を生成する。
図５は、一実施形態に係るトンネルの出口を示す図である。図５を参照すると、暗いトンネルの明るい出口が含まれた入力映像５１０、暗いトンネルの暗い出口が含まれた入力映像５２０、明るいトンネルの明るい出口が含まれた入力映像５３０、及び明るいトンネルの暗い出口が含まれた入力映像５４０が図示されている。図５において、対象オブジェクトはトンネルの出口に該当する。その他に、図４を参照して説明した事項は図５に適用され得る。
入力映像５１０は、車両が昼間に暗いトンネルから進出する場合を撮影したものである。入力映像５１０でトンネルの出口は明るく残り部分は暗い。この場合、トンネルの出口の明度と残り部分の明度との間の差が予め決定された閾値よりも大きい。したがって、入力映像５１０が受信される場合、映像処理装置は入力映像５１０の露出を低くして合成映像を生成する。
入力映像５２０は、車両が夜間に暗いトンネルから進出する場合を撮影したものである。入力映像５２０でトンネルの出口と残り部分の全てが暗い。この場合、トンネルの出口の明度と残り部分の明度との間の差が予め決定された閾値よりも小さい。したがって、入力映像５２０が受信される場合、映像処理装置は合成映像を生成しなくてもよい。
入力映像５３０は、車両が昼間に明るいトンネルから進出する場合を撮影したものである。入力映像５３０でトンネルの出口と残り部分の全てが明るい。この場合、トンネルの出口の明度と残り部分の明度との間の差が予め決定された閾値よりも小さい。したがって、入力映像５３０が受信される場合、映像処理装置は合成映像を生成しなくてもよい。
入力映像５４０は、車両が夜間に明るいトンネルから進出する場合を撮影したものである。入力映像５４０でトンネルの出口は暗く残り部分は明るい。この場合、トンネルの出口の明度と残り部分の明度との間の差が予め決定された閾値よりも大きい。したがって、入力映像５４０が受信される場合、映像処理装置は入力映像５４０の露出を高めて合成映像を生成する。
図６は、一実施形態に係る車両のライトを示す図である。暗い環境でカメラに明るい光が照射される場合、又は明るい環境でカメラに周辺照度より極めて明るい光が照射される場合、入力映像でオブジェクトを認識することが難しい。例えば、このような状況は、夜間に車両の走行方向と反対方向に近づく対向車のライトがカメラに照射される場合、昼間に街路樹の間で逆光が照らす場合、昼間に隣接の車両又はビルディングに反射した光がカメラに照射される場合、昼間に暗いトンネルから進出する場合などを含む。このような状況で、映像処理装置は、光が強い部分を対象オブジェクトとして見なし入力映像の露出を調整して合成映像を生成する。下記では、夜間に対向車のライトがカメラに照射される場合を例示として説明するが、以下の説明は上述した残りの状況にも同様に適用される。
入力映像６００は夜間に撮影されたものであり、入力映像６００には反対方向の車線で走行中である対向車のライト６１０が含まれている。映像処理装置は、入力映像６００で車両のライト６１０を対象オブジェクトとして認識する。車両のライト６１０は道路上に位置するため、認識領域が道路上の一定の範囲に設定された場合にも車両のライト６１０は対象オブジェクトとして認識され得る。
映像処理装置は、車両のライト６１０を認識した後、入力映像６００で車両のライト６１０の明度と車両のライト６１０を除いた残りの領域の明度とを比較する。車両のライト６１０の明度が残りの領域の明度よりも予め決定された閾値以上に大きい場合、映像処理装置は、入力映像６００の露出を調整して合成映像を生成する。したがって、夜間に反対方向の車線に対向車が走行中であっても、合成映像によって自律走行が円滑に実行されることができる。
図７は、一実施形態に係る露出調整に基づいて連続した合成映像を生成する過程を示す図である。図７に示された合成映像の生成過程は、車両が夜間に明るいトンネルに進入する場合、車両が昼間に暗いトンネルから進出する場合、及び車両に逆光が照らす場合などの露出減少シナリオ又は、車両が昼間に暗いトンネルに進入する場合、及び車両が夜間に明るいトンネルから進出する場合などの露出増加シナリオに適用される。
図７を参照すると、入力映像の第１フレーム７１０、入力映像の第２フレーム７２０、入力映像の第３フレーム７３０、入力映像の第４フレーム７４０、入力映像の第５フレーム７５０、及び入力映像の第６フレーム７６０が図示されている。第１フレーム７１０、第３フレーム７３０、及び第５フレーム７５０はオリジナル映像であり、第２フレーム７２０、第４フレーム７４０、及び第６フレーム７６０は露出が調整された映像である。
映像処理装置は、第１フレーム７１０で対象オブジェクトを認識し、第１フレーム７１０で認識された対象オブジェクトの明度に基づいて第２フレーム７２０の露出を調整し得る。例えば、映像処理装置は、第２フレーム７２０の露出を２−ステップ調整させてもよい。映像処理装置は、第１フレーム７１０及び第２フレーム７２０を合成して合成映像７７０の第１フレーム７７１を生成する。同様に、映像処理装置は、第３フレーム７３０及び第４フレーム７４０を合成して合成映像７７０の第２フレーム７７３を生成し、第５フレーム７５０及び第６フレーム７６０を合成して合成映像７７０の第３フレーム７７５を生成する。
図８は、一実施形態に係る映像処理装置を示すブロック図である。図８を参照すると、映像処理装置８００は、プロセッサ８１０及びメモリ８２０を含む。
プロセッサ８１０は、図１〜図７を参照して前述した少なくとも１つの装置を含んだり、図１ないし図７を参照して前述した少なくとも１つの方法を行ってもよい。例えば、プロセッサ８１０は、上述した映像処理に関する動作を処理する。より具体的に、プロセッサ８１０は、入力映像の第１フレームで対象オブジェクトを認識し、対象オブジェクトの明度に基づいて入力映像の第２フレームの露出を調整し、第１フレーム及び第２フレームを合成して合成映像を生成する。
メモリ８２０は、コンピュータで読出し可能な命令語を格納する。メモリ８２０に格納された命令語がプロセッサ８１０で実行されると、プロセッサ８１０は上述した映像処理に関する動作を処理する。例えば、プロセッサ８１０は、前記命命令語に基づいて対象オブジェクトを認識し、露出を調整し、前記合成映像を生成するように制御される。また、メモリ８２０は、上述した映像処理に関するデータを格納する。例えば、メモリ８２０は、入力映像、合成映像、及び各種の閾値を格納する。メモリ８２０は、揮発性メモリ又は不揮発性メモリであってもよい。
プロセッサ８１０はプログラムを実行して映像処理装置８００を制御する。映像処理装置８００は、入出力装置（図示せず）によって外部装置（例えば、カメラ又は自律走行車両の制御装置）に接続され、データを交換する。映像処理装置８００は、自律走行車両の少なくとも一部に実現できる。その他に、映像処理装置８００については前述した内容が適用され、より詳細な説明は省略する。
図９は、一実施形態に係る自律走行車両を示すブロック図である。図９を参照すると、自律走行車両９００は、映像処理装置９１０、制御装置９２０、及びカメラ９３０を含む。映像処理装置９１０は、入力映像の第１フレームで対象オブジェクトを認識し、対象オブジェクトの明度に基づいて入力映像の第２フレームの露出を調整し、第１フレーム及び前記第２フレームを合成して合成映像を生成する。カメラ９３０は、自律走行車両９００周辺の映像を撮影し、映像処理装置９１０に自律走行車両９００の周辺の映像を提供する。
制御装置９２０は、合成映像に基づいて車両を制御する。制御装置９２０は、合成映像によって自律走行車両９００の周辺の地形地物を把握し、自律走行状態で運転者がハンドル操作、加速操作、及び減速操作などを行うことなく自律走行車両９００が走行できるように自律走行車両９００を制御する。例えば、制御装置９２０は、合成映像に基づいて車両間の距離を自動で維持したり、車線離脱や車線維持の有無を知らせたり、自律走行車両９００の周辺の障害物を知らせる。
図１０は、一実施形態に係る映像処理方法を示した動作フローチャートである。図１０を参照すると、ステップＳ１０１０において、映像処理装置は、入力映像の第１フレームで対象オブジェクトを認識する。ステップＳ１０２０において、映像処理装置は、前記対象オブジェクトの明度に基づいて前記入力映像の第２フレームの露出を調整する。ステップＳ１０３０において、映像処理装置は、第１フレーム及び第２フレームを合成して合成映像を生成する。その他に、映像処理方法について上述した内容が適用することができ、より詳細な説明は省略する。
以上述した実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当該技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが分かる。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、又はこれらのうちの１つ以上の組合せを含み、希望通りに動作するように処理装置を構成し、独立的又は結合的に処理装置に命令する。ソフトウェア及び／又はデータは、処理装置によって解釈され、処理装置に命令又はデータを提供するためのあらゆる類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、或いは送信される信号波を介して永久的又は一時的に具現化される。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散され、分散された方法で格納されるか又は実行される。ソフトウェア及びデータは１つ以上のコンピュータ読み取り可能な記録媒体に格納される。
本実施形態による方法は、多様なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明の動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
上述したように実施形態をたとえ限定された図面によって説明したが、当該技術分野で通常の知識を有する者であれば、前記に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順序で実行されたり、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組合わせられたり、他の構成要素又は均等物によって置き換えたり置換されても適切な結果を達成することができる。

Claims (24)

  1. 入力映像の第１フレームで対象オブジェクトを認識するステップと、
    前記対象オブジェクトの明度に基づいて、前記入力映像の第２フレームの露出を調整するステップと、
    前記第１フレーム及び前記第２フレームを合成して合成映像を生成するステップと、
    を含む、映像処理方法。
  2. 前記対象オブジェクトを認識するステップは、
    前記第１フレームで道路を認識するステップと、
    前記道路上の一定の範囲を認識領域に設定するステップと、
    前記認識領域で前記対象オブジェクトを認識するステップと、
    を含む、請求項１に記載の映像処理方法。
  3. 前記対象オブジェクトを認識するステップは、前記第１フレーム及び車両の位置に基づいて前記対象オブジェクトを認識するステップを含む、請求項１に記載の映像処理方法。
  4. 前記対象オブジェクトは、トンネルの入口、トンネルの出口、及び車両のライトのうち少なくとも１つ又は少なくとも２つの組合せを含む、請求項１ないし３のうち何れか一項に記載の映像処理方法。
  5. 前記第２フレームの露出を調整するステップ及び前記合成映像を生成するステップは、前記対象オブジェクトの明度と前記第１フレームで前記対象オブジェクトを除いた残りの領域の明度との間の差が予め決定された閾値よりも大きい場合に実行される、請求項１ないし４のうち何れか一項に記載の映像処理方法。
  6. 前記第２フレームの露出を調整するステップは、
    前記対象オブジェクトの明度が前記第１フレームで前記対象オブジェクトを除いた残りの領域の明度に比べて大きい場合、前記第２フレームの露出を減少させるステップと、
    前記対象オブジェクトの明度が前記第１フレームで前記対象オブジェクトを除いた残りの領域の明度に比べて小さい場合、前記第２フレームの露出を増加させるステップと、
    を含む、請求項１ないし４のうち何れか一項に記載の映像処理方法。
  7. 前記合成映像を生成するステップは、前記第１フレームで前記対象オブジェクトを除いた残りの領域と前記第２フレームで前記対象オブジェクトに対応する領域とを合成するステップを含む、請求項１ないし６のうち何れか一項に記載の映像処理方法。
  8. 前記合成映像を生成するステップは、前記第１フレームで前記対象オブジェクトを除いた残りの領域と前記第２フレームで前記対象オブジェクトに対応する領域のうち道路上の領域を合成するステップを含む、請求項１ないし６のうち何れか一項に記載の映像処理方法。
  9. 前記第２フレームの露出を調整するステップは、車両が夜間に明るいトンネルに進入する場合、前記車両が昼間に暗いトンネルから進出する場合、及び前記車両に逆光が照らす場合のうち少なくとも１つ又は少なくとも２つの組合せに対応して、前記第２フレームの露出を減少させるステップを含む、請求項１ないし４のうち何れか一項に記載の映像処理方法。
  10. 前記第２フレームの露出を調整するステップは、車両が昼間に暗いトンネルに進入する場合、及び前記車両が夜間に明るいトンネルから進出する場合の双方又は一方に対応して、前記第２フレームの露出を減少させるステップを含む、請求項１ないし４のうち何れか一項に記載の映像処理方法。
  11. 請求項１ないし１０のうちの何れか一項に記載の映像処理方法を映像処理装置のコンピュータに実行させるコンピュータプログラム。
  12. 入力映像の第１フレームで対象オブジェクトを認識し、前記対象オブジェクトの明度に基づいて前記入力映像の第２フレームの露出を調整し、前記第１フレーム及び前記第２フレームを合成して合成映像を生成するプロセッサを含む、映像処理装置。
  13. 前記プロセッサは、前記第１フレームで道路を認識し、前記道路上に認識領域を設定し、前記認識領域で前記対象オブジェクトを認識する、請求項１２に記載の映像処理装置。
  14. 前記プロセッサは、前記第１フレーム及び車両の位置に基づいて前記対象オブジェクトを認識する、請求項１２に記載の映像処理装置。
  15. 前記対象オブジェクトは、トンネルの入口、トンネルの出口、及び車両のライトのうち少なくとも１つ又は少なくとも２つの組合せを含む、請求項１２ないし１４のうち何れか一項に記載の映像処理装置。
  16. 前記プロセッサは、前記対象オブジェクトの明度と前記第１フレームで前記対象オブジェクトを除いた残りの領域の明度との間の差が予め決定された閾値よりも大きい場合、前記第２フレームの露出を調整する、請求項１２ないし１５のうち何れか一項に記載の映像処理装置。
  17. 前記プロセッサは、前記第１フレームで前記対象オブジェクトを除いた残りの領域と前記第２フレームで前記対象オブジェクトに対応する領域とを合成して前記合成映像を生成する、請求項１２ないし１５のうち何れか一項に記載の映像処理装置。
  18. 前記プロセッサは、前記第１フレームで前記対象オブジェクトを除いた残りの領域と前記第２フレームで前記対象オブジェクトに対応する領域のうち道路上の領域を合成して前記合成映像を生成する、請求項１２ないし１６のうち何れか一項に記載の映像処理装置。
  19. 前記プロセッサに接続され、コンピュータで読出し可能な命令語を含むメモリをさらに含み、
    前記プロセッサは、前記命命令語に基づいて前記対象オブジェクトを認識し、露出を調整し、前記合成映像を生成するように制御される、請求項１２に記載の映像処理装置。
  20. 前記入力映像を生成するイメージセンサをさらに含む、請求項１９に記載の映像処理装置。
  21. 前記映像処理装置は、前記合成映像に基づいて走行する自律走行車両である、請求項１２ないし２０のうち何れか一項に記載の映像処理装置。
  22. 入力映像の第１フレームで対象オブジェクトを認識し、前記対象オブジェクトの明度に基づいて前記入力映像の第２フレームの露出を調整し、前記第１フレーム及び前記第２フレームを合成して合成映像を生成する映像処理装置と、
    前記合成映像に基づいて車両を制御する制御装置と、
    を含む、自律走行車両。
  23. 前記映像処理装置は、前記第１フレームで道路を認識し、前記道路上に認識領域を設定し、前記認識領域で前記対象オブジェクトを認識する、請求項２２に記載の自律走行車両。
  24. 複数のフレームを含むイメージストリームを生成するイメージセンサと、
    前記イメージストリームの第１フレーム内の対象オブジェクトを認識し、前記第１フレーム内の前記対象オブジェクトに関して識別された特徴に基づいて、前記イメージセンサの動作パラメータを調整する第１動作、及び補助センサを駆動させる第２動作のうち少なくとも１つを行い、前記調整された動作パラメータ及び前記補助センサのうち少なくとも１つを用いて前記対象オブジェクトを含む第２フレームを取得し、前記第２フレームに基づいて自律走行車両を制御するプロセッサと、
    を含む、自律走行車両。
JP2018016588A 2017-02-24 2018-02-01 自律走行のための映像処理方法、映像処理装置及び自律走行車両 Pending JP2018142954A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0024824 2017-02-24
KR1020170024824A KR20180097966A (ko) 2017-02-24 2017-02-24 자율 주행을 위한 영상 처리 방법 및 장치

Publications (1)

Publication Number Publication Date
JP2018142954A true JP2018142954A (ja) 2018-09-13

Family

ID=61526545

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018016588A Pending JP2018142954A (ja) 2017-02-24 2018-02-01 自律走行のための映像処理方法、映像処理装置及び自律走行車両

Country Status (5)

Country Link
US (2) US10739783B2 (ja)
EP (1) EP3367303B1 (ja)
JP (1) JP2018142954A (ja)
KR (1) KR20180097966A (ja)
CN (2) CN111741229B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023157489A1 (ja) * 2022-02-21 2023-08-24 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10706512B2 (en) * 2017-03-07 2020-07-07 Adobe Inc. Preserving color in image brightness adjustment for exposure fusion
US10592786B2 (en) * 2017-08-14 2020-03-17 Huawei Technologies Co., Ltd. Generating labeled data for deep object tracking
US20200097019A1 (en) * 2018-09-26 2020-03-26 GM Global Technology Operations LLC Vision system for an automotive vehicle
CN109167929B (zh) * 2018-09-30 2021-02-19 深圳市商汤科技有限公司 车载相机参数的调节方法、装置与电子设备
KR102584501B1 (ko) * 2018-10-05 2023-10-04 삼성전자주식회사 자율 주행 장치의 객체 인식 방법 및 자율 주행 장치
US11260872B2 (en) * 2018-10-12 2022-03-01 Honda Motor Co., Ltd. System and method for utilizing a temporal recurrent network for online action detection
KR102569375B1 (ko) 2018-10-24 2023-08-22 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
CN109246364B (zh) * 2018-10-26 2021-10-01 华为技术有限公司 摄像装置调整方法及相关设备
TWI668141B (zh) * 2018-11-07 2019-08-11 國家中山科學研究院 Virtual thermal image driving data generation system
KR20200053125A (ko) 2018-11-08 2020-05-18 삼성전자주식회사 전자 장치 및 그 제어 방법
WO2020101127A1 (en) * 2018-11-13 2020-05-22 Samsung Electro-Mechanics Co., Ltd. Driving support system and method
CN109587902B (zh) * 2018-11-20 2020-03-06 北京新能源汽车股份有限公司 一种车内光源调节方法、装置、存储介质及光源调节设备
US20200169671A1 (en) * 2018-11-27 2020-05-28 GM Global Technology Operations LLC Method and apparatus for object detection in camera blind zones
KR102109841B1 (ko) * 2018-11-30 2020-05-28 아주대학교 산학협력단 주행 영상으로부터 차량을 검출하는 방법 및 장치
KR102177880B1 (ko) 2019-03-08 2020-11-12 현대모비스 주식회사 자율주행용 클래스 레이블링 장치
WO2020218655A1 (ko) * 2019-04-26 2020-10-29 엘지전자 주식회사 자율주행 차량의 영상 처리 방법
KR20230016251A (ko) * 2019-10-24 2023-02-01 트라이아이 엘티디. 포토닉스 시스템 및 방법
KR102309949B1 (ko) * 2019-11-26 2021-10-08 (주)비트리 영상 처리 장치 및 그 방법
KR102360408B1 (ko) * 2020-03-30 2022-02-09 (주)코러싱 저조도 환경에서 차량 인식이 가능한 교통관제 시스템
CN111510626B (zh) * 2020-04-21 2022-01-04 Oppo广东移动通信有限公司 图像合成方法及相关装置
WO2022012748A1 (en) * 2020-07-15 2022-01-20 Veoneer Sweden Ab Vision system for a motor vehicle
KR102479451B1 (ko) * 2020-08-24 2022-12-20 주식회사 테스트웍스 저사양 디바이스에서 다중 모델의 실시간 객체 인식 장치 및 방법
CN112397017A (zh) * 2020-11-27 2021-02-23 卡莱特（深圳）云科技有限公司 一种车载led显示屏的亮度调节方法及装置
CN113222869B (zh) * 2021-05-06 2024-03-01 杭州海康威视数字技术股份有限公司 一种图像处理方法
US11722789B1 (en) 2022-02-01 2023-08-08 Ford Global Technologies, Llc Multi-camera imaging system selecting between visible and infrared views in a vehicle
KR20240049713A (ko) 2022-10-07 2024-04-17 주식회사 에이스웍스코리아 자율주행용 데이터 구축 시스템 및 방법

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09205645A (ja) 1996-01-29 1997-08-05 Fujitsu Ten Ltd 前方環境認識装置
US6874420B2 (en) * 1999-10-22 2005-04-05 Cc1, Inc. System and method for register mark recognition
KR100810310B1 (ko) * 2003-08-29 2008-03-07 삼성전자주식회사 조도차가 다른 영상의 재구성 장치 및 방법
KR100677332B1 (ko) * 2004-07-06 2007-02-02 엘지전자 주식회사 휴대단말기의 저조도 화질 개선장치 및 방법
KR20070081629A (ko) 2006-02-13 2007-08-17 주식회사 팬택앤큐리텔 촬영 피사체의 밝기분포를 고려한 이미지 보정 방법 및 그방법이 실행 가능한 촬영 장치
JP2008126905A (ja) 2006-11-22 2008-06-05 Toyota Motor Corp 車窓透過率制御装置
KR101424717B1 (ko) * 2007-09-13 2014-08-01 삼성전자주식회사 노출 시간 설정 장치 및 방법
JP4556995B2 (ja) * 2007-12-10 2010-10-06 カシオ計算機株式会社 撮像装置及びその露出制御方法、露出制御プログラム
JP4433046B2 (ja) * 2007-12-26 2010-03-17 株式会社デンソー 露出制御装置及び露出制御プログラム
JP4433045B2 (ja) * 2007-12-26 2010-03-17 株式会社デンソー 露出制御装置及び露出制御プログラム
JP4389999B2 (ja) * 2007-12-26 2009-12-24 株式会社デンソー 露出制御装置及び露出制御プログラム
JP4525812B2 (ja) 2008-08-08 2010-08-18 株式会社デンソー 露出設定装置、露出設定プログラム、および画像処理装置
WO2010088465A1 (en) * 2009-02-02 2010-08-05 Gentex Corporation Improved digital image processing and systems incorporating the same
US20120019686A1 (en) * 2010-07-23 2012-01-26 Casio Computer Co., Ltd. Image synthesizing device, image synthesizing method and computer readable medium
JP5375814B2 (ja) * 2010-12-22 2013-12-25 株式会社デンソー 露出制御装置
DE102011077038A1 (de) * 2011-06-07 2012-12-13 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung von Objekten in einem Umfeld eines Fahrzeugs
US9402034B2 (en) * 2011-07-29 2016-07-26 Apple Inc. Adaptive auto exposure adjustment
JP5817927B2 (ja) 2012-05-18 2015-11-18 日産自動車株式会社 車両用表示装置、車両用表示方法及び車両用表示プログラム
KR101353052B1 (ko) * 2013-07-31 2014-01-20 주식회사 피엘케이 테크놀로지 교통표지판 인식을 위한 차량용 영상인식시스템
TWI552907B (zh) * 2013-10-30 2016-10-11 緯創資通股份有限公司 行車安全輔助系統和方法
KR101631439B1 (ko) * 2014-05-29 2016-06-17 엘지전자 주식회사 카메라, 및 이를 구비한 차량
US20160005313A1 (en) * 2014-07-01 2016-01-07 Perfect Squares Inc. Method and apparatus for smart stop sign
TWI498848B (zh) * 2014-10-13 2015-09-01 Quanta Comp Inc 多重曝光成像系統及其白平衡方法
US9819873B2 (en) * 2015-06-25 2017-11-14 Canon Kabushiki Kaisha Image-processing apparatus and image-processing method
CN105578068B (zh) * 2015-12-21 2018-09-04 广东欧珀移动通信有限公司 一种高动态范围图像的生成方法、装置及移动终端

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023157489A1 (ja) * 2022-02-21 2023-08-24 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Also Published As

Publication number Publication date
US20200333796A1 (en) 2020-10-22
CN108513059A (zh) 2018-09-07
CN111741229A (zh) 2020-10-02
KR20180097966A (ko) 2018-09-03
US10739783B2 (en) 2020-08-11
CN108513059B (zh) 2022-01-25
US11409303B2 (en) 2022-08-09
CN111741229B (zh) 2022-08-16
EP3367303B1 (en) 2022-09-21
EP3367303A1 (en) 2018-08-29
US20180246521A1 (en) 2018-08-30

Similar Documents

Publication Publication Date Title
JP2018142954A (ja) 自律走行のための映像処理方法、映像処理装置及び自律走行車両
US11158056B2 (en) Surround camera system with seamless stitching for arbitrary viewpoint selection
JP2018037061A (ja) 自律走行車両のためのビジョンセンサの制御方法及び装置
US11881039B2 (en) License plate reading system with enhancements
JP6429452B2 (ja) 車載用画像処理装置及び半導体装置
US11908104B2 (en) Weighted normalized automatic white balancing
US11902670B2 (en) Auto exposure using multiple cameras and map prior information
US20230342894A1 (en) Converting input image data from a plurality of vehicle cameras of a surround-view system into optimised output image data
WO2019188390A1 (ja) 露光制御装置、露光制御方法、プログラム、撮影装置、及び、移動体
Ewecker et al. Provident vehicle detection at night for advanced driver assistance systems
EP4072124A1 (en) Image capturing method and device, apparatus, and storage medium
JP2020204820A (ja) 外部環境認識装置
KR101875517B1 (ko) 영상 처리 방법 및 장치
KR20170095005A (ko) 센서 퓨전을 이용한 이미지센서 장치 및 제어 방법
Hartmann et al. Adaptive Light Function Controlled in the Control Loop with Cameras
WO2020250528A1 (ja) 外部環境認識装置
JP7481790B2 (ja) 強化された高ダイナミック・レンジ画像化及びトーン・マッピング
US11818470B2 (en) Image generation device, image generation method, and vehicle control system
Ohnemus et al. Provident Vehicle Detection at Night: The PVDN Dataset
KR20230069334A (ko) 다중 채널 정보 추출기를 포함하는 경량 딥러닝 장치
KR20230048429A (ko) 해질녘 및 야간의 야생 동물 횡단으로 인한 사고를 방지하기 위한 시스템
KR20230003953A (ko) 환경 변화 적응형 특징 생성기를 적용한 차량용 경량 딥러닝 처리 장치 및 방법
JP2020204821A (ja) 外部環境認識装置