KR101519209B1 - Avm 영상 제공 장치 및 방법 - Google Patents

Avm 영상 제공 장치 및 방법 Download PDF

Info

Publication number
KR101519209B1
KR101519209B1 KR1020130092943A KR20130092943A KR101519209B1 KR 101519209 B1 KR101519209 B1 KR 101519209B1 KR 1020130092943 A KR1020130092943 A KR 1020130092943A KR 20130092943 A KR20130092943 A KR 20130092943A KR 101519209 B1 KR101519209 B1 KR 101519209B1
Authority
KR
South Korea
Prior art keywords
image
vehicle
avm
avm image
car
Prior art date
Application number
KR1020130092943A
Other languages
English (en)
Other versions
KR20150017095A (ko
Inventor
최재섭
장유진
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020130092943A priority Critical patent/KR101519209B1/ko
Priority to US14/075,678 priority patent/US20150042800A1/en
Priority to DE102013223039.7A priority patent/DE102013223039B4/de
Priority to CN201310606776.3A priority patent/CN104349026A/zh
Publication of KR20150017095A publication Critical patent/KR20150017095A/ko
Application granted granted Critical
Publication of KR101519209B1 publication Critical patent/KR101519209B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/101—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 AVM 영상 제공 장치 및 방법에 관한 것으로서, 본 발명에 따른 장치는 자차 주변의 영상을 촬영하는 카메라, 주변차량과 신호를 송수신하며 상기 주변차량으로부터의 AVM 영상 및 주변정보를 수신하는 통신부, 상기 카메라에 의해 촬영된 영상으로부터 자차의 AVM 영상을 생성하고, 자차와 주변차량 간 상대위치를 파악하여 상기 자차의 위치를 기준으로 상기 주변차량의 AVM 영상을 변환하는 영상 변환부, 상기 자차의 AVM 영상 및 상기 주변차량의 AVM 영상 간 겹침 영역을 검출하는 검출부, 및 상기 자차의 AVM 영상 및 상기 주변차량의 AVM 영상 간 겹침 영역을 매칭시켜 상기 자차의 AVM 영상 및 상기 주변차량의 AVM 영상을 합성하는 영상 합성부를 포함한다.

Description

AVM 영상 제공 장치 및 방법{Apparatus and method for providing image}
본 발명은 AVM(Around View Monitoring) 영상 제공 장치 및 방법에 관한 것으로, 보다 넓은 시야를 확보할 수 있는 합성된 AVM 영상을 제공하도록 하는 기술에 관한 것이다.
차량에 구비되는 AVM 시스템은 차량 주변, 예를 들어, 상, 하, 좌, 우측을 촬영한 영상을 탑 뷰 영상으로 변환하여 합성한 AVM 영상을 제공하는 것으로서, 운전자는 AVM 영상을 통해 차량의 전, 후, 좌, 우측의 상황을 파악할 수 있다.
하지만, AVM 영상의 경우 탑 뷰 영상으로 뷰 변환한 영상을 제공하기 때문에, 영상왜곡이나 사각지대가 발생함에 따라 정확한 상황을 파악하는 것이 어려울 수 있다. 또한, AVM 영상은 가시영역이 좁아 그 이외의 영역에 대해 파악하는 것이 어렵다.
[특허문헌] 일본공개특허 제2004-336613호
본 발명의 목적은, 넓은 시야를 확보할 수 있는 합성된 AVM 영상을 제공하도록 하는 AVM 영상 제공 장치 및 방법을 제공함에 있다.
특히, 본 발명의 목적은, 주변차량으로부터 획득한 AVM 영상 및 정보를 토대로 자차의 AVM 영상과 합성된 AVM 영상을 제공함으로써 자차에서 인지하기 어려운 영역의 AVM 영상도 제공할 수 있도록 하는 AVM 영상 제공 장치 및 방법을 제공함에 있다.
상기의 목적을 달성하기 위한 본 발명에 따른 AVM 영상 제공 장치는, 차량 주변의 AVM 영상을 촬영하는 카메라, 주변차량과 신호를 송수신하며 상기 주변차량으로부터의 AVM 영상 및 주변정보를 수신하는 통신부, 상기 카메라에 의해 촬영된 영상으로부터 자차의 AVM 영상을 생성하고, 자차와 주변차량 간 상대위치를 파악하여 상기 자차의 위치를 기준으로 상기 주변차량의 AVM 영상을 변환하는 영상 변환부, 상기 자차의 AVM 영상 및 상기 주변차량의 AVM 영상 간 겹침 영역을 검출하는 검출부, 및 상기 자차의 AVM 영상 및 상기 주변차량의 AVM 영상 간 겹침 영역을 매칭시켜 상기 자차의 AVM 영상 및 상기 주변차량의 AVM 영상을 합성하는 영상 합성부를 포함하는 것을 특징으로 한다.
한편, 상기의 목적을 달성하기 위한 본 발명에 따른 AVM 영상 제공 방법은, 차량 주변의 AVM 영상을 촬영하는 단계, 주변차량과의 통신을 통해 주변차량의 AVM 영상 및 주변정보를 수신하는 단계, 자차와 주변차량 간 상대위치를 파악하여 상기 자차의 위치를 기준으로 매칭되도록 상기 주변차량의 AVM 영상을 변환하는 단계, 상기 자차의 AVM 영상 및 상기 주변차량의 AVM 영상 간 겹침 영역을 검출하여 상기 겹침 영역을 기준으로 상기 자차의 AVM 영상 및 상기 주변차량의 AVM 영상을 합성하는 단계, 및 합성된 AVM 영상의 경계 영역 및 빈 영역을 보정하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 주변차량으로부터 획득한 AVM 영상 및 정보를 토대로 자차의 AVM 영상과 합성된 AVM 영상을 제공하도록 함으로써 자차에서 인지하기 어려운 영역의 AVM 영상도 제공할 수 있어 보다 넓은 시야를 확보할 수 있는 이점이 있다.
도 1은 본 발명에 따른 AVM 영상 제공 장치의 구성을 도시한 블록도이다.
도 2 내지 도 6은 본 발명에 따른 AVM 영상 제공 장치의 영상 합성 동작을 설명하는데 참조되는 예시도이다.
도 7은 본 발명에 따른 AVM 영상 제공 방법에 대한 동작 흐름을 도시한 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명하도록 한다.
도 1은 본 발명에 따른 AVM 영상 제공 장치의 구성을 도시한 블록도이다. 도 1을 참조하면, 본 발명에 따른 AVM 영상 제공 장치는 신호 처리부(110), 카메라(120), 통신부(130), 저장부(140), 영상 변환부(150), 검출부(160), 영상 합성부(170) 및 영상 보정부(180)를 포함한다. 여기서, 신호 처리부(110)는 AVM 영상 제공 장치의 각 부 간에 전달되는 신호를 처리한다.
카메라(120)는 차량에 구비되어 차량 주변의 영상을 촬영한다. 카메라(120)는 복수 개 구비될 수 있으며, 예를 들어, 차량의 전, 후, 좌, 우측에 구비될 수 있다. 카메라(120)에 의해 촬영된 차량의 전, 후, 좌, 우측의 영상은 AVM(Around View Monitoring) 영상의 생성을 위해 영상 변환부(150)로 전달될 수 있다.
통신부(130)는 V2V(Vehicle to Vehicle) 통신을 위한 통신 인터페이스를 지원한다. 또한, 통신부(130)는 자차 주변에 위치한 적어도 하나의 주변차량과의 통신을 통해 주변차량의 AVM 영상 및 정보를 수신할 수 있다. 또한, 통신부(130)는 DGPS(Differential GPS) 통신을 위한 통신 인터페이스를 지원한다. 따라서, 통신부(130)는 DGPS 통신을 통해 자차와 주변차량 간 위치 정보를 수신한다.
저장부(140)는 AVM 영상 제공 장치의 동작을 위한 설정값이 저장되며, 각 동작에 대한 상태 정보 및 결과 등이 저장될 수 있다. 일 예로서, 저장부(140)는 자차의 AVM 영상 및 주변차량의 AVM 영상이 저장될 수 있으며, 자차의 AVM 영상과 주변차량의 AVM 영상에 대한 합성 영상이 저장될 수 있다. 또한, 저장부(140)는 AVM 영상의 합성을 위한 영상 합성 알고리즘이 저장될 수도 있다.
영상 변환부(150)는 카메라(120)에 의해 촬영된 자차 주변의 영상으로부터 자차의 AVM 영상을 생성한다. 이때, 영상 변환부(150)는 AVM 영상의 생성을 위해 자차 주변에서 촬영된 영상을 탑 뷰(top view) 영상으로 뷰 변환할 수 있다.
또한, 영상 변환부(150)는 통신부(130)를 통해 수신된 주변차량의 AVM 영상을 변환할 수 있다. 이때, 영상 변환부(150)는 자차와 주변차량의 위치를 토대로 자차와 주변차량 간 상대위치를 파악하고, 자차의 위치를 기준으로 주변차량의 AVM 영상을 변환한다. 일 예로서, 영상 변환부(150)는 자차의 위치 및 방향과 주변차량의 위치 및 방향을 비교하여 주변차량의 AVM 영상을 자차의 위치를 기준으로 이동시키고, 자차 방향을 기준으로 주변차량의 AVM 영상을 회전시키도록 한다. 여기서,주변차량의 방향이 자차의 방향과 동일한 경우에는 주변차량의 AVM 영상을 회전시키지 않을 수 있다.
검출부(160)는 자차의 AVM 영상 및 주변차량의 AVM 영상을 비교하여, 자차의 AVM 영상과 주변차량의 AVM 영상 간 겹침 영역을 검출한다.
영상 합성부(170)는 검출부(160)에 의해 검출된 겹침 영역을 기준으로 자차의 AVM 영상과 주변차량의 AVM 영상을 합성한다. 이때, 영상 합성부(170)는 자차의 AVM 영상 및 상기 주변차량의 AVM 영상 각각의 직선 성분, 거리값 및 화소값 중 적어도 하나를 기준으로 가중치를 부여할 수 있으며, 각 AVM 영상이 중첩되는 영역에 대해서는 부여된 가중치의 가중합을 산출하여 가중합을 토대로 자차의 AVM 영상 및 주변차량의 AVM 영상을 합성할 수 있다.
영상 합성부(170)는 아래 [수학식 1]을 참조하여 가중합으로부터 합성된 AVM 영상의 좌표를 산출할 수 있다.
Figure 112013071073444-pat00001
여기서, ω는 0≤ω≤1, ωk는 ∑ωk≤1이고, k는 k∈ # of overlapped AVM 인 것으로 가정하며, P는 합성된 AVM 영상의 좌표값, Pk는 주변차량의 AVM 영상의 중첩된 좌표값, ωk는 해당 영상에 부여된 가중치인 것으로 한다.
각 AVM 영상에 부여된 가중치에 따라 영상을 합성하는 동작은 도 3 및 도 4를 참조하여 보다 상세히 설명하도록 한다.
영상 합성부(170)는 자차의 AVM 영상 및 주변차량의 AVM 영상을 합성함에 있어서, 자차의 AVM 영상 상에 주변차량의 AVM 영상을 합성할 수 있다. 이 경우, 합성된 AVM 영상은 자차의 AVM 영상과 가시범위가 동일하게 된다. 이에 대한 실시예는 도 5를 참조하도록 한다. 한편, 영상 합성부(170)는 자차의 AVM 영상과 주변차량의 AVM 영상의 각 영역을 모두 포함하도록 합성된 AVM 영상을 생성할 수 있다. 이에 대한 실시예는 도 6을 참조하도록 한다.
영상 합성부(170)에 의해 합성된 AVM 영상은 차량에 구비된 모니터 또는 내비게이션 등과 같은 출력수단(미도시)을 통해 출력될 수 있다. 따라서, 사용자는 합성된 AVM 영상을 통해 자차의 삼각지대 및 자차에 구비된 카메라(120)의 촬영영역 외의 영역에 대한 영상을 파악하는 것이 가능하게 된다.
한편, 영상 합성부(170)는 연속적인 AVM 영상을 합성하는 경우, 해당 차량의 궤적 정보를 기반으로 각 AVM 영상을 합성할 수 있으며, 겹침 영역 외에도 각 AVM 영상의 특징점을 기준으로 AVM 영상을 합성할 수 있다.
영상 보정부(180)는 영상 합성부(170)에 의해 합성된 AVM 영상의 경계 영역 및 빈 영역을 보정한다. 일 예로서, 영상 보정부(180)는 각 AVM 영상을 합성함에 있어서 영상 왜곡을 최소화하기 위하여 경계 영역을 블렌딩(blending) 처리할 수 있으며, 가중합의 크기가 작거나 정보가 없는 영역에 대해서는 해당 차량의 주변정보를 참고하여 보간하거나 빈 공간으로 처리할 수 있다.
도 2 내지 도 6은 본 발명에 따른 AVM 영상 제공 장치의 영상 합성 동작을 설명하는데 참조되는 예시도이다.
먼저, 도 2는 본 발명에 따른 AVM 영상 제공 장치의 AVM 영상 합성 동작의 전체 흐름을 나타낸 것이다. 도 2를 참조하면, (a)는 자차의 AVM 영상(211)을 나타낸 것고, (b)는 주변차량의 AVM 영상(221)을 나타낸 것이다. 이때, AVM 영상 제공 장치는 도 2의 (b)에 도시된 주변차량의 AVM 영상(221)을 (c)와 같이 자차의 위치 및 방향을 기준으로 회전시킨다.
이후, AVM 영상 제공 장치는 도 2의 (c) 및 (d)와 같이 자차의 AVM 영상(211) 및 회전된 주변차량의 AVM 영상(223)으로부터 각 AVM 영상 간 겹침 영역(P1, P2)을 검출한다. 이때 AVM 영상 제공 장치는 겹침 영역이 검출된 자차의 AVM 영상(213) 및 주변차량의 AVM 영상(223)으로부터의 겹침 영역(P1, P2)을 기준으로, (e)와 같이 자차의 AVM 영상(213)과 회전된 주변차량의 AVM 영상(223)을 합성한다.
따라서, AVM 영상 제공 장치는 자차에서 획득한 AVM 영상보다 넓은 가시 범위의 합성된 AVM 영상을 제공할 수 있게 된다.
도 3은 자차의 AVM 영상 및 주변차량의 AVM 영상의 직선 성분에 가중치를 부여하여 각 AVM 영상을 합성하는 동작을 나타낸 것이다. 도 3에서 (a)는 자차의 AVM 영상, (b)는 주변차량의 AVM 영상, (c)는 합성된 AVM 영상을 나타낸 것이다.
도 3의 (a)에 도시된 바와 같이, AVM 영상 제공 장치는 자차의 AVM 영상(310)과 주변차량의 AVM 영상(320) 간의 겹침 영역(313, 323)을 각각 검출한다. 이때, AVM 영상 제공 장치는 자차의 AVM 영상(310)의 바닥면을 기준으로 직선 성분을 검출하여, 직선 성분이 검출된 영역(315)에 가중치를 부여한다. 또한, AVM 영상 제공 장치는 도 3의 (a)에 도시된 바와 같이, 주변차량의 AVM 영상(320)의 바닥면을 기준으로 직선 성분을 검출하여, 직선 성분이 검출된 영역(325)에 가중치를 부여한다.
AVM 영상 제공 장치는 자차의 AVM 영상(310) 및 주변차량의 AVM 영상(320) 합성 시, 도 3의 (c)와 같이, 자차의 AVM 영상(310)과 주변차량의 AVM 영상(320)에서 부여된 가중치에 따라 직선 성분이 검출된 영역(315, 325)의 직선 성분이 연속성을 유지하도록 각 AVM 영상을 합성한다. 따라서, 합성된 AVM 영상은 자차의 AVM 영상 및 주변차량의 AVM 영상에서의 직선 성분이 유지된다.
도 4는 자차의 AVM 영상 및 주변차량의 AVM 영상의 화소가 높은 영역에 가중치를 부여하여 각 AVM 영상을 합성하는 동작을 나타낸 것이다. 도 4의 (a) 내지 (c)는 각 AVM 영상(411, 421, 431)을 나타낸 것이다. 이때, AVM 영상 제공 장치는 각 AVM 영상(411, 421, 431)을 특정 형태, 예를 들어, 복수의 육각형으로 각각 분할하여 각 육각형의 화소값에 따라 가중치를 부여하고, (d)와 같이, 각 AVM 영상에 부여된 가중치가 기준치 이상인 영상을 추출하여 (e)와 같이 합성할 수 있다.
물론, 도 4에서는 AVM 영상을 육각형으로 각각 분할한 예를 도시하였으나, 이에 한정되는 것은 아니며, 실시 형태에 따라 그 크기 및 모양은 얼마든지 변형 가능하다.
도 5는 자차의 AVM 영상 상에 주변차량의 AVM 영상을 합성한 예를 나타낸 것이다. 도 5에 도시된 바와 같이, AVM 영상 제공 장치는 자차의 위치를 기준으로 주변차량의 AVM 영상을 회전 또는 위치 이동시킨 상태에서 가중합을 고려하여 자차의 AVM 영상에 하성한다. 이때, 합성된 AVM 영상은 자차의 촬영 영역(A)과 같다.
한편, 도 6은 자차의 AVM 영상과 주변차량의 AVM 영상의 각 촬영영역을 모두 포함하도록 합성한 예를 나타낸 것이다. 도 6에 도시된 바와 같이, 자차의 위치를 기준으로 자차의 AVM 영상과 주변차량의 AVM 영상 간 겹침 영역을 매칭하여 합성된 AVM 영상을 생성한다. 따라서, 자차의 AVM 영상과 주변차량의 AVM 영상의 가시영역을 모두 포함하는 영역(B)에 대해 합성된 AVM 영상을 생성할 수 있다. 이때, 해당 시점의 AVM 영상뿐만 아니라, 차량 이동에 따라 연속되는 AVM 영상들을 합성할 수도 있다.
상기와 같이 구성되는 본 발명에 따른 AVM 영상 제공 장치의 동작 흐름을 보다 상세히 설명하면 다음과 같다.
도 7은 본 발명에 따른 AVM 영상 제공 방법에 대한 동작 흐름을 도시한 순서도이다. 도 7에 도시된 바와 같이, AVM 영상 제공 장치는 카메라에 의해 촬영된 자차 주변의 영상으로부터 자차의 AVM 영상을 획득하고(S100), 주변차량과의 V2V 통신을 통해 주변차량의 AVM 영상 및 정보를 획득한다(S110).
이후, AVM 영상 제공 장치는 DGPS 모듈을 통해 획득한 자차의 위치 및 방향 정보와 주변차량의 위치 및 방향 정보를 토대로 자차와 주변차량간 상대위치를 측정하고(S120), 'S120' 과정에서 측정된 상대위치에 따라서 자차의 위치를 기준으로 주변차량의 AVM 영상의 위치 및 방향을 변환한다(S130). 일 예로서, 자차와 주변차량의 진행방향이 서로 반대 방향인 경우, AVM 영상 제공 장치는 주변차량의 AVM 영상을 자차 방향과 일치하도록 180도 회전시킨다.
AVM 영상 제공 장치는 'S100' 과정에서 획득한 자차의 AVM 영상과 'S130' 과정에서 위치 및 방향 등이 변환된 주변차량의 AVM 영상을 비교하여, 자차의 AVM 영상과 주변차량의 AVM 영상 간 겹침 영역을 검출하고(S140), 'S140' 과정에서 검출된 겹침 영역을 기준으로 각 AVM 영상을 합성한다(S150).
이때, AVM 영상 제공 장치는 자차의 AVM 영상과 주변차량의 AVM 영상이 중첩되는 영역에 대하여 각 AVM 영상에 부여된 가중치의 가중합을 산출하여 그에 따라 영상을 보정할 수 있다. 또한, 각 AVM 영상의 빈 영역 또는 가중합이 작은 영역에 대해서 보정할 수 있다.
AVM 영상 제공 장치에 의해 합성된 AVM 영상은 사용자가 확인할 수 있도록 자차에 구비된 모니터 또는 내비게이션과 같은 출력 수단을 통해 출력된다(S170).
이상과 같이 본 발명에 의한 AVM 영상 제공 장치 및 방법은 예시된 도면을 참조로 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명은 한정되지 않고, 기술사상이 보호되는 범위 이내에서 응용될 수 있다.
110: 신호 처리부 120: 카메라
130: 통신부 140: 저장부
150: 영상 변환부 160: 검출부
170: 영상 합성부 180: 영상 보정부

Claims (11)

  1. 자차의 전, 후, 좌, 우측 방향의 영상을 촬영하는 복수의 카메라;
    주변차량과 신호를 송수신하며 상기 주변차량으로부터의 AVM 영상 및 주변정보를 수신하는 통신부;
    상기 복수의 카메라에 의해 촬영된 영상들을 뷰 변환하고 합성하여 자차의 AVM 영상을 생성하고, 상기 주변차량으로부터의 주변 정보에 따라 상기 자차의 위치 및 방향을 기준으로 상기 주변차량의 상대위치를 파악하며, 상기 파악된 주변차량의 상대위치 및 방향에 따라 상기 주변차량의 AVM 영상을 회전시키는 영상 변환부;
    상기 자차의 AVM 영상 및 상기 회전된 주변차량의 AVM 영상 간 겹침 영역을 검출하는 검출부; 및
    상기 검출된 겹침 영역을 기준으로 상기 자차의 AVM 영상 및 상기 회전된 주변차량의 AVM 영상을 매칭시켜 상기 자차의 AVM 영상 및 상기 회전된 주변차량의 AVM 영상을 합성하는 영상 합성부를 포함하며,
    상기 영상 변환부는,
    상기 자차의 방향과 상기 주변차량의 AVM 영상의 방향이 일치하도록 상기 주변차량의 AVM 영상을 회전시키는 것을 특징으로 하는 것을 특징으로 하는 AVM 영상 제공 장치.
  2. 청구항 1에 있어서,
    상기 영상 변환부는,
    상기 자차의 위치 및 방향과, 상기 주변차량의 위치 및 방향을 비교하여, 상기 주변차량의 AVM 영상의 위치가 자차의 위치를 기준으로 매칭되도록 이동시키는 것을 특징으로 하는 AVM 영상 제공 장치.
  3. 청구항 1에 있어서,
    상기 영상 합성부는,
    상기 자차의 AVM 영상 및 상기 회전된 주변차량의 AVM 영상에서 검출된 바닥면에 직선 성분이 있는 경우, 상기 직선 성분이 있는 영역에 가중치를 부여하여 상기 자차의 AVM 영상 및 상기 회전된 주변차량의 AVM 영상을 합성하는 것을 특징으로 하는 AVM 영상 제공 장치.
  4. 청구항 1에 있어서,
    상기 영상 합성부는,
    자차 및 주변차량의 카메라 장착 위치를 기준으로 상기 카메라로부터 일정 거리 이내의 근거리 영역에 가중치를 부여하여 상기 가중치가 부여된 영역을 기준으로 상기 자차의 AVM 영상 및 상기 회전된 주변차량의 AVM 영상을 합성하는 것을 특징으로 하는 AVM 영상 제공 장치.
  5. 청구항 1에 있어서,
    상기 영상 합성부는,
    상기 자차의 AVM 영상 및 상기 회전된 주변차량의 AVM 영상의 화소를 비교하여 기준치 이상의 화소를 갖는 영역에 가중치를 부여하여 상기 가중치가 부여된 영역을 기준으로 상기 자차의 AVM 영상 및 상기 회전된 주변차량의 AVM 영상을 합성하는 것을 특징으로 하는 AVM 영상 제공 장치.
  6. 청구항 1에 있어서,
    상기 영상 합성부에 의해 합성된 AVM 영상은 상기 자차의 AVM 영상 범위 내에서 상기 회전된 주변차량의 AVM 영상이 합성된 것을 특징으로 하는 AVM 영상 제공 장치.
  7. 청구항 1에 있어서,
    상기 영상 합성부에 의해 합성된 AVM 영상은 상기 자차의 AVM 영상 범위 및 상기 회전된 주변차량의 AVM 영상의 범위가 모두 포함된 것을 특징으로 하는 AVM 영상 제공 장치.
  8. 청구항 1에 있어서,
    상기 합성된 AVM 영상에서 각 AVM 영상의 경계 영역 및 빈 영역을 보정하는 영상 보정부를 더 포함하는 것을 특징으로 하는 AVM 영상 제공 장치.
  9. 복수의 카메라를 통해 자차의 전, 후, 좌, 우측 방향의 영상을 촬영하는 단계;
    주변차량과의 통신을 통해 주변차량의 AVM 영상 및 주변정보를 수신하는 단계;
    상기 복수의 카메라에 의해 촬영된 영상들을 뷰 변환하고 합성하여 자차의 AVM 영상을 생성하고, 상기 주변차량으로부터의 주변 정보에 따라 상기 자차의 위치 및 방향을 기준으로 상기 주변차량의 상대위치를 파악하며, 상기 파악된 주변차량의 상대위치 및 방향에 따라 상기 주변차량의 AVM 영상을 회전시키는 단계;
    상기 자차의 AVM 영상 및 상기 회전된 주변차량의 AVM 영상 간 겹침 영역을 검출하여 상기 겹침 영역을 기준으로 상기 자차의 AVM 영상 및 상기 회전된 주변차량의 AVM 영상을 합성하는 단계; 및
    합성된 AVM 영상의 경계 영역 및 빈 영역을 보정하는 단계를 포함하며,
    상기 주변차량의 AVM 영상을 회전시키는 단계는, 상기 자차의 방향과 상기 주변차량의 AVM 영상의 방향이 일치하도록 상기 주변차량의 AVM 영상을 회전시키는 것을 특징으로 하는 AVM 영상 제공 방법.
  10. 청구항 9에 있어서,
    상기 합성하는 단계는,
    상기 자차의 AVM 영상 및 상기 회전된 주변차량의 AVM 영상에서 검출된 바닥면에 직선 성분이 있는 경우 해당 직선 성분, 자차 및 주변차량의 카메라 장착 위치로부터 일정 기준 이내의 거리, 및 상기 자차의 AVM 영상 및 상기 회전된 주변차량의 AVM 영상의 화소 중 적어도 하나를 기준으로 가중치를 부여하는 단계를 포함하는 것을 특징으로 하는 AVM 영상 제공 방법.
  11. 청구항 10에 있어서,
    상기 합성하는 단계는,
    상기 자차의 AVM 영상 및 상기 회전된 주변차량의 AVM 영상에서 가중치가 부여된 영역의 가중합을 산출하는 단계를 더 포함하고,
    상기 가중합으로부터 상기 자차의 AVM 영상 및 상기 회전된 주변차량의 AVM 영상을 합성하는 것을 특징으로 하는 AVM 영상 제공 방법.
KR1020130092943A 2013-08-06 2013-08-06 Avm 영상 제공 장치 및 방법 KR101519209B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020130092943A KR101519209B1 (ko) 2013-08-06 2013-08-06 Avm 영상 제공 장치 및 방법
US14/075,678 US20150042800A1 (en) 2013-08-06 2013-11-08 Apparatus and method for providing avm image
DE102013223039.7A DE102013223039B4 (de) 2013-08-06 2013-11-12 Vorrichtung und Verfahren zum Bereitstellen eines AVM-Bildes
CN201310606776.3A CN104349026A (zh) 2013-08-06 2013-11-25 用于提供环视监视图像的装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130092943A KR101519209B1 (ko) 2013-08-06 2013-08-06 Avm 영상 제공 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150017095A KR20150017095A (ko) 2015-02-16
KR101519209B1 true KR101519209B1 (ko) 2015-05-11

Family

ID=52388908

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130092943A KR101519209B1 (ko) 2013-08-06 2013-08-06 Avm 영상 제공 장치 및 방법

Country Status (4)

Country Link
US (1) US20150042800A1 (ko)
KR (1) KR101519209B1 (ko)
CN (1) CN104349026A (ko)
DE (1) DE102013223039B4 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3065390B1 (en) * 2013-10-29 2019-10-02 Kyocera Corporation Image correction parameter output device, camera system, and correction parameter output method
DE102015204213B4 (de) * 2015-03-10 2023-07-06 Robert Bosch Gmbh Verfahren zum Zusammensetzen von zwei Bildern einer Fahrzeugumgebung eines Fahrzeuges und entsprechende Vorrichtung
KR20160112545A (ko) * 2015-03-19 2016-09-28 현대자동차주식회사 차량 및 차량의 제어방법
KR101744724B1 (ko) 2015-03-19 2017-06-08 현대자동차주식회사 차량, 및 차량의 제어방법
KR101637536B1 (ko) * 2015-04-30 2016-07-07 주식회사 와이즈오토모티브 블랭크 영상 영역 보간 장치 및 방법
DE102016208214A1 (de) * 2015-05-22 2016-11-24 Ford Global Technologies, Llc Verfahren und Vorrichtung zur Unterstützung eines Manövriervorganges eines Fahrzeuges
KR101741433B1 (ko) 2015-06-09 2017-05-30 엘지전자 주식회사 운전자 보조 장치 및 그 제어방법
KR101860610B1 (ko) 2015-08-20 2018-07-02 엘지전자 주식회사 디스플레이 장치 및 이를 포함하는 차량
US10062290B2 (en) * 2015-12-16 2018-08-28 Ford Global Technologies, Llc Convoy vehicle look-ahead
EP3263405B1 (en) * 2016-06-27 2019-08-07 Volvo Car Corporation Around view monitoring system and method for vehicles
CN107968806A (zh) * 2016-10-20 2018-04-27 福特环球技术公司 车辆通信和图像投影系统
WO2018097356A1 (ko) * 2016-11-24 2018-05-31 충북대학교 산학협력단 차량 주차보조 장치 및 그 방법
CN107613014A (zh) * 2017-09-29 2018-01-19 联想(北京)有限公司 一种数据共享方法、系统、终端、存储介质及汽车
KR102554594B1 (ko) * 2018-07-09 2023-07-12 현대모비스 주식회사 차량의 광역 서라운드 뷰 모니터링 장치 및 그 제어방법
CN108965921B (zh) * 2018-08-15 2021-02-05 深圳市科迈爱康科技有限公司 车载视频拼接方法、装置及计算机可读存储介质
WO2021054500A1 (ko) * 2019-09-20 2021-03-25 엘지전자 주식회사 이미지 생성 방법 및 이미지 생성 장치
JP2021103481A (ja) * 2019-12-25 2021-07-15 パナソニックＩｐマネジメント株式会社 運転支援装置、運転支援方法及びプログラム
CN115484378B (zh) * 2021-06-15 2024-01-23 Oppo广东移动通信有限公司 图像显示方法、装置、车辆以及存储介质
CN117601848A (zh) * 2023-12-20 2024-02-27 广州车全影电子科技有限公司 基于汽车全景的泊车控制方法、系统、介质及设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100966288B1 (ko) * 2009-01-06 2010-06-28 주식회사 이미지넥스트 주변 영상 생성 방법 및 장치

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL79822A (en) * 1985-12-19 1990-03-19 Gen Electric Method of comprehensive distortion correction for a computer image generation system
JPH102950A (ja) * 1995-07-25 1998-01-06 Rookasu:Kk 位置決めシステム
JP3224514B2 (ja) * 1996-08-21 2001-10-29 シャープ株式会社 動画像符号化装置および動画像復号装置
US6160923A (en) * 1997-11-05 2000-12-12 Microsoft Corporation User directed dust and compact anomaly remover from digital images
EP1061749B1 (en) * 1998-01-27 2010-04-07 Sharp Kabushiki Kaisha Moving picture decoder
US6734896B2 (en) * 2000-04-28 2004-05-11 Matsushita Electric Industrial Co., Ltd. Image processor and monitoring system
US7085409B2 (en) * 2000-10-18 2006-08-01 Sarnoff Corporation Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery
ES2391556T3 (es) * 2002-05-03 2012-11-27 Donnelly Corporation Sistema de detección de objetos para vehículo
JP4893945B2 (ja) * 2007-02-06 2012-03-07 株式会社デンソー 車両周辺監視装置
WO2008118886A1 (en) * 2007-03-23 2008-10-02 Bioimagene, Inc. Digital microscope slide scanning system and methods
JP4793307B2 (ja) * 2007-04-03 2011-10-12 株式会社デンソー 車両周辺監視装置
JP5053776B2 (ja) * 2007-09-14 2012-10-17 株式会社デンソー 車両用視界支援システム、車載装置、及び、情報配信装置
DE102008034594B4 (de) 2008-07-25 2021-06-24 Bayerische Motoren Werke Aktiengesellschaft Verfahren sowie Informationssystem zur Information eines Insassen eines Fahrzeuges
GB2473247B (en) * 2009-09-04 2015-02-11 Sony Corp A method and apparatus for image alignment
US20130010119A1 (en) * 2010-05-14 2013-01-10 Mitsubishi Electric Corporation Parking assistance apparatus, parking assistance system, and parking assistance camera unit
JP5212748B2 (ja) * 2010-09-29 2013-06-19 アイシン精機株式会社 駐車支援装置
JP5269026B2 (ja) * 2010-09-29 2013-08-21 日立建機株式会社 作業機械の周囲監視装置
US8879828B2 (en) * 2011-06-29 2014-11-04 Matterport, Inc. Capturing and aligning multiple 3-dimensional scenes
TWI491524B (zh) * 2012-03-08 2015-07-11 Ind Tech Res Inst 全周鳥瞰影像產生方法、訓練方法及應用其之車體端裝置及訓練裝置
JP5857224B2 (ja) * 2012-03-30 2016-02-10 パナソニックＩｐマネジメント株式会社 駐車支援装置、及び駐車支援方法
JP5846020B2 (ja) * 2012-04-03 2016-01-20 株式会社デンソー 運転支援装置
US8830322B2 (en) * 2012-08-06 2014-09-09 Cloudparc, Inc. Controlling use of a single multi-vehicle parking space and a restricted location within the single multi-vehicle parking space using multiple cameras
JP6099333B2 (ja) * 2012-08-30 2017-03-22 富士通テン株式会社 画像生成装置、画像表示システム、パラメータ取得装置、画像生成方法及びパラメータ取得方法
KR101366112B1 (ko) * 2012-09-04 2014-02-24 전자부품연구원 카메라 네트워크를 분리하여 운용하는 차량용 ａｖｍ 시스템 및 방법
US10075634B2 (en) * 2012-12-26 2018-09-11 Harman International Industries, Incorporated Method and system for generating a surround view
GB2512621A (en) * 2013-04-04 2014-10-08 Sony Corp A method and apparatus

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100966288B1 (ko) * 2009-01-06 2010-06-28 주식회사 이미지넥스트 주변 영상 생성 방법 및 장치

Also Published As

Publication number Publication date
DE102013223039A1 (de) 2015-02-12
US20150042800A1 (en) 2015-02-12
KR20150017095A (ko) 2015-02-16
CN104349026A (zh) 2015-02-11
DE102013223039B4 (de) 2023-04-20

Similar Documents

Publication Publication Date Title
KR101519209B1 (ko) Avm 영상 제공 장치 및 방법
EP2437494B1 (en) Device for monitoring area around vehicle
JP5615441B2 (ja) 画像処理装置及び画像処理方法
US8184160B2 (en) Image processor, driving assistance system, and out-of-position detecting method
JP5109691B2 (ja) 解析装置
JP5454674B2 (ja) 画像生成装置、画像生成プログラム、合成テーブル生成装置および合成テーブル生成プログラム
JP6561512B2 (ja) 視差値導出装置、移動体、ロボット、視差値導出方法、視差値生産方法及びプログラム
KR101987634B1 (ko) 카메라 공차 보정 방법 및 장치와 이를 이용한 어라운드 뷰 모니터링 시스템
US11518390B2 (en) Road surface detection apparatus, image display apparatus using road surface detection apparatus, obstacle detection apparatus using road surface detection apparatus, road surface detection method, image display method using road surface detection method, and obstacle detection method using road surface detection method
JP2009118416A (ja) 車両周辺画像生成装置および車両周辺画像の歪み補正方法
CN107950023B (zh) 车辆用显示装置以及车辆用显示方法
WO2018179671A1 (ja) 画像処理装置と画像処理方法および撮像装置
JP2008102620A (ja) 画像処理装置
JP2017027279A (ja) 物体検出装置及び物体検出方法
JP6589313B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
JP5959311B2 (ja) データ導出装置、及び、データ導出方法
JP6337504B2 (ja) 画像処理装置、移動体、ロボット、機器制御方法およびプログラム
JP5163165B2 (ja) 車両周辺画像処理装置及び車両周辺状況提示方法
WO2018016150A1 (ja) 画像処理装置と画像処理方法
WO2017043331A1 (ja) 画像処理装置、及び、画像処理方法
JP2009077022A (ja) 運転支援システム及び車両
KR20170099252A (ko) 표시 시스템
JP4685050B2 (ja) 表示装置
JP2011109286A (ja) 車両周辺監視装置および車両周辺監視方法
JP7196920B2 (ja) 運転支援装置および運転支援方法、プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180427

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190429

Year of fee payment: 5