KR20130055967A - System for providing panoramic image and method thereof - Google Patents

System for providing panoramic image and method thereof Download PDF

Info

Publication number
KR20130055967A
KR20130055967A KR1020110121678A KR20110121678A KR20130055967A KR 20130055967 A KR20130055967 A KR 20130055967A KR 1020110121678 A KR1020110121678 A KR 1020110121678A KR 20110121678 A KR20110121678 A KR 20110121678A KR 20130055967 A KR20130055967 A KR 20130055967A
Authority
KR
South Korea
Prior art keywords
image
panoramic image
panoramic
camera
memory
Prior art date
Application number
KR1020110121678A
Other languages
Korean (ko)
Inventor
주석영
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020110121678A priority Critical patent/KR20130055967A/en
Priority to CN2012104302124A priority patent/CN103139465A/en
Publication of KR20130055967A publication Critical patent/KR20130055967A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D41/00—Fittings for identifying vehicles in case of collision; Fittings for marking or recording collision areas

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

PURPOSE: A panorama image providing system and a method thereof are provided to implement rotation of a panorama image and image enlargement of a specific part through an input device. CONSTITUTION: A memory(400) stores output image frames of cameras(300-330). An image processing unit(500) generates a panorama image by synthesizing the output image frames. A display unit(200) displays the panorama image. A control unit rotates the panorama image or enlarges one image frame of the panorama image corresponding to user input. [Reference numerals] (100) Input unit; (200) Display unit; (400) Memory; (500) Image processing unit; (700) Image storage unit; (800) Impact sensing unit; (AA) Control unit

Description

파노라마 영상 제공 시스템 및 그 방법{System for providing panoramic image and method thereof}Panoramic image providing system and method thereof

본 발명은 차량 주변을 촬영하여 화면 제공하는 시스템에 관한 것으로, 특히 차량에 설치된 다수의 카메라로 차량 주변을 촬영하고 이를 하나의 영상으로 합성하여 파노라마 영상을 제공하는 시스템에 관한 것이다.The present invention relates to a system for providing a screen by photographing the surroundings of the vehicle, and more particularly, to a system for photographing the surroundings of a vehicle with a plurality of cameras installed in the vehicle and synthesizing them into one image to provide a panoramic image.

차량에 설치된 다수의 카메라로 차량 주변을 촬영하고 각각의 카메라로부터 취득된 영상 프레임들을 하나의 프레임으로 합성하여 파노라마 영상을 화면에 표시하는 기술이 알려져 있으며, 그 중 차량 주변 영상 표시장치에 관한 발명이 일본특허공개 제2007-158426호에 개시되어 있다. 이 공개공보에는 차량의 주변을 나타내는 복수의 영상을 합성하여 하나의 파노라마 영상으로 변환하고, 차량의 외관을 나타내는 영상을 겹쳐 표시하는 차량 주변 영상 표시장치에 대해 개시되어 있다. 그러나 종래 기술에 따르면, 단지 고정된 파노라마 뷰(view)만 제공되는 단점이 있다.Background Art A technique for displaying a panoramic image on a screen by photographing the surroundings of a vehicle with a plurality of cameras installed in a vehicle and synthesizing image frames obtained from each camera into one frame is known. Japanese Patent Laid-Open No. 2007-158426 is disclosed. This publication discloses a surrounding image display apparatus for synthesizing a plurality of images representing the periphery of a vehicle, converting them into a panoramic image, and superimposing an image representing the appearance of the vehicle. However, according to the prior art, there is a disadvantage that only a fixed panoramic view is provided.

본 발명은 파노라마 영상을 화면 제공할 뿐 아니라, 파노라마 영상의 회전 및 특정 부분의 확대 기능을 제공할 수 있는 기술적 방안을 제공함을 목적으로 한다.An object of the present invention is not only to provide a panoramic image, but also to provide a technical solution capable of providing a function of rotating the panoramic image and enlarging a specific portion.

또한 본 발명은 차량 접촉 사고시 차량에 충격이 가해진 부분의 영상을 보관할 수 있는 기술적 방안을 제공함을 목적으로 한다.In addition, an object of the present invention is to provide a technical method that can store the image of the impact portion to the vehicle in the event of a vehicle contact accident.

전술한 기술적 과제를 달성하기 위한 본 발명의 일 양상에 따른 파노라마 영상 제공 시스템은 차량 주변을 촬영하는 다수의 카메라, 상기 카메라들의 출력 영상 프레임들이 저장되는 메모리, 상기 메모리에 저장된 상기 카메라들의 영상 프레임들을 합성하여 파노라마 영상을 생성하는 영상 처리부, 상기 생성된 파노라마 영상을 표시하는 표시부, 및 사용자 입력에 따라 상기 표시된 파노라마 영상을 회전하거나 상기 파노라마 영상을 구성하는 상기 영상 프레임들 중 어느 하나의 영상 프레임을 확대하는 제어부를 포함한다. 여기서 상기 영상 처리부는 상기 카메라들의 영상 프레임들 중 하나의 영상 프레임의 둘로 분할한 후 상기 파노라마 영상을 생성할 수 있다.According to an aspect of the present invention, there is provided a panoramic image providing system including a plurality of cameras photographing a vehicle periphery, a memory in which output image frames of the cameras are stored, and image frames of the cameras stored in the memory. An image processor for synthesizing the panorama image, a display unit for displaying the generated panorama image, and rotating the displayed panorama image according to a user input or enlarging an image frame of any one of the image frames constituting the panorama image It includes a control unit. The image processor may generate the panoramic image after dividing the image frame into two of one of the image frames of the cameras.

나아가 상기 파노라마 영상 제공 시스템은 상기 파노라마 영상이 저장되는 영상 저장부를 더 포함한다.Furthermore, the panoramic image providing system further includes an image storage unit for storing the panoramic image.

나아가 상기 파노라마 영상 제공 시스템은 상기 차량의 전후좌우 충격을 감지하기 위한 충격 감지부를 더 포함하며, 상기 제어부는 상기 감지된 충격 부위에 해당하는 카메라 영상을 상기 영상 저장부에 저장한다. 여기서 상기 제어부는 상기 해당 카메라 영상을 상기 영상 저장부에 저장하되, 상기 감지된 충격 시점 이전에 상기 메모리에 기저장되어 있는 상기 해당 카메라 영상 프레임들 및 상기 감지된 충격 시점으로부터 일정 시간 동안 상기 메모리에 저장되는 상기 해당 카메라 영상 프레임들을 상기 영상 저장부에 저장한다.Furthermore, the panoramic image providing system further includes a shock detector for detecting the front, rear, left, and right shocks of the vehicle, and the controller stores the camera image corresponding to the detected shock portion in the image storage unit. The controller stores the camera image in the image storage unit, and stores the camera image in the memory for a predetermined time from the corresponding camera image frames previously stored in the memory and the detected impact point. The corresponding camera image frames to be stored are stored in the image storage unit.

한편, 전술한 기술적 과제를 달성하기 위한 본 발명의 일 양상에 따른 파노라마 영상 제공 방법은 차량 주변을 촬영하는 카메라들의 출력 영상 프레임들을 합성하여 파노라마 영상을 생성하는 단계, 상기 생성된 파노라마 영상을 화면 표시하는 단계, 및 사용자 입력에 따라 상기 표시된 파노라마 영상을 회전하거나 상기 파노라마 영상을 구성하는 상기 영상 프레임들 중 어느 하나의 영상 프레임을 확대하는 단계를 포함한다.In the meantime, the method for providing a panoramic image according to an aspect of the present invention for generating a panoramic image by synthesizing output image frames of cameras photographing a vehicle surroundings, and displaying the generated panoramic image on a screen And rotating the displayed panoramic image or enlarging one image frame among the image frames constituting the panoramic image according to a user input.

나아가 상기 파노라마 영상 제공 방법은 상기 차량의 충격 여부를 판단하는 단계, 및 상기 판단 결과 상기 차량에 충격이 있는 것으로 판단되면, 상기 카메라들 중 상기 충격 부위를 촬영하는 카메라 영상을 영상 저장부에 저장하되, 상기 감지된 충격 시점 이전에 상기 메모리에 기저장되어 있는 상기 해당 카메라 영상 프레임들 및 상기 감지된 충격 시점으로부터 일정 시간 동안 상기 메모리에 저장되는 상기 해당 카메라 영상 프레임들을 상기 영상 저장부에 저장하는 단계를 더 포함한다.Further, the method for providing a panoramic image includes determining whether the vehicle is impacted, and when it is determined that the vehicle is impacted, storing the camera image photographing the impacted portion of the cameras in an image storage unit. Storing the corresponding camera image frames pre-stored in the memory before the detected impact point and the corresponding camera image frames stored in the memory for a predetermined time from the detected impact point in the image storage unit. It further includes.

본 발명은 터치스크린과 같은 입력장치를 통해 파노라마 영상 회전 및 특정 부분의 영상만을 확대할 수 있는 효과를 창출한다. 또한 본 발명은 차량 충격시 충격 시점을 전후하여 충격 부위의 카메라 영상을 저장함으로써, 교통사고에 대한 증거 영상을 제공할 수 있는 효과를 창출한다.The present invention creates an effect of rotating the panoramic image and enlarging only an image of a specific portion through an input device such as a touch screen. In addition, the present invention by storing the camera image of the impact portion before and after the impact point when the vehicle impact, creates an effect that can provide an evidence image for traffic accidents.

도 1은 본 발명의 일 실시예에 따른 파노라마 영상 제공 시스템 블록도.
도 2는 카메라별 영상 프레임 입력을 나타낸 도면.
도 3은 본 발명의 일 실시예에 따른 파노라마 영상 생성 설명을 위한 참조도.
도 4는 본 발명의 일 실시예에 따른 카메라 영상 프레임들 중 후방 영상 프레임의 이분할 설명을 위한 참조도.
도 5는 본 발명의 일 실시예에 따른 파노라마 영상 회전 설명을 위한 제1참조도.
도 6은 본 발명의 일 실시예에 따른 파노라마 영상 회전 설명을 위한 제2참조도.
도 7은 본 발명의 일 실시예에 따른 파노라마 영상의 부분 확대 설명을 위한 참조도.
도 8은 본 발명의 일 실시예에 따른 차량 충격 감지시 영상 프레임 저장을 설명하기 위한 참조도.
도 9는 본 발명의 일 실시예에 따른 차량 충격 감지시 영상 저장부에 저장되는 영상 프레임을 나타낸 도면.
도 10은 본 발명의 일 실시예에 따른 파노라마 영상 제공 방법 흐름도.1 is a block diagram of a panoramic image providing system according to an exemplary embodiment of the present invention.
2 is a view illustrating an image frame input for each camera.
3 is a reference diagram for explaining a panorama image generation according to an embodiment of the present invention.
4 is a reference diagram for describing a bipartition of a rear image frame among camera image frames according to an embodiment of the present invention;
5 is a first reference diagram for explaining a panoramic image rotation according to an embodiment of the present invention.
6 is a second reference diagram for explaining a panoramic image rotation according to an embodiment of the present invention.
7 is a reference diagram for explaining a partial enlargement of a panoramic image according to an embodiment of the present invention;
8 is a reference diagram for explaining image frame storage when a vehicle shock is detected according to an embodiment of the present invention.
9 is a view showing an image frame stored in the image storage unit when detecting a vehicle shock according to an embodiment of the present invention.
10 is a flowchart illustrating a panoramic image providing method according to an embodiment of the present invention.

전술한, 그리고 추가적인 본 발명의 양상들은 첨부된 도면을 참조하여 설명되는 바람직한 실시예들을 통하여 더욱 명백해질 것이다. 이하에서는 본 발명을 이러한 실시예를 통해 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.BRIEF DESCRIPTION OF THE DRAWINGS The foregoing and further aspects of the present invention will become more apparent from the following detailed description of preferred embodiments with reference to the accompanying drawings. Hereinafter, the present invention will be described in detail to enable those skilled in the art to easily understand and reproduce the present invention.

도 1은 본 발명의 일 실시예에 따른 파노라마 영상 제공 시스템 블록도이다.1 is a block diagram of a panoramic image providing system according to an exemplary embodiment of the present invention.

도시된 바와 같이, 파노라마 영상 제공 시스템은 입력부(100), 표시부(200), 카메라들(300, 310, 320, 330), 메모리(400), 영상 처리부(500), 및 제어부(600)를 포함한다. 나아가 파노라마 영상 제공 시스템은 영상 저장부(700)를 더 포함할 수 있다. 더 나아가 파노라마 영상 제공 시스템은 충격 감지부(800)를 더 포함할 수 있다. 입력부(100)는 사용자 입력을 위한 통상의 입력 수단이며, 표시부(200)는 영상 출력을 위한 통상의 출력 수단이다. 일 실시예에 있어서, 입력부(100)와 표시부(200)는 입출력을 모두 지원하는 터치스크린이다. 카메라들(300, 310, 320, 330)은 차량의 서로 다른 위치에 장착되어 차량 주변을 촬영한다. 도 1에서는 4개의 카메라가 예시되었으며, 차량 전방을 촬영하기 위한 전방 카메라(300)와 차량 후방을 촬영하기 위한 후방 카메라(310)와 차량 좌측을 촬영하기 위한 좌측 카메라(320) 및 차량 우측을 촬영하기 위한 우측 카메라(330)로 구분된다. 메모리(400)는 영상 프레임들을 임시 저장하기 위한 버퍼이다. 구체적으로 메모리(400)는 파노라마 영상을 생성하기 전에 카메라들의 영상 프레임들을 임시 저장하기 위한 버퍼이다. 일 실시예에 있어서, 메모리(400)는 카메라별 4개의 영상 프레임들을 임시 저장할 수 있는 저장 공간을 가진다.As shown, the panoramic image providing system includes an input unit 100, a display unit 200, cameras 300, 310, 320, 330, a memory 400, an image processor 500, and a controller 600. do. Furthermore, the panorama image providing system may further include an image storage unit 700. Furthermore, the panoramic image providing system may further include an impact detector 800. The input unit 100 is a normal input means for a user input, the display unit 200 is a normal output means for outputting an image. In one embodiment, the input unit 100 and the display unit 200 is a touch screen that supports both input and output. The cameras 300, 310, 320, and 330 are mounted at different positions of the vehicle and photograph the surroundings of the vehicle. In FIG. 1, four cameras are illustrated. A front camera 300 for photographing the front of the vehicle, a rear camera 310 for photographing the rear of the vehicle, a left camera 320 for photographing the left side of the vehicle, and a right side of the vehicle are photographed. It is divided into the right camera 330. The memory 400 is a buffer for temporarily storing image frames. In detail, the memory 400 is a buffer for temporarily storing image frames of cameras before generating a panoramic image. In one embodiment, the memory 400 has a storage space for temporarily storing four image frames per camera.

영상 처리부(500)는 입력 영상을 처리하기 위한 프로세서이다. 영상 처리부(500)는 다수의 영상 프레임들을 하나의 영상 프레임으로 합성하기 위한 영상 처리를 수행한다. 이 외에 영상 처리부(500)는 색 필터 배열 보간(color filter array interpolation), 색 매트릭스(color matrix), 색 보정(color correction), 색 향상(color enhancement) 등의 화질 개선을 위한 영상 처리를 수행할 수 있다. 제어부(600)는 시스템 전반을 제어하기 위한 컨트롤러이다. 영상 저장부(700)는 영상 저장을 위한 메모리로서, 플래시 메모리일 수 있다. 영상 저장부(700)에는 파노라마 영상이 저장될 수 있다. 바람직하게 파노라마 영상은 압축되어 저장된다. 충격 감지부(800)는 차량의 충격을 감지하기 위한 충격 감지 센서들로 구성된다. 일 실시예에 있어서, 충격 감지부(800)는 차량 전방의 충격을 감지하는 전방 충격 감지 센서와 차량 후방의 충격을 감지하는 후방 충격 감지 센서와 차량 좌측의 충격을 감지하는 좌측 충격 감지 센서 및 차량 우측을 충격을 감지하는 우측 충격 감지 센서로 구성된다.The image processor 500 is a processor for processing an input image. The image processor 500 performs image processing for synthesizing a plurality of image frames into one image frame. In addition, the image processor 500 may perform image processing for improving image quality such as color filter array interpolation, color matrix, color correction, and color enhancement. Can be. The controller 600 is a controller for controlling the entire system. The image storage unit 700 may be a flash memory as a memory for storing images. The panoramic image may be stored in the image storage unit 700. Preferably the panoramic image is compressed and stored. The shock detector 800 is composed of shock sensors for detecting a shock of the vehicle. In one embodiment, the shock detection unit 800 is a front shock sensor for detecting a shock in front of the vehicle, a rear shock sensor for detecting the shock of the rear of the vehicle, a left shock detection sensor and a vehicle for detecting the impact of the left side of the vehicle The right side is composed of a right shock detection sensor for detecting a shock.

이하, 파노라마 영상 제공 시스템의 동작 실시예에 대해 설명한다. 전방 카메라(300)와 후방 카메라(310)와 좌측 카메라(320) 및 우측 카메라(330)는 도 2에 예시된 바와 같이 촬영된 영상 프레임들을 지속적으로 제어부(600)로 출력한다. 제어부(600)는 각각의 카메라로부터 입력된 영상 프레임을 메모리(400)에 임시 저장한다. 이 메모리(400)에는 카메라별 4개의 영상 프레임들이 임시 저장될 수 있다. 제어부(600)는 메모리(400)에 우선 저장된 동일 시점의 카메라별 영상 프레임(예를 들어, 4개의 Frame #1)을 영상 처리부(500)로 전달한다. 영상 처리부(500)는 전달된 4개의 영상 프레임, 즉 카메라별 영상 프레임을 하나의 영상 프레임으로 합성하여 파노라마 영상을 생성한다. 일 실시예에 있어서, 영상 처리부(500)는 4개의 영상 프레임 중 어느 한 영상 프레임을 이분할한 후에 하나의 영상 프레임으로 합성하여 파노라마 영상을 생성한다. 도 3에 그 예가 도시되어 있다. 도 3을 통해 후방 영상 프레임(Back Frame)이 후방 좌측 영상 프레임(Back-L Frame)과 후방 우측 영상 프레임(Back-R Frame)으로 이분할된 후, 하나의 영상 프레임으로 합성되었음이 확인된다. 이분할 방식에 있어서, 영상 처리부(500)는 도 4에 예시된 바와 같이 후방 영상 프레임의 수평 픽셀(horizontal pixel) 사이즈를 M이라고 했을 때, M/2 지점을 기준으로 이분할한다.Hereinafter, an operation embodiment of the panoramic image providing system will be described. The front camera 300, the rear camera 310, the left camera 320, and the right camera 330 continuously output the captured image frames to the controller 600 as illustrated in FIG. 2. The controller 600 temporarily stores the image frame input from each camera in the memory 400. The memory 400 may temporarily store four image frames for each camera. The controller 600 first transmits the image frames (eg, four Frame # 1) for each camera at the same time point stored in the memory 400 to the image processor 500. The image processor 500 generates a panoramic image by synthesizing the transmitted four image frames, that is, image frames for each camera, into one image frame. In one embodiment, the image processing unit 500 divides any one image frame among the four image frames and synthesizes one image frame to generate a panoramic image. An example is shown in FIG. 3. Referring to FIG. 3, it is confirmed that a back frame is divided into a back left frame and a back right frame, and then synthesized into one frame. In the dividing method, when the horizontal pixel size of the rear image frame is M as illustrated in FIG. 4, the image processing unit 500 divides the image based on the M / 2 point.

제어부(600)는 영상 처리부(500)에서 생성된 파노라마 영상을 표시부(200)로 출력한다. 제어부(600)는 표시부(200)에 표시된 파노라마 영상에 대한 회전 및 부분 확대 기능을 제공한다. 예를 들어, 사용자의 입력 방식에 따라, 제어부(600)는 표시부(200)에 표시된 파노라마 영상을 회전하거나 부분 확대하는 것이다. 도 5의 (a)에서와 같이 사용자가 표시부(200)의 파노라마 영상에서 전방 영상에 손가락을 터치한 상태에서 우측 영상으로 이동시키면, 도 5의 (b)와 같이 좌측 영상이 정중앙에 위치하게 되며 한 단계씩 우측으로 밀리게 된다. 제어부(600) 입장에서는 도 6과 같이 표시 화면상에서 입력되는 손가락의 좌표를 인식한 다음, 손가락 좌표의 이동 지점을 모니터링하여 설정된 영역까지 손가락이 움직일 경우 파노라마 영상의 회전을 가능하게 한다. 도 6에서는 해당 좌표를 (M, N) → (M+M/4, N)으로 예시하였다. 손가락을 중앙에서 왼쪽으로 미리 설정된 좌표까지 움직일 경우, 마찬가지 방법으로 우측 영상이 정중앙에 위치하게 된다. 한편, 사용자가 어느 한 영상 프레임의 미리 설정된 특정 좌표를 특정 시간 이내에 더블 클릭하게 되면, 제어부(600)는 그 영상만 표시부(200)에 표시한다. 예를 들어, 도 7의 (a)에서와 같이 사용자가 (M, N)의 좌표를 500ms 이내에 두 번 클릭할 경우, 도 7의 (b)에서와 같이 전방 영상만 확대되어 표시부(200)에 표시되는 것이다.The controller 600 outputs the panorama image generated by the image processor 500 to the display unit 200. The controller 600 provides a rotation and partial enlargement function for the panorama image displayed on the display unit 200. For example, the controller 600 rotates or partially enlarges the panoramic image displayed on the display unit 200 according to a user's input method. As shown in (a) of FIG. 5, when the user moves a finger to the front image in the panoramic image of the display unit 200, the left image is positioned at the center of the center as shown in FIG. One step pushes to the right. The controller 600 recognizes the coordinates of the finger input on the display screen as shown in FIG. 6, and then monitors the movement point of the finger coordinates to enable the rotation of the panoramic image when the finger moves to the set area. In FIG. 6, the coordinates are illustrated as (M, N) → (M + M / 4, N). When the finger is moved from the center to the preset coordinates from the center, the right image is located at the center of the image in the same manner. On the other hand, when the user double-clicks a predetermined specific coordinate of one image frame within a specific time, the controller 600 displays only the image on the display unit 200. For example, when the user double-clicks the coordinates of (M, N) within 500 ms as shown in (a) of FIG. 7, only the front image is enlarged on the display unit 200 as shown in (b) of FIG. 7. Is displayed.

한편, 충격 감지부(800)에 의해 충격이 감지되면, 제어부(600)는 감지된 충격 부위에 해당하는 카메라의 영상 프레임들을 영상 저장부(700)에 저장한다. 예를 들어, 좌측 충격 감지 센서에 의해 충격이 감지되면, 제어부(600)는 메모리(400)에 임시 저장된 좌측 카메라(320)의 영상 프레임들을 영상 저장부(700)에 저장하는 것이다. 일 실시예에 있어서, 제어부(600)는 메모리(400)에 기저장되어 있는 좌측 영상 프레임들 및 충격이 감지된 시점부터 메모리(400)에 새로 저장되는 좌측 영상 프레임들을 영상 저장부(700)에 저장한다. 도 8에서와 같이 좌측 카메라(320)의 Frame #N 입력 시점에 충격이 감지되면, 제어부(600)는 도 9와 같이 메모리(400)에 임시 저장되어 있는 Frame #N-4, Frame #N-3, Frame #N-2, Frame #N-1을 영상 저장부(700)에 저장하며, 또한 충격이 감지된 시점부터 메모리(400)에 새로 임시 저장되는 Frame #N, Frame #N+1, Frame #N+2, Frame #N+3을 영상 저장부(700)에 저장하는 것이다.On the other hand, when a shock is detected by the impact detector 800, the controller 600 stores the image frames of the camera corresponding to the detected impact portion in the image storage unit 700. For example, when a shock is detected by the left shock sensor, the controller 600 stores the image frames of the left camera 320 temporarily stored in the memory 400 in the image storage unit 700. In an exemplary embodiment, the controller 600 may store the left image frames pre-stored in the memory 400 and the left image frames newly stored in the memory 400 from the time when a shock is detected, in the image storage unit 700. Save it. As shown in FIG. 8, when a shock is detected at the time of inputting Frame #N of the left camera 320, the controller 600 may temporarily store Frame # N-4 and Frame # N− that are temporarily stored in the memory 400 as shown in FIG. 9. 3, Frame # N-2 and Frame # N-1 are stored in the image storage unit 700, and Frame #N, Frame # N + 1, which are newly temporarily stored in the memory 400 from the time when a shock is detected. Frame # N + 2 and Frame # N + 3 are stored in the image storage unit 700.

도 10은 본 발명의 일 실시예에 따른 파노라마 영상 제공 방법 흐름도이다.10 is a flowchart illustrating a panorama image providing method according to an embodiment of the present invention.

제어부(600)는 카메라들(300, 310, 320, 330)로부터 입력되는 영상 프레임을 메모리(400)에 저장한다(S100). 메모리(400)에 저장되는 시간은 사용자 설정에 의해 변경될 수 있다. 제어부(600)는 메모리(400)에 저장된 카메라별 동일 시점의 영상 프레임을 영상 처리부(500)로 전달하며, 영상 처리부(500)는 카메라별 영상 프레임을 하나의 영상 프레임으로 합성하여 파노라마 영상을 생성한다(S150). 제어부(600)는 생성된 파노라마 영상을 표시부(200) 화면에 표시한다(S200).The controller 600 stores the image frames input from the cameras 300, 310, 320, and 330 in the memory 400 (S100). The time stored in the memory 400 may be changed by user setting. The controller 600 transfers the image frames of the same viewpoint for each camera stored in the memory 400 to the image processor 500, and the image processor 500 generates a panoramic image by synthesizing the image frames for each camera into one image frame. (S150). The controller 600 displays the generated panorama image on the screen of the display unit 200 (S200).

이후, 제어부(600)는 사용자 터치 입력이 있는지 판단한다(S250). 사용자 터치 입력이 있으면, 제어부(600)는 그 입력 지점의 좌표를 인식한다(S300). 제어부(600)는 그 인식된 좌표로 일정 시간 이내에 사용자 재입력이 있는지 판단한다(S350). 즉, 제어부(600)는 더블 클릭 여부를 확인하는 것이다. 더블 클릭 입력이 있으면, 제어부(600)는 그 더블 클릭 지점의 좌표에 해당하는 카메라 영상 프레임만을 확대하여 표시부(200)에 표시한다(S400). S350에서 더블 클릭이 아니라 드래그 입력이 확인되면, 제어부(600)는 그 드래그 입력을 모니터링한다(S450). 제어부(600)는 모니터링을 통해 입력 종료 지점의 좌표를 확인하고 이에 맞게 표시부(200)에 표시된 파노라마 영상을 회전시킨다(S500).Thereafter, the controller 600 determines whether there is a user touch input (S250). If there is a user touch input, the controller 600 recognizes the coordinates of the input point (S300). The controller 600 determines whether there is a user re-input within a predetermined time at the recognized coordinates (S350). That is, the control unit 600 confirms whether or not the double click. If there is a double click input, the controller 600 enlarges and displays only the camera image frame corresponding to the coordinate of the double click point on the display unit 200 (S400). If the drag input is confirmed instead of the double click in S350, the controller 600 monitors the drag input (S450). The controller 600 checks the coordinates of the input end point through monitoring and rotates the panoramic image displayed on the display unit 200 accordingly (S500).

한편, 제어부(600)는 충격 감지 여부를 판단하고, 충격이 감지된 것으로 판단되면 충격이 발생한 차량 부위를 확인한다(S550)(S600). 이는 충격 감지 센서의 구분을 통해 확인될 수 있다. 제어부(600)는 확인된 충격 부위에 해당하는 카메라의 영상 프레임들을 영상 저장부(700)에 저장한다(S650). S650에서, 제어부(600)는 상술한 바와 같이 메모리(400)에 기저장되어 있는 좌측 영상 프레임들 및 충격이 감지된 시점부터 메모리(400)에 새로 저장되는 좌측 영상 프레임들을 영상 저장부(700)에 저장한다.
On the other hand, the control unit 600 determines whether the shock is detected, and if it is determined that the shock is detected (S550) (S600). This can be confirmed through the classification of the shock sensor. The controller 600 stores the image frames of the camera corresponding to the identified impact portion in the image storage unit 700 (S650). In operation S650, the controller 600 stores the left image frames pre-stored in the memory 400 and the left image frames newly stored in the memory 400 from the time when an impact is detected as described above. Store in

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far I looked at the center of the preferred embodiment for the present invention. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.

100 : 입력부 200 : 표시부
300 : 전방 카메라 310 : 후방 카메라
320 : 좌측 카메라 330 : 우측 카메라
400 : 메모리 500 : 영상 처리부
600 : 제어부 700 : 영상 저장부
800 : 충격 감지부100 input unit 200 display unit
300: front camera 310: rear camera
320: left camera 330: right camera
400: memory 500: image processor
600: control unit 700: image storage unit
800: shock detection unit

Claims (7)

차량 주변을 촬영하는 다수의 카메라;
상기 카메라들의 출력 영상 프레임들이 저장되는 메모리;
상기 메모리에 저장된 상기 카메라들의 영상 프레임들을 합성하여 파노라마 영상을 생성하는 영상 처리부;
상기 생성된 파노라마 영상을 표시하는 표시부; 및
사용자 입력에 따라 상기 표시된 파노라마 영상을 회전하거나 상기 파노라마 영상을 구성하는 상기 영상 프레임들 중 어느 하나의 영상 프레임을 확대하는 제어부;
를 포함하는 것을 특징으로 하는 파노라마 영상 제공 시스템.A plurality of cameras photographing the surroundings of the vehicle;
A memory in which output image frames of the cameras are stored;
An image processor for synthesizing image frames of the cameras stored in the memory to generate a panoramic image;
A display unit displaying the generated panoramic image; And
A controller configured to rotate the displayed panoramic image or enlarge one of the image frames constituting the panoramic image according to a user input;
Panoramic image providing system comprising a. 제1항에 있어서,
상기 영상 처리부는 상기 카메라들의 영상 프레임들 중 하나의 영상 프레임의 둘로 분할한 후 상기 파노라마 영상을 생성함을 특징으로 하는 파노라마 영상 제공 시스템.The method of claim 1,
And the image processor generates the panoramic image after dividing the image frame into two of one of the image frames of the cameras. 제1항에 있어서,
상기 파노라마 영상이 저장되는 영상 저장부;
를 더 포함하는 것을 특징으로 하는 파노라마 영상 제공 시스템.The method of claim 1,
An image storage unit storing the panoramic image;
Panoramic image providing system further comprises. 제1항 내지 제3항 중 어느 한 항에 있어서,
상기 차량의 충격을 감지하기 위한 충격 감지부;를 더 포함하며,
상기 제어부는 상기 감지된 충격 부위에 해당하는 카메라 영상을 상기 영상 저장부에 저장함을 특징으로 하는 파노라마 영상 제공 시스템.4. The method according to any one of claims 1 to 3,
Further comprising: a shock detecting unit for detecting a shock of the vehicle,
And the controller stores the camera image corresponding to the detected impact part in the image storage unit. 제4항에 있어서,
상기 제어부는 상기 해당 카메라 영상을 상기 영상 저장부에 저장하되, 상기 감지된 충격 시점 이전에 상기 메모리에 기저장되어 있는 상기 해당 카메라 영상 프레임들 및 상기 감지된 충격 시점으로부터 일정 시간 동안 상기 메모리에 새로 저장되는 상기 해당 카메라 영상 프레임들을 상기 영상 저장부에 저장함을 특징으로 하는 파노라마 영상 제공 시스템.5. The method of claim 4,
The controller stores the camera image in the image storage unit, and newly stores the camera image in the memory for a predetermined time from the detected camera image frames and the detected impact point before the shock point. And storing the corresponding camera image frames stored in the image storage unit. 차량 주변을 촬영하는 카메라들의 출력 영상 프레임들을 합성하여 파노라마 영상을 생성하는 단계;
상기 생성된 파노라마 영상을 화면 표시하는 단계; 및
사용자 입력에 따라 상기 표시된 파노라마 영상을 회전하거나 상기 파노라마 영상을 구성하는 상기 영상 프레임들 중 어느 하나의 영상 프레임을 확대하는 단계;
를 포함하는 것을 특징으로 하는 파노라마 영상 제공 방법.Generating a panoramic image by synthesizing output image frames of cameras photographing a vehicle periphery;
Displaying the generated panoramic image on a screen; And
Rotating the displayed panoramic image or enlarging one image frame among the image frames constituting the panoramic image according to a user input;
The panoramic image providing method comprising a. 제6항에 있어서,
상기 차량의 충격 여부를 판단하는 단계; 및
상기 판단 결과 상기 차량의 충격이 있는 것으로 판단되면, 상기 카메라들 중 상기 충격 부위를 촬영하는 카메라 영상을 영상 저장부에 저장하되, 상기 감지된 충격 시점 이전에 상기 메모리에 기저장되어 있는 상기 해당 카메라 영상 프레임들 및 상기 감지된 충격 시점으로부터 일정 시간 동안 상기 메모리에 새로 저장되는 상기 해당 카메라 영상 프레임들을 상기 영상 저장부에 저장하는 단계;
를 더 포함하는 것을 특징으로 하는 파노라마 영상 제공 방법.The method according to claim 6,
Determining whether the vehicle is impacted; And
If it is determined that there is an impact of the vehicle, the camera image photographing the impact portion of the cameras is stored in an image storage unit, but the corresponding camera previously stored in the memory before the detected impact point. Storing image frames and the corresponding camera image frames newly stored in the memory for a predetermined time from the detected impact point in the image storage unit;
The panoramic image providing method further comprises.
KR1020110121678A 2011-11-21 2011-11-21 System for providing panoramic image and method thereof KR20130055967A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110121678A KR20130055967A (en) 2011-11-21 2011-11-21 System for providing panoramic image and method thereof
CN2012104302124A CN103139465A (en) 2011-11-21 2012-11-01 System and method for providing panoramic image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110121678A KR20130055967A (en) 2011-11-21 2011-11-21 System for providing panoramic image and method thereof

Publications (1)

Publication Number Publication Date
KR20130055967A true KR20130055967A (en) 2013-05-29

Family

ID=48498722

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110121678A KR20130055967A (en) 2011-11-21 2011-11-21 System for providing panoramic image and method thereof

Country Status (2)

Country Link
KR (1) KR20130055967A (en)
CN (1) CN103139465A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104842871A (en) * 2014-02-13 2015-08-19 徐志川 Automotive electronic rearview system and technical scheme
KR101657673B1 (en) 2015-04-30 2016-09-22 주식회사 와이즈오토모티브 Apparatus and method for generating panorama view
CN106828357A (en) * 2016-12-22 2017-06-13 深圳市车生活科技有限公司 A kind of vehicle-mounted data detection method and device based on serial communication
US10377309B2 (en) 2015-06-09 2019-08-13 Lg Electronics Inc. Driver assistance apparatus and control method for the same
US10453246B2 (en) 2016-08-30 2019-10-22 Samsung Electronics Co., Ltd. Image display apparatus and method of operating the same

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102089432B1 (en) 2013-06-20 2020-04-14 엘지전자 주식회사 Mobile terminal and control method for the mobile terminal
CN105069853A (en) * 2015-08-20 2015-11-18 南京安通杰科技实业有限公司 Method for analyzing traffic accidents

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1240323A (en) * 1998-05-29 2000-01-05 日本电气株式会社 Video camera interface, video camera control method and computer program products
JP4579145B2 (en) * 2005-11-30 2010-11-10 アルパイン株式会社 Vehicle peripheral image display device
CN100481911C (en) * 2007-04-24 2009-04-22 赵凤济 Video frequency image circulation storage device and method
CN102087656A (en) * 2009-12-07 2011-06-08 鸿富锦精密工业（深圳）有限公司 Method for circularly displaying pictures in electronic device
CN102117611A (en) * 2009-12-31 2011-07-06 鸿富锦精密工业（深圳）有限公司 Method for realizing circular display of pictures in electronic device

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104842871A (en) * 2014-02-13 2015-08-19 徐志川 Automotive electronic rearview system and technical scheme
KR101657673B1 (en) 2015-04-30 2016-09-22 주식회사 와이즈오토모티브 Apparatus and method for generating panorama view
US10377309B2 (en) 2015-06-09 2019-08-13 Lg Electronics Inc. Driver assistance apparatus and control method for the same
US11097660B2 (en) 2015-06-09 2021-08-24 LG Electionics Inc. Driver assistance apparatus and control method for the same
US10453246B2 (en) 2016-08-30 2019-10-22 Samsung Electronics Co., Ltd. Image display apparatus and method of operating the same
CN106828357A (en) * 2016-12-22 2017-06-13 深圳市车生活科技有限公司 A kind of vehicle-mounted data detection method and device based on serial communication

Also Published As

Publication number Publication date
CN103139465A (en) 2013-06-05

Similar Documents

Publication Publication Date Title
KR20130055967A (en) System for providing panoramic image and method thereof
JP5120880B2 (en) Image processing apparatus and image processing method
US9479706B2 (en) Brightness adjustment system
KR101610038B1 (en) Around view monitoring apparatus and Method of thereof
WO2013002037A1 (en) Parking assistance device
EP3572916B1 (en) Apparatus, system, and method for accelerating positional tracking of head-mounted displays
JP2012105158A (en) Combination vehicle birds-eye-view display system
JP2009012652A (en) Peripheral monitoring device of vehicle
JP2013110712A5 (en)
JP5090496B2 (en) Image generating apparatus and operation support system
JP2010109452A (en) Vehicle surrounding monitoring device and vehicle surrounding monitoring method
WO2019087491A1 (en) Information processing apparatus, information processing method, and program
KR20080024545A (en) Image display system, image display method and recording medium
KR101487161B1 (en) parking assist method for vehicle through drag and drop
JP5178454B2 (en) Vehicle perimeter monitoring apparatus and vehicle perimeter monitoring method
KR20120130456A (en) Method for providing around view of vehicle
JP2015184839A (en) Image generation device, image display system, and image generation method
JP2016046747A (en) Image processing apparatus, image processing method, and image display system
KR101436445B1 (en) Method for displaying image around the vehicle
JP6991045B2 (en) Image processing device, control method of image processing device
JPWO2019216087A1 (en) Image processors, mobile devices, and methods, and programs
JP7029350B2 (en) Image processing device and image processing method
JP2012147308A (en) Image processing apparatus, image display system, and image processing method
JP7247371B2 (en) Image processing device, system, image processing method, and image processing program
KR102659382B1 (en) Method and device for displaying vehicle surroundings

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application