KR101676400B1 - Camera apparatus and method for providing recorded image - Google Patents

Camera apparatus and method for providing recorded image Download PDF

Info

Publication number
KR101676400B1
KR101676400B1 KR1020150149460A KR20150149460A KR101676400B1 KR 101676400 B1 KR101676400 B1 KR 101676400B1 KR 1020150149460 A KR1020150149460 A KR 1020150149460A KR 20150149460 A KR20150149460 A KR 20150149460A KR 101676400 B1 KR101676400 B1 KR 101676400B1
Authority
KR
South Korea
Prior art keywords
image data
image
video
format
data
Prior art date
Application number
KR1020150149460A
Other languages
Korean (ko)
Other versions
KR20150126335A (en
Inventor
명진수
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150149460A priority Critical patent/KR101676400B1/en
Publication of KR20150126335A publication Critical patent/KR20150126335A/en
Application granted granted Critical
Publication of KR101676400B1 publication Critical patent/KR101676400B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1895—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for short real-time information, e.g. alarms, notifications, alerts, updates
    • H04L29/06489—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4385—Multiplex stream processing, e.g. multiplex stream decrypting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440236—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Computer Networks & Wireless Communication (AREA)

Abstract

촬영장치 및 이에 적용되는 촬영영상 제공방법이 제공된다. 본 촬영장치는 촬영된 영상을 2가지의 포맷으로 변환하여 저장 및 실시간 무선 전송하게 된다. 이에 따라, 사용자는 촬영장치를 이용하여 고화질로 촬영된 영상을 저장함과 동시에 촬영된 영상을 실시간 브로드캐스트할 수 있게 된다. A photographing apparatus and a photographic image providing method applied thereto are provided. The photographing apparatus converts the photographed image into two formats, stores it, and wirelessly transmits it in real time. Accordingly, the user can record the image photographed at a high image quality using the photographing apparatus, and simultaneously broadcast the photographed image.

Figure R1020150149460
Figure R1020150149460

Description

촬영장치 및 촬영영상 제공방법{Camera apparatus and method for providing recorded image}Technical Field [0001] The present invention relates to a camera apparatus and a method for providing a captured image,

본 발명은 촬영장치 및 촬영영상 제공방법에 관한 것으로, 더욱 상세하게는 고화질의 영상을 촬영할 수 있는 촬영장치 및 촬영영상 제공방법에 관한 것이다. The present invention relates to a photographing apparatus and a photographed image providing method, and more particularly, to a photographing apparatus and a photographed image providing method capable of photographing a high-quality image.

최근 촬영장치에 관련된 기술의 발전으로, 촬영장치가 촬영할 수 있는 영상의 화질이 매우 높아지고 있다. 특히, 최근에 개발되고 있는 촬영장치는 FULL HD의 해상도로 영상을 촬영할 수도 있다 BACKGROUND ART [0002] With the recent development of technology related to a photographing apparatus, the image quality of a photograph that can be photographed by the photographing apparatus is extremely high. In particular, recently developed imaging apparatuses can capture images at full HD resolution

이와 같이, 촬영장치가 고해상도의 영상을 촬영할 경우, 좋은 화질의 영상을 얻을 수 있다는 장점이 있다. 하지만, 영상의 해상도가 높아질수록 촬영된 영상 데이터의 크기가 커지기 때문에, 고용량의 저장매체를 필요로 하게 된다. As described above, there is an advantage that a good image quality can be obtained when the photographing apparatus photographs a high-resolution image. However, as the resolution of the image increases, the size of the photographed image data increases, so a storage medium of a high capacity is required.

또한, 고해상도의 영상은 큰 용량으로 인해 실시간 방송 서비스를 제공함에 있어서도 문제가 있다. 왜냐하면, 실시간 방송을 위해서는 촬영된 영상을 실시간으로 전송해야 하지만, FULL HD의 영상을 실시간으로 전송하기에는 통신망의 전송 속도가 못 미치기 때문이다. Also, there is a problem in providing a real-time broadcasting service due to a large capacity of a high-resolution image. This is because, in order to broadcast in real time, the captured image must be transmitted in real time, but the transmission speed of the communication network is insufficient to transmit the full HD image in real time.

이와 같이, 고해상도의 영상을 촬영하는 촬영기기는 촬영된 영상을 실시간으로 전송하기에 어려움이 있다. 따라서, 고해상도 영상을 촬영하는 촬영기기에서 촬영된 영상을 실시간으로 방송하기 위한 방안의 모색이 요청된다. As described above, it is difficult for a photographing device for photographing a high-resolution image to transmit the photographed image in real time. Therefore, it is required to search for a method for real-time broadcasting of an image photographed by a photographing device for photographing a high-resolution image.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 촬영된 영상을 2가지의 포맷으로 변환하여 저장 및 실시간 무선 전송하는 촬영장치 및 이에 적용되는 촬영영상 제공방법을 제공함에 있다. SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and it is an object of the present invention to provide a photographing apparatus for converting a photographed image into two formats, storing and real- .

상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 촬영장치는, 움직이는 피사체를 촬상하여 전기 신호로 전환하고, 제1 영상 데이터로 상기 전기 신호를 출력하는 이미지 센서부; 상기 제1 영상 데이터의 축소된 사이즈를 갖는 제2 영상 데이터를 생성하는 스케일러; 상기 제2 영상 데이터가 생성되는 동안 상기 제2 영상 데이터를 전송하는 통신부;를 포함한다.According to an aspect of the present invention, there is provided an image capturing apparatus comprising an image sensor unit for capturing an image of a moving subject, converting the captured image into an electric signal, and outputting the electric signal as first image data; A scaler for generating second image data having a reduced size of the first image data; And a communication unit for transmitting the second image data while the second image data is generated.

그리고, 상기 제1 영상 데이터 및 상기 제2 영상 데이터를 수신하고 상기 제1 영상 데이터와 상기 제2 영상 데이터에 대응하는 복수의 영상 스트림을 생성하는 영상 인코더부; 및 상기 복수의 영상 스트림 중 하나를 상기 통신부에 의해 전송되기 위한 영상파일로 변환하는 멀티플렉서; 를 더 포함할 수 있다.A video encoder unit receiving the first video data and the second video data and generating a plurality of video streams corresponding to the first video data and the second video data; And a multiplexer for converting one of the plurality of video streams into a video file to be transmitted by the communication unit; As shown in FIG.

또한, 상기 제1 영상 데이터에 대응하는 상기 복수의 영상 스트림은 저장을 위한 포맷으로 전환되고, 상기 제2 영상 데이터에 대응되는 상기 복수의 영상 스트림은 전송을 위한 포맷으로 전환될 수 있다.Also, the plurality of video streams corresponding to the first video data may be converted to a format for storage, and the plurality of video streams corresponding to the second video data may be converted to a format for transmission.

그리고, 상기 멀티플렉서에 의해 전환하기 위하여 상기 복수의 영상 스트림 중 영상 스트림을 선택하는 선택부; 및 사용자의 기 프로그램된 옵션 또는 조작에 따라 상기 선택부의 출력을 제어하는 제어부;를 더 포함할 수 있다.A selector for selecting a video stream among the plurality of video streams to be switched by the multiplexer; And a control unit for controlling an output of the selection unit according to a user's previously programmed option or operation.

또한, 상기 제1 영상파일은 moov box 및 mdat box를 포함할 수 있다.Also, the first image file may include a moov box and an mdat box.

그리고, 상기 영상 인코더부는, 인코더; 상기 이미지 센서부로부터 출력된 상기 제1 영상 데이터를 일시적으로 저장하는 제1 버퍼; 및 상기 스케일러로부터 출력된 상기 제2 영상 데이터를 일시적으로 저장하는 제2 버퍼;를 더 포함하고, 상기 제1 및 제2 버퍼는 상기 제1 영상 데이터 및 상기 제2 영상 데이터를 상기 인코더로 번갈아 입력할 수 있다.The image encoder may further include: an encoder; A first buffer for temporarily storing the first image data output from the image sensor unit; And a second buffer for temporarily storing the second image data output from the scaler, wherein the first and second buffers alternately input the first image data and the second image data to the encoder, can do.

한편, 본 발명의 일 실시 예에 따른 촬영 영상 제공방법은, 제1 영상 데이터로 움직이는 이미지를 전기 신호로 전환하는 단계; 상기 제1 영상 데이터를 제1 포맷의 영상 파일로 전환하는 단계; 상기 제1 영상 데이터의 사이즈를 축소하여 제2 영상 데이터를 생성하는 단계; 상기 제2 영상 데이터를 상기 제1 포맷과 상이한 제2 포맷의 영상 파일로 전환하는 단계; 및 상기 제2 영상 데이터가 생성되는 동안 상기 제2 포맷의 영상 파일을 전송하는 단계;를 포함한다.According to another aspect of the present invention, there is provided a method of providing a photographed image comprising: converting an image moving with first image data into an electrical signal; Converting the first image data into a first format image file; Generating second image data by reducing a size of the first image data; Converting the second video data into a video file of a second format different from the first format; And transmitting the image file of the second format while the second image data is generated.

그리고, 상기 제2 영상 데이터를 전환하는 단계는, 상기 제2 영상 데이터를 제2 영상 스트림으로 인코딩하는 단계; 및 상기 제2 영상 스트림 및 오디오 스트림을 결합하고 결합된 스트림을 상기 제2 포맷의 상기 영상 파일로 전환하는 단계;를 더 포함할 수 있다.The switching of the second image data may include: encoding the second image data into a second image stream; And combining the second video stream and the audio stream and converting the combined stream into the video file of the second format.

또한, 상기 제1 영상 데이터를 인코더부의 제1 버퍼에 일시적으로 저장하는 단계; 및 상기 제2 영상 데이터를 상기 인코더부의 제2 버퍼에 일시적으로 저장하는 단계;를 더 포함하고, 상기 제2 및 제2 버퍼는 상기 제1 영상 데이터 및 상기 제2 영상 데이터를 상기 인코더부로 번갈아 입력할 수 있다.Temporarily storing the first image data in the first buffer of the encoder unit; And temporarily storing the second image data in a second buffer of the encoder unit, wherein the second and second buffers alternately input the first image data and the second image data to the encoder unit can do.

그리고, 상기 제2 포맷의 영상 파일은 상기 영상 파일의 다른 부분에 대응하는 데이터 및 타이밍(timing) 정보를 갖는 트랙(track)을 포함할 수 있다.The video file of the second format may include a track having data and timing information corresponding to another portion of the video file.

한편, 본 발명의 일 실시 예에 따른, 촬영 영상 제공방법은, 제1 포맷의 이미지에 대한 제1 영상 데이터 및 제2 포맷의 이미지에 대한 제2 영상 데이터를 생성하는 단계; 상기 제1 영상 데이터를 저장하는 단계; 및 상기 생성하는 단계가 이루어지는 동안 상기 제2 영상 데이터의 적어도 일부를 전송하는 단계;를 포함한다.According to another aspect of the present invention, there is provided a method of providing a photographed image comprising: generating first image data of an image of a first format and second image data of an image of a second format; Storing the first image data; And transmitting at least a portion of the second image data during the generating step.

그리고, 상기 제1 영상의 해상도를 조절하거나 상기 제1 영상 데이터의 부분을 추출하는 것 중 적어도 하나에 의해 상기 제1 영상 데이터로부터 상기 제2 영상 데이터를 생성하는 단계;를 더 포함할 수 있다. The method may further include generating the second image data from the first image data by at least one of adjusting a resolution of the first image or extracting a portion of the first image data.

또한, 상기 부분을 추출하는 것은 기 프로그램된 것일 수 있다.Also, extracting the portion may be pre-programmed.

그리고, 상기 부분을 추출하는 것은 상기 추출하는 단계가 이루어지는 동안 사용자 명령에 의한 것일 수 있다.And extracting the portion may be by a user command during the extracting step.

또한, 상기 제1 영상 데이터 및 상기 제2 영상 데이터를 인코딩하는 단계;를 더 포함할 수 있다.The method may further include encoding the first image data and the second image data.

그리고, 상기 제1 영상 데이터 및 상기 제2 영상 데이터를 인코딩하는 단계는, 평행할 수 있다.The encoding of the first image data and the second image data may be parallel.

본 발명의 다양한 실시예들에 따르면, 촬영된 영상을 2가지의 포맷으로 변환하여 저장 및 실시간 무선 전송하는 촬영장치 및 이에 적용되는 촬영영상 제공방법을 제공할 수 있게 되어, 사용자는 촬영장치를 이용하여 고화질로 촬영된 영상을 저장함과 동시에 촬영된 영상을 실시간 브로드캐스트할 수 있게 된다. According to various embodiments of the present invention, it is possible to provide a photographing apparatus that converts a photographed image into two formats, stores the photographed image and wirelessly transmits it in real time, and a photographed image providing method applied thereto, So that the image photographed in high image quality can be stored and the photographed image can be broadcasted in real time.

도 1은 본 발명의 일 실시예에 따른, 촬영장치의 구조를 도시한 블럭도,
도 2는 본 발명의 일 실시예에 따른, 비디오 인코더의 상세한 구조를 도시한 블럭도,
도 3은 본 발명의 일 실시예에 따른, 촬영영상 제공방법을 설명하기 위해 제공되는 흐름도,
도 4는 본 발명의 일 실시예에 따른, 촬영 장치에 의해 촬영된 영상이 실시간 방송되는 것을 도시한 도면,
도 5는 본 발명의 일 실시예에 따른, 촬영된 원본 영상과 스케일러에 의해 해상도가 변환된 영상을 도시한 도면,
도 6은 본 발명의 일 실시예에 따른, 촬영된 원본 영상과 스케일러에 의해 일부 영역이 추출된 영상을 도시한 도면,
도 7a 및 도 7b는 본 발명의 일 실시예에 따른, MP4 포맷의 영상파일의 구조를 도시한 도면,
도 8a 내지 도 8c는 본 발명의 일 실시예에 따른, 실시간 브로드캐스팅을 위한 영상 파일의 포맷의 구조를 도시한 도면이다. 1 is a block diagram showing the structure of a photographing apparatus according to an embodiment of the present invention;
2 is a block diagram illustrating a detailed structure of a video encoder according to an embodiment of the present invention;
3 is a flow chart for explaining a photographed image providing method according to an embodiment of the present invention;
4 is a diagram illustrating that an image photographed by a photographing apparatus is broadcasted in real time according to an embodiment of the present invention;
5 is a view showing an original image captured and an image converted by a scaler according to an embodiment of the present invention,
FIG. 6 is a diagram illustrating an original image taken and a region extracted by a scaler according to an embodiment of the present invention; FIG.
7A and 7B are diagrams illustrating the structure of an image file in the MP4 format according to an embodiment of the present invention;
8A to 8C are diagrams illustrating a format of a video file format for real-time broadcasting according to an embodiment of the present invention.

이하에서는 도면을 참조하여 본 발명을 더욱 상세하게 설명한다.Hereinafter, the present invention will be described in more detail with reference to the drawings.

도 1은 본 발명의 일 실시예에 따른, 촬영장치(100)의 구조를 도시한 블럭도이다. 도 1에 도시된 바와 같이, 촬영장치(100)는 마이크(110), 오디오 인코더(115), 이미지 센서부(120), 스케일러(scaler)(123), 비디오 인코더(125), 선택부, 제1 먹스(MUX)(140), 제2 먹스(MUX)(150), 저장부(160), 통신부(170), 제어부(180), 및 조작부(190)를 포함한다. 1 is a block diagram showing the structure of a photographing apparatus 100 according to an embodiment of the present invention. 1, the photographing apparatus 100 includes a microphone 110, an audio encoder 115, an image sensor unit 120, a scaler 123, a video encoder 125, A first MUX 140, a second MUX 150, a storage unit 160, a communication unit 170, a control unit 180, and an operation unit 190.

마이크(110)는 음성을 입력받아 오디오 데이터(A0)로 변환 및 출력한다. 즉, 마이크(110)는 음파 신호를 전기적 신호인 오디오 데이터(A0)로 전환하게 된다. The microphone 110 receives voice and converts it into audio data A0 and outputs it. That is, the microphone 110 converts the sound wave signal into audio data A0, which is an electrical signal.

오디오 인코더(115)는 입력된 오디오 데이터(A0)를 압축하여 압축된 오디오 스트림(A1)을 생성한다. 오디오 인코더(115)는 AAC(Advanced Audio Coding) 또는 AC3(Audio Coding)등의 부호화 압축 기법을 이용하여 오디오 데이터를 압축하게 된다. The audio encoder 115 compresses the input audio data A0 to generate a compressed audio stream A1. The audio encoder 115 compresses audio data using an encoding compression technique such as AAC (Advanced Audio Coding) or AC3 (Audio Coding).

이미지 센서부(120)는 피사체를 촬상하여 제1 영상 데이터(V0)를 출력한다. 즉, 이미지 센서부(120)는 빛을 전기적 신호인 제1 영상 데이터(V0)로 전환하는 기능을 수행한다. 이미지 센서부(120)는 CCD(Charge-Coupled Device) 이미지 센서 또는 CMOS(Complementary Metal-Oxide Semiconductor) 이미지 센서로 구현될 수 있다. The image sensor unit 120 picks up an image of a subject and outputs first image data V0. That is, the image sensor unit 120 converts light into first image data V0, which is an electrical signal. The image sensor unit 120 may be implemented as a CCD (Charge-Coupled Device) image sensor or a CMOS (Complementary Metal-Oxide Semiconductor) image sensor.

스케일러(123)는 제1 영상 데이터(A0)의 사이즈를 조절하여 제2 영상 데이터(A1)을 생성 및 출력한다. 스케일러(123)는 제1 영상 데이터(A0)의 해상도 조절 및 특정 영역 추출 중 적어도 하나를 수행하여, 제1 영상 데이터(A0)의 사이즈를 조절하게 된다. The scaler 123 generates and outputs the second image data A1 by adjusting the size of the first image data A0. The scaler 123 adjusts the size of the first image data A0 by performing at least one of resolution adjustment of the first image data A0 and extraction of a specific region.

구체적으로, 스케일러(123)는 제1 영상 데이터(A0)의 해상도를 고해상도에서 저해상도로 조절함으로써, 제1 영상 데이터(A0)보다 파일 사이즈가 작은 제2 영상 데이터(A1)를 생성하게 된다. 예를 들어, 스케일러(123)는 제1 영상 데이터(A0)의 해상도를 FULL HD(High Definition)에서 SD(Standard Definition)로 조절하여 제2 영상 데이터(A1)을 생성할 수도 있다. More specifically, the scaler 123 generates the second image data A1 having a smaller file size than the first image data A0 by adjusting the resolution of the first image data A0 from a high resolution to a low resolution. For example, the scaler 123 may generate the second image data A1 by adjusting the resolution of the first image data A0 from FULL HD (High Definition) to SD (Standard Definition).

또한, 스케일러(123)는 제1 영상 데이터(A0)의 일부 영역을 추출함으로써, 제1 영상 데이터(A0)보다 파일 사이즈가 작은 제2 영상 데이터(A1)를 생성할 수도 있다. 예를 들어, 스케일러(123)는 제1 영상 데이터(A0)에서 사용자에 의해 선택된 영역을 추출하여, 추출된 영역의 영상 데이터를 제2 영상 데이터(A1)로 생성 및 추출할 수도 있다. The scaler 123 may generate the second image data A1 having a smaller file size than the first image data A0 by extracting a part of the first image data A0. For example, the scaler 123 may extract the region selected by the user in the first image data A0 and generate and extract the image data of the extracted region as the second image data A1.

따라서, 스케일러(123)는 사용자에 의한 선택에 따라, 제1 영상 데이터(A0)의 해상도를 조절하거나 특정 영역을 추출하여, 사이즈가 조절된 제2 영상 데이터(A1)을 생성 및 출력하게 된다. Accordingly, the scaler 123 adjusts the resolution of the first image data A0 or extracts the specific region according to the selection by the user, thereby generating and outputting the second image data A1 whose size is adjusted.

이 때, 스케일러(123)는 통신부(170)가 실시간 무선 전송할 수 있는 용량 이하의 용량을 가지도록, 제1 영상 데이터(A0)의 사이즈를 축소시켜 제2 영상 데이터(A1)를 생성한다. 촬영된 원본 영상인 제1 영상 데이터(A0)는 고화질의 영상이므로 통신부(170)의 대역폭으로 전송이 불가능할 경우가 있다. 따라서, 스케일러(123)가 촬영된 원본 영상인 제1 영상 데이터(A0)의 사이즈를 축소시켜 제2 영상 데이터(A1)를 생성함으로써, 촬영장치(100)는 통신부(170)의 대역폭으로 촬영된 영상을 브로드캐스트할 수 있게 된다. At this time, the scaler 123 generates the second image data A1 by reducing the size of the first image data A0 so that the communication unit 170 has a capacity equal to or less than the capacity that can be transmitted in real time. Since the first image data A0, which is a photographed original image, is a high-quality image, transmission may not be possible due to the bandwidth of the communication unit 170. [ Therefore, the image pickup apparatus 100 generates the second image data A1 by reducing the size of the first image data A0, which is the original image of the captured image, by the scaler 123, So that the image can be broadcasted.

비디오 인코더(125)는 제1 영상 데이터(V0) 및 제2 영상 데이터(V1)를 각각 인코딩하여 제1 영상 스트림(V2) 및 제2 영상 스트림(V3)을 출력한다. 구체적으로, 비디오 인코더(125)는 제1 영상 데이터(V0)와 제2 영상 데이터(V1)를 병렬적으로 인코딩한다. 이와 같은 병렬처리를 위해, 비디오 인코더(125)는 버퍼를 이용하여 구현된다. 구체적인 구조에 대해 도 2를 참고하여 설명한다. The video encoder 125 encodes the first video data V0 and the second video data V1 to output the first video stream V2 and the second video stream V3, respectively. Specifically, the video encoder 125 encodes the first video data V0 and the second video data V1 in parallel. For such parallel processing, the video encoder 125 is implemented using a buffer. The specific structure will be described with reference to Fig.

도 2는 본 발명의 일 실시예에 따른, 비디오 인코더(125)의 상세한 구조를 도시한 블럭도이다. 도 2에 도시된 바와 같이, 비디오 인코더(125)는 인코더(200), 제1 버퍼(210), 제2 버퍼(220), 제3 버퍼(230) 및 제4 버퍼(240)를 포함한다. 2 is a block diagram illustrating a detailed structure of a video encoder 125, in accordance with an embodiment of the present invention. As shown in FIG. 2, the video encoder 125 includes an encoder 200, a first buffer 210, a second buffer 220, a third buffer 230, and a fourth buffer 240.

제1 버퍼(210)는 제1 영상 데이터(V0)를 임시로 저장하고, 제2 버퍼(220)는 제2 영상 데이터(V1)를 임시로 저장한다. 그리고, 제1 버퍼(210) 및 제2 버퍼(220)는 제1 영상 데이터(V0)와 제2 영상 데이터(V1)를 소정의 단위(예를 들어, 프레임 단위)로 각각 번갈아 인코더(200)로 입력한다. The first buffer 210 temporarily stores the first image data V0 and the second buffer 220 temporarily stores the second image data V1. The first buffer 210 and the second buffer 220 alternately output the first video data V0 and the second video data V1 to the encoder 200 in units of a predetermined unit, .

인코더(200)는 제1 버퍼(210) 및 제2 버퍼(220)에서 각각 입력되는 영상 데이터를 인코딩하여 제3 버퍼(230) 및 제4 버퍼(240)에 각각 저장한다. 구체적으로, 인코더(200)는 제1 버퍼(210)에서 입력된 제1 영상 데이터(V0)를 인코딩하여, 인코딩된 제1 영상 스트림(V2)를 제3 버퍼(230)에 임시 저장한다. 그리고, 인코더(200)는 제2 버퍼(220)에서 입력된 제2 영상 데이터(V1)를 인코딩하여, 인코딩된 제2 영상 스트림(V3)을 제4 버퍼(240)에 임시 저장한다. The encoder 200 encodes input image data in the first buffer 210 and the second buffer 220 and stores the encoded image data in the third buffer 230 and the fourth buffer 240, respectively. Specifically, the encoder 200 encodes the first image data V0 input from the first buffer 210, and temporarily stores the encoded first image stream V2 in the third buffer 230. The encoder 200 encodes the second video data V1 input from the second buffer 220 and temporarily stores the encoded second video stream V3 in the fourth buffer 240. [

그리고, 비디오 인코더(125)의 제3 버퍼(230)는 제1 영상 스트림(V2)을 제1 먹스(140) 및 선택부(130)로 출력한다. 또한, 비디오 인코더(125)의 제4 버퍼(240)는 제2 영상 스트림(V3)을 선택부(130)로 출력한다. The third buffer 230 of the video encoder 125 outputs the first video stream V2 to the first multiplexer 140 and the selector 130. In addition, the fourth buffer 240 of the video encoder 125 outputs the second video stream V3 to the selection unit 130. [

다시 도 1을 참고하여 설명하면, 선택부(130)는 사용자의 조작에 따라, 제1 영상 스트림(V2) 및 제2 영상 스트림(V3) 중 어느 하나를 선택하여 제2 먹스(150)로 출력한다. 선택부(130)는 제어부(180)에 의해 제어되고, 제1 영상 스트림(V2) 및 제2 영상 스트림(V3) 중 어느 하나를 스위칭하여 제2 먹스(150)로 출력하는 스위치로 구현될 수도 있다. 1, the selecting unit 130 selects one of the first video stream V2 and the second video stream V3 according to the user's operation and outputs the selected video stream V2 to the second mux 150 do. The selection unit 130 may be implemented by a switch controlled by the control unit 180 and switching one of the first video stream V2 and the second video stream V3 to be output to the second mux 150 have.

통신부(170)의 대역폭이 제1 영상 스트림(V2)을 실시간 무선 전송 할 수 있을 정도로 충분하다면, 사용자는 제1 영상 스트림(V2)을 선택하도록 선택부(130)를 선택할 수도 있다. 하지만, 일반적으로 제1 영상 스트림(V2)은 고화질의 영상이기 때문에 실시간 무선전송이 불가능하다. 이 경우, 선택부(130)는 사이즈가 작아지도록 스캐일링된 제2 영상 스트림(V3)을 선택하도록 제어부(180)에 의해 제어될 수도 있다. If the bandwidth of the communication unit 170 is sufficient to wirelessly transmit the first video stream V2 in real time, the user may select the selection unit 130 to select the first video stream V2. However, since the first video stream V2 is generally a high-quality video, real-time wireless transmission is impossible. In this case, the selection unit 130 may be controlled by the control unit 180 to select the second video stream V3 scaled down in size.

제1 먹스(140)는 제1 영상 스트림(V2)을 오디오 스트림(A1)과 결합하여 제1 포맷의 영상파일로 변환한다. 그리고, 제1 먹스(140)는 제1 포맷의 영상파일을 저장부(160)에 출력하여 저장한다. 여기에서, 제1 포맷은 영상 파일의 저장에 적합한 형태의 포맷이 된다. 제1 포맷의 영상파일은 촬영된 원본 영상에 해당되는 파일이므로, 제1 먹스(140)는 제1 영상 스트림(V2)를 저장에 적합한 파일 포맷인 제1 포맷으로 변환하게 된다. 예를 들어, 제1 포맷은 MP4, AVI 등의 파일 포맷이 될 수 있다. MP4 포맷의 파일의 구조는 도 7a 및 도 7b에 도시되어 있으며, 이에 대해서는 추후 설명한다. The first mux 140 combines the first video stream V2 with the audio stream A1 and converts the first video stream V2 into a first format video file. The first mux 140 outputs the image file of the first format to the storage unit 160 and stores the same. Here, the first format is a format suitable for storing the video file. Since the image file of the first format is a file corresponding to the photographed original image, the first mux 140 converts the first image stream V2 into a first format that is a file format suitable for storage. For example, the first format may be a file format such as MP4 or AVI. The structure of a file in the MP4 format is shown in Figs. 7A and 7B, which will be described later.

또한, 제1 포맷의 영상 파일은 이미지 센서부(120)에서 촬상된 제1 영상 데이터와 동일한 해상도의 영상파일이다. 예를 들어, 제1 포맷의 영상파일은 FULL HD(High Definition)의 해상도를 가진 영상파일이 될 수도 있다. The image file of the first format is an image file having the same resolution as the first image data captured by the image sensor unit 120. [ For example, the image file of the first format may be an image file having a resolution of FULL HD (High Definition).

제2 먹스(150)는 제1 영상 스트림(V2)과 제2 영상 스트림(V3) 중 선택부(130)에 의해 선택된 영상 스트림을 오디오 스트림(A1)과 결합하여 제2 포맷의 영상 파일로 변환한다. 그리고, 제2 포맷의 영상파일은 실시간 무선 전송될 파일이므로, 제2 먹스(150)는 선택부(130)에서 입력되는 영상 스트림을 실시간 무선 전송에 적합한 파일 포맷인 제2 포맷으로 변환하게 된다. 제2 포맷은 실시간 무선 전송에 적합한 파일 포맷이다. 실시간 무선 전송에 적합한 파일 포맷의 파일 구조의 일 예는 도 8a 내지 도 8c에 도시되어 있으며, 이에 대해서는 추후 설명한다. 이와 같이, 제2 포맷의 영상 파일은 무선 전송를 위한 파일이므로, 통신부(170)가 실시간 무선 전송할 수 있는 용량 이하의 용량을 가지는 영상파일이 된다. The second mux 150 combines the video stream selected by the selector 130 among the first video stream V2 and the second video stream V3 with the audio stream A1 and converts the video stream into a video file of the second format do. The second mux 150 converts the video stream input from the selection unit 130 into a second format, which is a file format suitable for real-time wireless transmission, because the video file of the second format is a file to be wirelessly transmitted in real time. The second format is a file format suitable for real-time wireless transmission. An example of a file structure of a file format suitable for real-time wireless transmission is shown in Figs. 8A to 8C, which will be described later. Since the video file of the second format is a file for wireless transmission, the video file of the second format is a video file having a capacity equal to or smaller than the capacity that can be transmitted by the communication unit 170 in real time.

저장부(160)는 촬영장치(100)의 각종 기능을 수행하기 위한 프로그램들이 저장되어 있다. 또한, 저장부(160)는 제1 포맷의 영상파일 및 제2 포맷의 영상파일이 저장된다. 이와 같은, 저장부(160)는 하드디스크, 비휘발성 메모리 등으로 구현될 수 있다.The storage unit 160 stores programs for performing various functions of the photographing apparatus 100. In addition, the storage unit 160 stores the video file of the first format and the video file of the second format. The storage unit 160 may be implemented as a hard disk, a non-volatile memory, or the like.

통신부(170)는 인터넷 망 또는 외부 기기와 통신 가능하도록 연결된다. 통신부(170)는 제2 포맷의 영상파일을 무선 전송한다. 예를 들어, 통신부(170)는 영상을 실시간 무선 전송하는 서버로 인터넷 망을 통해 제2 포맷의 영상파일을 전송한다. 그러면, 브로드캐스트 서버에 연결된 다른 클라이언트들은 촬영 장치(100)에서 촬영된 영상을 실시간으로 시청할 수 있게 된다. 통신부(170)는 무선랜 등으로 구현될 수 있다. The communication unit 170 is connected to the Internet network or an external device so as to be communicable. The communication unit 170 wirelessly transmits the video file of the second format. For example, the communication unit 170 transmits a video file of a second format through the Internet to a server that transmits video in real time. Then, other clients connected to the broadcast server can view the images photographed by the photographing apparatus 100 in real time. The communication unit 170 may be implemented as a wireless LAN or the like.

조작부(190)는 사용자의 조작을 입력받아 제어부(180)로 전송한다. 구체적으로, 조작부(190)는 촬영장치(100) 상에 배치된 버튼, 또는 터치스크린이 될 수 있다.The operation unit 190 receives the operation of the user and transmits the operation to the control unit 180. Specifically, the operation unit 190 may be a button disposed on the photographing apparatus 100, or a touch screen.

제어부(180)는 촬영장치(100)의 전반적인 동작을 제어한다. 구체적으로, 제어부(180)는 사용자의 조작에 따라, 제2 먹스(150)가 제2 포맷의 영상파일을 저장부(160)에 저장하는 동작 및 제2 포맷의 영상파일을 통신부(170)를 통해 무선 전송 하는 동작 중 적어도 하나를 수행하도록 제어한다. 즉, 제어부(180)는 제2 포맷의 영상파일을 저장부(160)에 저장하기 위해, 제2 먹스(150)가 제2 포맷의 영상파일을 저장부(160)로 출력하도록 제어한다. 또한, 제어부(180)는 제2 포맷의 영상파일을 실시간 무선 전송하기 위해, 제2 먹스(150)가 제2 포맷의 영상 파일을 통신부(170)로 출력하도록 제어한다. The control unit 180 controls the overall operation of the photographing apparatus 100. The control unit 180 controls the second mux 150 to store the image file of the second format in the storage unit 160 and the image file of the second format to the communication unit 170 And wirelessly transmitting through the wireless link. That is, the control unit 180 controls the second mux 150 to output the image file of the second format to the storage unit 160 in order to store the image file of the second format in the storage unit 160. In addition, the controller 180 controls the second mux 150 to output the image file of the second format to the communication unit 170 to wirelessly transmit the image file of the second format in real time.

또한, 제어부(180)는 스케일러(123)가 사용자의 조작에 따라 제1 영상 데이터(A0)의 해상도 조절 및 특정 영역 추출 중 적어도 하나를 수행하여, 제1 영상 데이터(A0)의 사이즈를 조절하도록 제어한다. The controller 180 controls the scaler 123 to adjust the size of the first image data A0 by performing at least one of the resolution adjustment of the first image data A0 and the extraction of the specific region according to the user's operation .

그리고, 제어부(180)는 사용자의 조작에 따라 제1 영상 스트림(V2) 및 제2 영상 스트림(V3) 중 어느 하나를 선택하여 제2 먹스(150)로 출력하도록 제어한다. The controller 180 controls the second mux 150 to select one of the first video stream V2 and the second video stream V3 according to a user's operation.

이와 같은 구성의 촬영장치(100)는 촬영된 영상을 고화질 상태로 저장부(160)에 저장함과 동시에, 외부로 실시간 무선 전송을 할 수 있게 된다. 이에 따라, 사용자는 촬영장치(100)를 촬영하면서 인터넷을 통해 촬영된 영상을 실시간으로 전송 및 방송할 수 있게 된다. The photographing apparatus 100 having the above-described configuration can store the photographed image in the storage unit 160 in a high-quality state and simultaneously transmit the photographed image to the outside in real time. Accordingly, the user can transmit and broadcast the image photographed over the Internet in real time while photographing the photographing apparatus 100. [

이하에서는, 도 3을 참고하여, 촬영영상 제공방법에 대해 상세히 설명한다. 도 3은 본 발명의 일 실시예에 따른, 촬영영상 제공방법을 설명하기 위해 제공되는 흐름도이다. Hereinafter, a photographed image providing method will be described in detail with reference to FIG. 3 is a flowchart illustrating a method of providing a photographed image according to an exemplary embodiment of the present invention.

촬영장치(100)는 이미지 센서부(120)를 통해 피사체를 촬상하여 제1 영상 데이터(V0)를 생성 및 출력한다(S310). 즉, 이미지 센서부(120)는 빛을 전기적 신호인 제1 영상 데이터(V0)로 전환하는 기능을 수행한다. The image capturing apparatus 100 captures an object through the image sensor unit 120 and generates and outputs first image data V0 (S310). That is, the image sensor unit 120 converts light into first image data V0, which is an electrical signal.

그 후에, 촬영장치(100)는 제1 영상 데이터(A0)의 사이즈를 조절하여 제2 영상 데이터(A1)을 생성 및 출력한다(S320). 이 때, 촬영장치(100)는 제1 영상 데이터(A0)의 해상도 조절 및 특정 영역 추출 중 적어도 하나를 수행하여, 제1 영상 데이터(A0)의 사이즈를 조절하게 된다. Thereafter, the photographing apparatus 100 generates and outputs the second image data A1 by adjusting the size of the first image data A0 (S320). At this time, the photographing apparatus 100 performs at least one of the resolution adjustment of the first image data A0 and the extraction of the specific region to adjust the size of the first image data A0.

구체적으로, 촬영장치(100)는 제1 영상 데이터(A0)의 해상도를 고해상도에서 저해상도로 조절함으로써, 제1 영상 데이터(A0)보다 파일 사이즈가 작은 제2 영상 데이터(A1)를 생성하게 된다. 예를 들어, 촬영장치(100)는 제1 영상 데이터(A0)의 해상도를 FULL HD(High Definition)에서 SD(Standard Definition)로 조절하여 제2 영상 데이터(A1)을 생성할 수도 있다. Specifically, the photographing apparatus 100 generates the second image data A1 having a smaller file size than the first image data A0 by adjusting the resolution of the first image data A0 from a high resolution to a low resolution. For example, the photographing apparatus 100 may generate the second image data A1 by adjusting the resolution of the first image data A0 from FULL HD (High Definition) to SD (Standard Definition).

또한, 촬영장치(100)는 제1 영상 데이터(A0)의 일부 영역을 추출함으로써, 제1 영상 데이터(A0)보다 파일 사이즈가 작은 제2 영상 데이터(A1)를 생성할 수도 있다. 예를 들어, 촬영장치(100)는 제1 영상 데이터(A0)에서 사용자에 의해 선택된 영역을 추출하여, 추출된 영역의 영상 데이터를 제2 영상 데이터(A1)로 생성 및 추출할 수도 있다. The photographing apparatus 100 may also generate a second image data A1 having a smaller file size than the first image data A0 by extracting a part of the first image data A0. For example, the photographing apparatus 100 may extract the region selected by the user in the first image data A0 and generate and extract the image data of the extracted region as the second image data A1.

따라서, 촬영장치(100)는 사용자에 의한 선택에 따라, 제1 영상 데이터(A0)의 해상도를 조절하거나 특정 영역을 추출하여, 사이즈가 조절된 제2 영상 데이터(A1)을 생성 및 출력하게 된다. Accordingly, the photographing apparatus 100 adjusts the resolution of the first image data A0 or extracts a specific region according to the selection by the user, and generates and outputs the second image data A1 whose size is adjusted .

이 때, 촬영장치(100)는 통신부(170)가 실시간 무선으로 전송할 수 있는 용량 이하의 용량을 가지도록, 제1 영상 데이터(A0)의 사이즈를 축소시켜 제2 영상 데이터(A1)를 생성한다. 촬영된 원본 영상인 제1 영상 데이터(A0)는 고화질의 영상이므로 통신부(170)의 대역폭으로 전송이 불가능할 경우가 있다. 따라서, 촬영장치(100)가 촬영된 원본 영상인 제1 영상 데이터(A0)의 사이즈를 축소시켜 제2 영상 데이터(A1)를 생성함으로써, 촬영장치(100)는 통신부(170)의 대역폭으로 촬영된 영상을 무선으로 전송할 수 있게 된다. At this time, the photographing apparatus 100 generates the second image data A1 by reducing the size of the first image data A0 so that the communication unit 170 has a capacity equal to or smaller than the capacity that can be transmitted in real-time wireless . Since the first image data A0, which is a photographed original image, is a high-quality image, transmission may not be possible due to the bandwidth of the communication unit 170. [ Therefore, the photographing apparatus 100 generates the second image data A1 by reducing the size of the first image data A0, which is the original image of the photographed image, It is possible to wirelessly transmit the image.

그 후에, 촬영장치(100)는 제1 영상 데이터(V0) 및 제2 영상 데이터(V1)를 각각 인코딩하여 제1 영상 스트림(V2) 및 제2 영상 스트림(V3)을 생성 및 출력한다(S330). 구체적으로, 촬영장치(100)는 제1 영상 데이터(V0)와 제2 영상 데이터(V1)를 병렬적으로 인코딩한다.Thereafter, the photographing apparatus 100 generates and outputs the first video stream V2 and the second video stream V3 by encoding the first video data V0 and the second video data V1, respectively (S330 ). Specifically, the photographing apparatus 100 encodes the first image data V0 and the second image data V1 in parallel.

촬영장치(100)는 제1 영상 스트림(V2)을 오디오 스트림(A1)과 결합하여 제1 포맷의 영상파일로 변환한다(S340). 여기에서, 제1 포맷은 영상 파일의 저장에 적합한 형태의 포맷이 된다. 제1 포맷의 영상파일은 촬영된 원본 영상에 해당되는 파일이므로, 촬영장치는 제1 영상 스트림(V2)를 저장에 적합한 파일 포맷인 제1 포맷으로 변환하게 된다. 예를 들어, 제1 포맷은 MP4, AVI 등의 파일 포맷이 될 수 있다. MP4 포맷의 파일의 구조는 도 7a 및 도 7b에 도시되어 있으며, 이에 대해서는 추후 설명한다. The image pickup apparatus 100 combines the first video stream V2 with the audio stream A1 and converts the first video stream V2 into an image file of the first format at step S340. Here, the first format is a format suitable for storing the video file. Since the video file of the first format is a file corresponding to the photographed original video, the photographing apparatus converts the first video stream V2 into the first format, which is a file format suitable for storage. For example, the first format may be a file format such as MP4 or AVI. The structure of a file in the MP4 format is shown in Figs. 7A and 7B, which will be described later.

그리고, 촬영장치(100)는 사용자의 조작에 따라, 제1 영상 스트림(V2) 및 제2 영상 스트림(V3) 중 어느 하나를 선택한다(S350). 통신부(170)의 대역폭이 제1 영상 스트림(V2)을 실시간 무선 전송 할 수 있을 정도로 충분하다면, 사용자는 제1 영상 스트림(V2)을 선택하도록 촬영장치(100)를 조작할 수도 있다. 하지만, 일반적으로 제1 영상 스트림(V2)은 고화질의 영상이기 때문에 실시간 무선 전송가 불가능하다. 이 경우, 촬영장치(100)는 사이즈가 작아지도록 스캐일링된 제2 영상 스트림(V3)을 선택할 수도 있다. Then, the photographing apparatus 100 selects either the first video stream V2 or the second video stream V3 according to the user's operation (S350). If the bandwidth of the communication unit 170 is sufficient to wirelessly transmit the first video stream V2 in real time, the user may operate the photographing apparatus 100 to select the first video stream V2. However, since the first video stream V2 is generally a high-quality video, real-time wireless transmission is impossible. In this case, the photographing apparatus 100 may select the second video stream V3 scaled down in size.

그리고, 촬영장치(100)는 제1 영상 스트림(V2)과 제2 영상 스트림(V3) 중 선택된 영상 스트림을 오디오 스트림(A1)과 결합하여 제2 포맷의 영상 파일로 변환한다(S360). 제2 포맷의 영상파일은 실시간 무선 전송될 파일이므로, 촬영장치(100)는 선택부(130)에서 입력되는 영상 스트림을 실시간 무선 전송에 적합한 파일 포맷인 제2 포맷으로 변환하게 된다. 제2 포맷은 실시간 무선 전송에 적합한 파일 포맷이다. 실시간 무선 전송에 적합한 파일 포맷의 파일 구조의 일 예는 도 8a 내지 도 8c에 도시되어 있으며, 이에 대해서는 추후 설명한다. 이와 같이, 제2 포맷의 영상 파일은 무선전송을 위한 파일이므로, 통신부(170)가 실시간 무선 전송할 수 있는 용량 이하의 용량을 가지는 영상파일이 된다. The photographing apparatus 100 combines the selected video stream of the first video stream V2 and the second video stream V3 with the audio stream A1 and converts the selected video stream into a video file of the second format S360. Since the image file of the second format is a file to be wirelessly transmitted in real time, the image pickup apparatus 100 converts the image stream input from the selection unit 130 into a second format which is a file format suitable for real-time wireless transmission. The second format is a file format suitable for real-time wireless transmission. An example of a file structure of a file format suitable for real-time wireless transmission is shown in Figs. 8A to 8C, which will be described later. Since the video file of the second format is a file for wireless transmission, the video file of the second format is a video file having a capacity equal to or smaller than the capacity that can be transmitted by the communication unit 170 in real time.

그 후에, 촬영장치(100)는 제1 포맷의 영상파일 및 제2 포맷의 영상파일을 저장한다(S370).Thereafter, the photographing apparatus 100 stores the image file of the first format and the image file of the second format (S370).

그리고, 촬영장치(100)는 인터넷 망 등의 통신망을 통해 제2 포맷의 영상파일을 무선 전송한다. 예를 들어, 촬영장치(100)는 영상을 실시간 브로드캐스트하는 서버로 제2 포맷의 영상파일을 통신부(170)를 통해 전송한다. 그러면, 브로드캐스트 서버에 연결된 다른 클라이언트들은 촬영 장치(100)에서 촬영된 영상을 실시간으로 시청할 수 있게 된다.The photographing apparatus 100 wirelessly transmits the image file of the second format through a communication network such as the Internet network. For example, the photographing apparatus 100 transmits the image file of the second format to the server that broadcasts the image in real time through the communication unit 170. Then, other clients connected to the broadcast server can view the images photographed by the photographing apparatus 100 in real time.

이와 같은 과정을 통해, 촬영장치(100)는 촬영된 영상을 고화질 상태로 저장부(160)에 저장함과 동시에, 외부로 실시간 브로드캐스트할 수 있게 된다. 이에 따라, 사용자는 촬영장치(100)를 촬영하면서 인터넷을 통해 촬영된 영상을 실시간으로 전송 및 방송할 수 있게 된다. Through this process, the photographing apparatus 100 can store the photographed image into the storage unit 160 in a high-quality state and broadcast it to the outside in real time. Accordingly, the user can transmit and broadcast the image photographed over the Internet in real time while photographing the photographing apparatus 100. [

도 4는 본 발명의 일 실시예에 따른, 촬영 장치(100)에 의해 촬영된 영상이 실시간 방송되는 것을 도시한 도면이다. FIG. 4 is a diagram showing that an image photographed by the photographing apparatus 100 is broadcasted in real time according to an embodiment of the present invention.

도 4에 도시된 바와 같이, 촬영장치(100)는 피사체를 촬영하여 FULL HD 화질의 촬영된 원본 영상을 저장부(160)에 저장한다. 그리고, 촬영장치(100)는 촬영된 FULL HD 화질의 영상을 SD 화질의 영상으로 스케일링하고, 스케일링된 SD 화질의 영상을 외부 기기로 무선 전송하게 된다. 따라서, 도 4에 도시된 바와 같이, 촬영장치(100)에서 촬영된 영상이 SD 화질로 외부 디스플레이 장치에서 디스플레이 되는 것을 확인할 수 있다. As shown in FIG. 4, the photographing apparatus 100 photographs a subject and stores the photographed original image of full HD image quality in the storage unit 160. Then, the photographing apparatus 100 scales the photographed full HD image with the SD image quality, and wirelessly transmits the scaled SD image to the external device. Therefore, as shown in FIG. 4, it can be confirmed that the image photographed by the photographing apparatus 100 is displayed on the external display device as the SD image quality.

이와 같이, 촬영장치(100)는 고화질의 촬영 원본 영상을 저장함과 동시에 무선 전송에 적합한 저화질의 촬영 영상을 외부로 브로드캐스트할 수 있게 된다. As described above, the image capturing apparatus 100 can store a high-quality photographed original image and simultaneously broadcast a low-quality photographed image suitable for wireless transmission.

이하에서는, 도 5 및 도 6을 참고하여, 고화질의 영상을 스케일링하는 방식에 관하여 설명한다. Hereinafter, a method of scaling a high-quality image will be described with reference to Figs. 5 and 6. Fig.

도 5는 본 발명의 일 실시예에 따른, 촬영된 원본 영상과 스케일러(123)에 의해 해상도가 변환된 영상을 도시한 도면이다. 도 5는 고화질의 촬영 원본 영상인 제1 영상 데이터(500)가 해상도 변환을 통해 저화질의 제2 영상 데이터(510)로 스케일링되는 것을 도시하고 있다. FIG. 5 is a view showing an original image taken and a resolution-converted image by the scaler 123 according to an embodiment of the present invention. FIG. 5 illustrates that the first image data 500, which is a high-quality photographed original image, is scaled to low-quality second image data 510 through resolution conversion.

도 5에 도시된 바와 같이, 촬영장치(100)의 스케일러(123)는 1920*1080의 해상도를 가지는 제1 영상 데이터(500)를 720*480의 해상도를 가지는 제2 영상 데이터(510)로 스케일링하여, 사이즈가 축소된 제2 영상 데이터(510)를 생성할 수도 있다. 5, the scaler 123 of the photographing apparatus 100 scales the first image data 500 having a resolution of 1920 * 1080 with the second image data 510 having a resolution of 720 * 480 , Thereby generating second image data 510 whose size is reduced.

도 6은 본 발명의 일 실시예에 따른, 촬영된 원본 영상과 스케일러(123)에 의해 일부 영역(605)이 추출된 영상을 도시한 도면이다. 도 6은 고화질의 촬영 원본 영상인 제1 영상 데이터(600)가 일부 영역(605) 추출을 통해 작은 크기의 제2 영상 데이터(610)로 스케일링되는 것을 도시하고 있다. FIG. 6 is a diagram showing an original image taken and a region in which a region 605 is extracted by the scaler 123 according to an embodiment of the present invention. 6 shows that the first image data 600, which is a high-quality photographed original image, is scaled by the second image data 610 of a small size through the extraction of a partial region 605. [

도 6에 도시된 바와 같이, 촬영장치(100)의 스케일러(123)는 특정 크기의 사이즈를 가지는 제1 영상 데이터(600)의 일부 영역(605)을 추출하여 제2 영상 데이터(610)로 스케일링하여, 사이즈가 축소된 제2 영상 데이터(610)를 생성할 수도 있다. 이 때, 일부 영역(605)은 사용자의 조작에 의해 선택될 수 있으며, 기설정된 영역이 될 수도 있다. 6, the scaler 123 of the photographing apparatus 100 extracts a partial area 605 of the first image data 600 having a specific size and scales it with the second image data 610, , Thereby generating second image data 610 whose size is reduced. At this time, the partial area 605 may be selected by the user's operation and may be a predetermined area.

이하에서는, 도 7a 내지 도 8c를 참고하여, 제1 먹스(140) 및 제2 먹스(150)에 의해 생성되는 제1 포맷 및 제2 포맷에 대해 상세히 설명한다. Hereinafter, the first format and the second format generated by the first and second muxes 140 and 150 will be described in detail with reference to FIGS. 7A to 8C.

도 7a 및 도 7b는 본 발명의 일 실시예에 따른, MP4 포맷의 영상파일의 구조를 도시한 도면이다. 도 7a는 MP4 포맷의 ISO File의 파일시스템 구조를 도시한 도면이다. 그리고, 도 7b는 MP4 포맷의 ISO File 내의 Moov의 구조를 도시한 도면이다. 이와 같은 파일시스템을 가진 MP4 포맷의 영상파일은 저장에 적합한 영상파일 포맷에 해당된다. 7A and 7B are diagrams showing the structure of an MP4 format image file according to an embodiment of the present invention. 7A is a diagram showing a file system structure of an ISO File of the MP4 format. 7B is a diagram showing the structure of Moov in the ISO File of the MP4 format. An MP4 format image file having such a file system corresponds to an image file format suitable for storage.

도 8a 내지 도 8c는 본 발명의 일 실시예에 따른, 실시간 브로드캐스팅을 위한 영상 파일의 포맷의 구조를 도시한 도면이다. 8A to 8C are diagrams illustrating a format of a video file format for real-time broadcasting according to an embodiment of the present invention.

도 8a는 본 발명의 일 실시예에 따른, 실시간 브로드캐스팅이 시작될 때의 비디오 인코더(Video Encoder)(125), 오디오 인코더(Audio Encoder)(115), 및 파일 포맷 먹스(File Format Mux)(즉, 제2 먹스(150))의 동작을 도시한 도면이다. 도 8a에 도시된 바와 같이, 실시간 무선 전송가 시작되면, 비디오 정보 데이터(Video Info Data) 및 오디오 정보 데이터(Audio Info Data)가 가장 먼저 출력된다. 그리고, 그 후에 비디오 데이터 및 오디오 데이터가 함께 출력되게 된다. 8A illustrates a video encoder 125, an audio encoder 115, and a file format mux (i.e., a file format mux) at the start of real time broadcasting according to an embodiment of the present invention , The second mux 150). As shown in FIG. 8A, when real-time wireless transmission starts, video information data (Video Info Data) and audio information data (Audio Info Data) are output first. After that, video data and audio data are output together.

도 8b는 실시간 무선 전송에 적합한 파일 시스템의 데이터 구조를 도시한 도면이다. 그리고, 도 8c는 Massage_T의 구조를 도시한 도면이다.8B is a diagram showing a data structure of a file system suitable for real-time wireless transmission. 8C is a diagram showing the structure of Massage_T.

제2 포맷의 영상파일은 도 8b 및 도 8c의 구조를 가진 형태로 구현될 수도 있다. 또한, 이외에도 제2 포맷의 영상파일은 실시간 무선 전송를 할 수 있는 파일 포맷이라면 어떤 파일 포맷이라도 적용될 수 있음은 물론이다. The image file of the second format may be implemented in a form having the structure of FIGS. 8B and 8C. In addition, it is needless to say that a file format of the second format can be applied to any file format as long as it can perform real-time wireless transmission.

한편, 본 실시예에서, 촬영장치는 동영상을 촬영할 수 있는 장치라면 어떤 것이라도 적용될 수 있으며, 예를 들어, 캠코더, 비디오 카메라 등이 될 수 있음은 물론이다. Meanwhile, in the present embodiment, the photographing apparatus may be any apparatus capable of photographing a moving image, and may be, for example, a camcorder, a video camera, or the like.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and detail may be made therein without departing from the spirit and scope of the present invention.

Claims (16)

촬영장치에 있어서,
움직이는 피사체를 촬상하여 전기 신호로 전환하고, 제1 영상 데이터로 상기 전기 신호를 출력하는 이미지 센서부;
상기 제1 영상 데이터의 축소된 사이즈를 갖는 제2 영상 데이터를 생성하는 스케일러;
상기 제2 영상 데이터를 전송하는 통신부;
상기 제1 영상 데이터 및 상기 제2 영상 데이터를 수신하고 상기 제1 영상 데이터와 상기 제2 영상 데이터에 대응하는 복수의 영상 스트림을 생성하는 영상 인코더부; 및
상기 제1 영상 데이터를 저장하는 동안 상기 제2 영상 데이터를 외부 장치로 전송하도록 상기 통신부를 제어하는 제어부;를 포함하고,
상기 영상 인코더부는,
인코더;
상기 이미지 센서부로부터 출력된 상기 제1 영상 데이터를 일시적으로 저장하는 제1 버퍼; 및
상기 스케일러로부터 출력된 상기 제2 영상 데이터를 일시적으로 저장하는 제2 버퍼;를 더 포함하는 촬영장치.In a photographing apparatus,
An image sensor unit for picking up a moving subject and switching to an electric signal, and outputting the electric signal as first image data;
A scaler for generating second image data having a reduced size of the first image data;
A communication unit for transmitting the second image data;
A video encoder for receiving the first video data and the second video data and generating a plurality of video streams corresponding to the first video data and the second video data; And
And a control unit for controlling the communication unit to transmit the second image data to an external device while storing the first image data,
Wherein the image encoder unit comprises:
An encoder;
A first buffer for temporarily storing the first image data output from the image sensor unit; And
And a second buffer for temporarily storing the second image data output from the scaler. 제1항에 있어서,
상기 복수의 영상 스트림 중 하나를 상기 통신부에 의해 전송되기 위한 영상파일로 변환하는 멀티플렉서; 를 더 포함하는 것을 특징으로 하는 촬영장치.The method according to claim 1,
A multiplexer for converting one of the plurality of video streams into a video file to be transmitted by the communication unit; Further comprising: 제2항에 있어서,
상기 제1 영상 데이터에 대응하는 상기 복수의 영상 스트림은 저장을 위한 포맷으로 전환되고,
상기 제2 영상 데이터에 대응되는 상기 복수의 영상 스트림은 전송을 위한 포맷으로 전환되는 것을 특징으로 하는 촬영장치.3. The method of claim 2,
The plurality of video streams corresponding to the first video data are converted into a format for storage,
And the plurality of video streams corresponding to the second video data are converted into a format for transmission. 제2항에 있어서,
상기 멀티플렉서에 의해 전환하기 위하여 상기 복수의 영상 스트림 중 영상 스트림을 선택하는 선택부;를 더 포함하고,
상기 제어부는,
사용자의 기 프로그램된 옵션 또는 조작에 따라 상기 선택부의 출력을 제어하는 것을 특징으로 하는 촬영장치.3. The method of claim 2,
And a selector for selecting a video stream among the plurality of video streams for switching by the multiplexer,
Wherein,
And controls the output of the selection unit according to a user's previously programmed option or operation. 제2항에 있어서,
상기 제1 영상 데이터에 대응하는 제1 영상파일은 moov box 및 mdat box를 포함하는 것을 특징으로 하는 촬영장치.3. The method of claim 2,
Wherein the first image file corresponding to the first image data includes a moov box and an mdat box. 제1항에 있어서,
상기 제1 및 제2 버퍼는,
상기 제1 영상 데이터 및 상기 제2 영상 데이터를 상기 인코더로 번갈아 입력하는 것을 특징으로 하는 촬영장치.The method according to claim 1,
Wherein the first and second buffers comprise:
And the first image data and the second image data are alternately input to the encoder. 촬영 영상 제공방법에 있어서,
제1 영상 데이터로 움직이는 이미지를 전기 신호로 전환하는 단계;
상기 제1 영상 데이터를 제1 포맷의 영상 파일로 전환하는 단계;
상기 제1 영상 데이터의 사이즈를 축소하여 제2 영상 데이터를 생성하는 단계;
상기 제2 영상 데이터를 상기 제1 포맷과 상이한 제2 포맷의 영상 파일로 전환하는 단계;
상기 제2 영상 데이터를 제2 영상 스트림으로 인코딩하는 단계; 및
상기 제1 영상 데이터를 저장하는 동안 상기 제2 포맷의 영상 파일을 전송하는 단계;를 포함하고,
상기 인코딩하는 단계는,
상기 제1 영상 데이터를 인코더부의 제1 버퍼에 일시적으로 저장하는 단계; 및
상기 제2 영상 데이터를 상기 인코더부의 제2 버퍼에 일시적으로 저장하는 단계;를 더 포함하는 촬영 영상 제공방법.A method of providing a photographed image,
Converting an image moving with the first image data into an electric signal;
Converting the first image data into a first format image file;
Generating second image data by reducing a size of the first image data;
Converting the second video data into a video file of a second format different from the first format;
Encoding the second video data into a second video stream; And
And transmitting the image file of the second format while storing the first image data,
Wherein the encoding step comprises:
Temporarily storing the first image data in a first buffer of the encoder unit; And
And temporarily storing the second image data in a second buffer of the encoder unit. 제7항에 있어서,
상기 제2 영상 데이터를 전환하는 단계는,
상기 제2 영상 스트림 및 오디오 스트림을 결합하고 결합된 스트림을 상기 제2 포맷의 상기 영상 파일로 전환하는 단계;를 더 포함하는 것을 특징으로 하는 촬영 영상 제공방법.8. The method of claim 7,
Wherein the step of switching the second image data comprises:
And combining the second video stream and the audio stream and converting the combined stream into the video file of the second format. 제7항에 있어서,
상기 제1 버퍼 및 제2 버퍼는,
상기 제1 영상 데이터 및 상기 제2 영상 데이터를 상기 인코더부로 번갈아 입력하는 것을 특징으로 하는 촬영 영상 제공방법.8. The method of claim 7,
Wherein the first buffer and the second buffer include:
Wherein the first image data and the second image data are alternately input to the encoder unit. 제8항에 있어서,
상기 제2 포맷의 영상 파일은 상기 영상 파일의 다른 부분에 대응하는 데이터 및 타이밍(timing) 정보를 갖는 트랙(track)을 포함하는 것을 특징으로 하는 촬영 영상 제공방법.9. The method of claim 8,
Wherein the image file of the second format includes a track having data and timing information corresponding to another portion of the image file. 촬영 영상 제공방법에 있어서,
제1 포맷의 이미지에 대한 제1 영상 데이터 및 제2 포맷의 이미지에 대한 제2 영상 데이터를 생성하는 단계;
상기 제1 영상 데이터를 저장하는 단계;
상기 제1 영상 데이터를 저장하는 단계가 이루어지는 동안 상기 제2 영상 데이터의 적어도 일부를 전송하는 단계; 및
상기 제1 영상 데이터 및 상기 제2 영상 데이터를 인코딩하는 단계;를 포함하고,
상기 인코딩하는 단계는,
상기 제1 영상 데이터를 인코더부의 제1 버퍼에 일시적으로 저장하는 단계; 및
상기 제2 영상 데이터를 상기 인코더부의 제2 버퍼에 일시적으로 저장하는 단계;를 더 포함하는 촬영 영상 제공방법.A method of providing a photographed image,
Generating first image data for an image of a first format and second image data for an image of a second format;
Storing the first image data;
Transmitting at least a portion of the second image data while storing the first image data; And
And encoding the first image data and the second image data,
Wherein the encoding step comprises:
Temporarily storing the first image data in a first buffer of the encoder unit; And
And temporarily storing the second image data in a second buffer of the encoder unit. 제11항에 있어서,
상기 제1 영상의 해상도를 조절하거나 상기 제1 영상 데이터의 부분을 추출하는 것 중 적어도 하나에 의해 상기 제1 영상 데이터로부터 상기 제2 영상 데이터를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 촬영 영상 제공방법.12. The method of claim 11,
And generating the second image data from the first image data by at least one of adjusting the resolution of the first image or extracting a portion of the first image data. Image providing method. 제12항에 있어서,
상기 부분을 추출하는 것은 기 프로그램된 것을 특징으로 하는 촬영 영상 제공방법.13. The method of claim 12,
And extracting the portion is pre-programmed. 제12항에 있어서,
상기 부분을 추출하는 것은 상기 추출하는 단계가 이루어지는 동안 사용자 명령에 의한 것을 특징으로 하는 촬영 영상 제공방법.13. The method of claim 12,
Wherein the extracting of the portion is by a user command during the extracting step. 삭제delete 삭제delete
KR1020150149460A 2015-10-27 2015-10-27 Camera apparatus and method for providing recorded image KR101676400B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150149460A KR101676400B1 (en) 2015-10-27 2015-10-27 Camera apparatus and method for providing recorded image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150149460A KR101676400B1 (en) 2015-10-27 2015-10-27 Camera apparatus and method for providing recorded image

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020090109686A Division KR101611531B1 (en) 2009-11-13 2009-11-13 Camera apparatus and method for providing recorded image

Publications (2)

Publication Number Publication Date
KR20150126335A KR20150126335A (en) 2015-11-11
KR101676400B1 true KR101676400B1 (en) 2016-11-15

Family

ID=54605764

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150149460A KR101676400B1 (en) 2015-10-27 2015-10-27 Camera apparatus and method for providing recorded image

Country Status (1)

Country Link
KR (1) KR101676400B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003134435A (en) * 2001-10-30 2003-05-09 Matsushita Electric Ind Co Ltd Transmitting method and receiving method for video data and video monitor system
JP2004343595A (en) 2003-05-19 2004-12-02 Nec Corp Mobile terminal device with camera and photographic method
US20050155071A1 (en) * 2002-04-26 2005-07-14 Youji Notoya Demultiplexing device

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW514876B (en) * 2000-01-31 2002-12-21 Sony Corp Digital picture signal processing apparatus, method thereof, digital picture recording apparatus, method thereof, transmitting method thereof, and data record medium thereof
KR101611531B1 (en) * 2009-11-13 2016-04-12 삼성전자주식회사 Camera apparatus and method for providing recorded image
JP2013229860A (en) * 2012-03-28 2013-11-07 Panasonic Corp Recording device and recording system
KR20140092571A (en) * 2013-01-16 2014-07-24 고려대학교 산학협력단 Apparatus and method for data transmission

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003134435A (en) * 2001-10-30 2003-05-09 Matsushita Electric Ind Co Ltd Transmitting method and receiving method for video data and video monitor system
US20050155071A1 (en) * 2002-04-26 2005-07-14 Youji Notoya Demultiplexing device
JP2004343595A (en) 2003-05-19 2004-12-02 Nec Corp Mobile terminal device with camera and photographic method

Also Published As

Publication number Publication date
KR20150126335A (en) 2015-11-11

Similar Documents

Publication Publication Date Title
JP6240642B2 (en) Method and apparatus for providing image of image capturing apparatus
KR101611531B1 (en) Camera apparatus and method for providing recorded image
KR101905648B1 (en) Apparatus and method for shooting a moving picture of camera device
JP4292891B2 (en) Imaging apparatus, image recording apparatus, and image recording method
JP3839526B2 (en) Digital camera
EP2629503B1 (en) Apparatus and method for transmitting a frame image of a camera
KR20070121566A (en) Picture processing apparatus, imaging apparatus and method of the same
JP4564190B2 (en) Digital camera suitable for image input in video conference system
KR100770835B1 (en) Image data processing system and it's method
KR20040047524A (en) Moving picture recording and sending device
WO2011099254A1 (en) Data processing unit and data encoding device
KR101280443B1 (en) apparatus of processing regional image and method thereof
JP2008109364A (en) Camera server system, processing method for data, and camera server
US9779099B2 (en) Method of processing data, and photographing apparatus using the method
KR101676400B1 (en) Camera apparatus and method for providing recorded image
JP4371170B2 (en) Imaging apparatus, image recording apparatus, and image recording method
US20170164012A1 (en) Remote-controlled media studio
JP2009296135A (en) Video monitoring system
JP4612826B2 (en) Storage device, storage method, computer-readable storage medium, and program
JP2009189065A (en) Video camera and information transmitting method
KR20160062488A (en) Image transmission apparatus
JPH11298873A (en) Video conference system, image input device and image inputting method
WO2007043227A1 (en) Camera, video recorder, and camera system
JP2017118207A (en) Radio communication device and program
JP2012120011A (en) Moving image communication apparatus, digital video camera, recording media, and semiconductor integrated circuit

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191030

Year of fee payment: 4