KR100678035B1 - 휴대단말기의 촬영자 식별장치 및 방법 - Google Patents

휴대단말기의 촬영자 식별장치 및 방법 Download PDF

Info

Publication number
KR100678035B1
KR100678035B1 KR1020040065364A KR20040065364A KR100678035B1 KR 100678035 B1 KR100678035 B1 KR 100678035B1 KR 1020040065364 A KR1020040065364 A KR 1020040065364A KR 20040065364 A KR20040065364 A KR 20040065364A KR 100678035 B1 KR100678035 B1 KR 100678035B1
Authority
KR
South Korea
Prior art keywords
image data
image
information
watermark
camera
Prior art date
Application number
KR1020040065364A
Other languages
English (en)
Other versions
KR20050115805A (ko
Inventor
권성근
박전만
강동한
신재관
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US11/145,065 priority Critical patent/US7657056B2/en
Publication of KR20050115805A publication Critical patent/KR20050115805A/ko
Application granted granted Critical
Publication of KR100678035B1 publication Critical patent/KR100678035B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3226—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of identification information or the like, e.g. ID code, index, title, part of an image, reduced-size image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

카메라를 구비하는 휴대단말기에서, 카메라 촬영모드시 카메라에서 촬영되는 영상데이타를 설정된 코딩방식으로 코딩하며, 코딩된 영상데이타 스트림의 헤더 정보를 생성하여 데이터 스트림에 삽입하고, 촬영자 정보를 워터마크로 생성한 후 헤더 및 코딩된 데이터 스트림에 워터마크를 삽입하며, 워터마크가 삽입된 데이터 스트림을 저장한다.
워터마크, 카메라, 코덱,

Description

휴대단말기의 촬영자 식별장치 및 방법{DEVICE AND METHOD FOR IDENTIFYING PHOTOGRAPHER OF IMAGE IN TERMINAL USING CAMERA}
도 1은 본 발명의 실시예에 따른 휴대단말기의 구성을 도시하는 도면
도 2는 도 1에서 영상처리부의 구성을 도시하는 도면
도 3은 도 2에서 영상코덱의 구성을 도시하는 도면으로, 본 발명의 실시예에 따라 촬영된 영상에 촬영자의 식별정보를 삽입하는 구성을 도시하는 도면
도 4는 본 발명의 실시예에 따라 촬영자 식별정보가 삽입된 JPEG 스트림의 구조를 도시하는 도면
도 5는 본 발명의 실시예에 따라 촬영자 식별정보가 삽입된 JPEG2000 스트림 구조를 도시하는 도면
도 6은 본 발명의 실시예에 따라 촬영자 식별정보가 삽입된 모션 JPEG 스트림의 구조를 도시하는 도면
도 7은 본 발명의 실시예에 다라 촬영자 식별정보가 삽입된 MPEG4 스트림의 구조를 도시하는 도면
도 8은 본 발명의 실시예에 따라 촬영자 식별정보가 삽입된 H.264 스트림의 구조를 도시하는 도면
도 9는 도 2에서 영상코덱의 구성을 도시하는 도면으로, 본 발명의 실시예에 따라 촬영자의 식별정보가 포함된 영상데이타에서 촬영자의 식별정보를 추출하는 구성을 도시하는 도면
본 발명은 카메라를 부착하는 단말기의 영상처리장치 및 방법에 관한 것으로, 특히 촬영된 영상 이미지에 사용자의 식별정보를 삽입하는 장치 및 방법에 관한 것이다.
일반적으로 영상처리장치는 영상을 촬영하는 카메라와, 상기 카메라로부터 촬영된 영상신호를 표시하는 표시부를 구비한다. 여기서 상기 카메라는 CCD나 CMOS 센서를 사용할 수 있으며, 표시부는 LCD를 사용할 수 있다. 상기 카메라 장치의 소형화에 따라 상기 영상을 촬영하는 장치는 점점 소형화되는 추세에 있다. 그리고 현재 소형화된 디지털 카메라들이 많이 보급되고 있는 추세이다. 또한 상기와 같은 카메라 장치는 휴대용 단말기에도 장착되는 추세이다. 상기 휴대용 단말기는 영상 화면을 촬영하여 동영상(moving picture) 및 정지영상(still picture)으로 표시할 수 있으며, 또한 촬영된 영상 화면을 기지국에 전송할 수도 있다.
상기와 같이 소형화된 디지털 카메라들은 휴대 및 촬영이 간편하므로, 그 사 용이 점점 증가하는 추세이다. 또한 상기 소형 카메라장치를 이용한 촬영은 전자적으로 이루어지므로, 사진 촬영시 촬영시 소리가 나지 않는다. 이런 경우 휴대단말기를 이용하여 상대편의 동의없이 비밀스럽게 사진을 찍을 수 있어 개인 프라이버시에 영향을 줄 수 있다. 따라서 현재 디지털 카메라 장치의 촬영시 강제적으로 촬영음을 발생하도록 규정되어 있다. 즉, 상기 휴대단말기에 장착된 카메라를 이용하여 사진 촬영을 하는 경우, 강제적으로 "찰칵"하는 소리를 발생하도록 한다. 이는 상기 휴대단말기를 이용하여 사진을 촬영할 때 주변에 사진을 촬영하고 있음을 알리기 위한 것이다.
그러나 상기와 같은 촬영시 촬영음을 발생하는 경우에도 주변 환경이 시끄러운 장소인 경우에는 사진을 찍히는 상대는 이를 인지 못할 수 있다. 또한 상기 소형카메라 장치를 사용하는 사용자가 상기 사진 촬영음의 발생을 제거하는 경우, 상대는 자신이 사진을 찍히고 있음을 감지할 수 없게 된다.
그리고 인터넷 등이 발달함에 따라 상기와 같이 몰래 찍을 사진을 웹사이트 등에 업로드하여 자신도 모르는 사이에 프라이버시 침해를 당할 수 있다. 따라서 카메라를 이용하여 사진을 촬영하는 경우, 사진을 찍는 카메라 및 사용자의 정보를 사진 이미지에 삽입하면 상기와 같은 문제점들을 해결할 수 있다.
따라서 본 발명의 목적은 카메라를 구비하는 단말기에서 사진 촬영시 단말기의 정보를 촬영된 이미지에 삽입할 수 있는 장치 및 방법을 제공함에 있다.
본 발명의 다른 목적은 카메라를 구비하는 휴대단말기에서 사진 촬영시 단말기의 정보를 촬영된 이미지에 삽입하며, 사진 이미지를 수신하는 단말기가 상기 이미지에 삽입된 정보를 추출하여 촬영자를 식별할 수 있는 장치 및 방법을 제공함에 있다.
본 발명의 또 다른 목적은 카메라를 구비하는 휴대단말기에서 사진 촬영시 촬영된 이미지를 압축 부호화하고, 상기 압축부호화한 이미지 스트림에 촬영자의 정보를 삽입할 수 있는 장치 및 방법을 제공함에 있다.
본 발명의 또 다른 목적은 카메라를 구비하는 휴대단말기에서 사진 촬영시 촬영된 이미지를 압축 부호화한 후 압축부호화한 이미지 스트림에 촬영자의 정보를 삽입하며, 수신기가 수신된 이미지에서 촬영자정보를 추출한 후 압축된 이미지를 복호하여 표시하며, 필요시 상기 추출된 촬영자 정보를 확인할 수 있는 장치 및 방법을 제공함에 있다.
본 발명의 또 다른 목적은 카메라를 구비하는 휴대단말기에서 사진 촬영시 촬영되는 이미지를 정지영상으로 압축 부호화하고 상기 정지 영상의 이미지스트림에 촬영자 정보를 삽입할 수 있는 장치 및 방법을 제공함에 있다.
본 발명의 또 다른 목적은 카메라를 구비하는 휴대단말기에서 사진 촬영시 촬영되는 이미지를 정지영상들의 합성 동영상로 압축 부호화하고 상기 합성된 동영상의 이미지스트림에 촬영자 정보를 삽입할 수 있는 장치 및 방법을 제공함에 있다.
본 발명의 또 다른 목적은 카메라를 구비하는 휴대단말기에서 사진 촬영시 촬영되는 이미지를 동영상으로 압축 부호화하고 상기 동영상의 이미지스트림에 촬영자 정보를 삽입할 수 있는 장치 및 방법을 제공함에 있다.
이하 본 발명의 바람직한 실시예들의 상세한 설명이 첨부된 도면들을 참조하여 설명될 것이다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다.
하기 설명에서 영상신호의 포맷, 전송 패킷 포맷, 영상압축방식 등과 같은 특정 상세들이 본 발명의 보다 전반적인 이해를 제공하기 위해 나타나 있다. 이들 특정 상세들 없이 또한 이들의 변형에 의해서도 본 발명이 용이하게 실시될 수 있다는 것은 이 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
이하에서 부호화되는 이미지의 데이터 포맷에 촬영자의 정보를 삽입하는 방법을 중심으로 설명될 것이다. 그러나 상기 촬영되는 이미지에 촬영자의 정보를 삽입할 수도 있다. 또한 본 발명의 실시예에서는 상기 카메라가 휴대단말기의 경우를 가정하여 설명될 것이지만, 일반적인 디지털 카메라에서도 동일하게 적용될 수 있다. 또한 본 발명의 실시예에서는 휴대단말기의 경우 상기 촬영자 정보로써 단말기 고유번호(ESN), 사용자 전화번호들을 사용할 수 있다. 그리고 카메라의 경우에는 카메라의 장치 고유번호가 될 수 있다. 또한 상기 정보 이외에 촬영시간 및 촬영장소들이 추가될 수도 있다.
도 1은 본 발명의 실시예에 따른 카메라를 구비하는 휴대단말기의 구성을 도 시하는 도면으로써, 휴대전화기의 구성이 될 수 있다.
상기 도 1을 참조하면, RF통신부121은 휴대용 전화기의 무선 통신 기능을 수행한다. 상기 RF통신부121은 송신되는 신호의 주파수를 상승변환 및 증폭하는 RF송신기와, 수신되는 신호를 저잡음 증폭하고 주파수를 하강변환하는 RF수신기등을 포함한다. 데이터처리부120은 상기 송신되는 신호를 부호화 및 변조하는 송신기 및 상기 수신되는 신호를 복조 및 복호화하는 수신기등을 구비한다. 즉, 상기 데이터 처리부120은 모뎀(MODEM) 및 코덱(CODDEC)으로 구성될 수 있다. 여기서 상기 모뎀은 송수신되는 신호를 변조 및 복조하는 기능을 수행하며, CDMA, GSM, UMTS 등의 다양한 모뎀을 사용할 수 있다. 여기서 상기 코덱은 송신 및 수신데이터 등을 처리하는 데이터 코덱과, 송신 및 수신되는 오디오 신호를 처리하는 오디오 코덱을 구비한다.
키입력부123은 숫자 및 문자 정보를 입력하기 위한 키들 및 각종 기능들을 설정하기 위한 기능키들을 구비한다. 통신인터페이스부125는 통신케이블을 통해 외부 장치와 연결되며, 제어부의 제어하에 외부 장치와 직렬 통신 기능을 수행한다.
메모리130은 프로그램 메모리, 데이터 메모리, 그리고 본 발명의 실시예에 따라 생성 및 수신되는 영상신호를 저장하는 동영상 메모리들로 구성될 수 있다. 상기 프로그램 메모리는 휴대용 전화기의 일반적인 동작을 제어하기 위한 프로그램들 및 본 발명의 실시예에 따라 표시부에 인가되는 영상신호의 경로를 제어하는 프로그램들을 저장할 수 있다. 또한 상기 데이터 메모리는 상기 프로그램들을 수행하는 중에 발생되는 데이터들을 일시 저장하는 기능을 수행한다.
제어부110은 휴대용 전화기의 전반적인 동작을 제어하는 기능을 수행한다. 또한 상기 제어부110은 상기 데이터처리부20을 포함할 수도 있다. 또한 상기 제어부110은 본 발명의 실시예에 따라 상기 키입력부123으로부터 설정되는 모드 명령에 따라 상기 영상신호를 촬영 및 저장, 재생, 전송 및 수신하는 동작들을 제어한다. 또한 상기 제어부110은 사용자데이터(user data)를 상기 표시부160에 출력하는 표시하는 기능을 수행한다. 여기서 상기 사용자 데이터는 휴대단말기에 표시되는 정보는 현재시간, 수신감도, 배터리 잔량들을 표시하기 위한 사용자 데이터들 및 사용자의 설정에 의해 표시되는 사용자데이터들이 될 수 있다.
카메라부(camera module)140은 영상 촬영시에 감지되는 광신호를 전기적 신호로 변환하는 카메라 센서와, 상기 카메라센서로부터 촬영되는 아날로그 영상신호를 디지털 데이터로 변환하는 신호처리부를 구비한다. 여기서 상기 카메라 센서는 CCD센서라 가정하며, 상기 신호처리부는 DSP(Digital Signal Processor: DSP)로 구현할 수 있다. 또한 상기 카메라 센서 및 신호처리부는 일체형으로 구현할 수 있으며, 또한 분리하여 구현할 수도 있다.
영상처리부150은 상기 카메라부140에서 출력되는 영상신호를 표시하기 위한 화면 데이터를 발생하는 기능을 수행한다. 상기 영상처리부150은 상기 카메라부140에서 출력되는 영상신호를 처리하며, 상기 프레임 영상데이터를 상기 표시부160의 특성 및 크기에 맞춰 출력한다. 또한 상기 영상처리부150은 영상코덱250을 구비하며, 상기 영상코덱250은 영상신호를 설정된 방식으로 코딩하거나, 코딩된 프레임 영상데이터를 원래의 영상신호로 디코딩하는 기능을 수행한다. 상기 영상처리부150 은 상기 제어부110의 제어하에 설정되는 모드에 따른 영상신호를 촬영 및 재생하는 기능을 수행한다. 여기서 상기 영상코덱250은 정지이미지(이하 jpeg라 칭함), 합성 동영상(이하 모션 jpeg라 칭함), 동영상(이하 mpeg(moving picture expert group)라 칭함)의 코덱이 될 수 있다.
표시부160은 상기 영상처리부50에서 출력되는 프레임 영상신호를 화면으로 표시하며, 상기 제어부110에서 출력되는 사용자 데이터를 표시한다. 또한 상기 표시부160은 상기 제어부110의 제어하에 재생되는 동영상신호를 표시한다. 여기서 상기 표시부160은 LCD를 사용할 수 있으며, 이런 경우 상기 표시부160은 LCD제어부(LCD controller), 영상데이터를 저장할 수 있는 메모리 및 LCD표시소자 등을 구비할 수 있다. 여기서 상기 LCD를 터치스크린(touch screen) 방식으로 구현하는 경우, 입력부로 동작할 수도 있다.
GPS수신기(Global Positioning System receiver)170은 GPS 위성으로부터 GPS 정보를 수신하여 상기 제어부110에 전송한다. 여기서 상기 GPS 정보는 현재 휴대전화기가 위치된 정보가 될 수 있다. 본 발명의 실시예에서는 상기 GPS수신기를 통해 현재 영상촬영시 촬영 위치(장소) 정보 및 시간 정보를 수신할 수 있다.
상기 도 1을 참조하면, 상기 휴대전화기가 부호분할다중접속(Code Division Multiple Access: CDMA) 방식의 채널들을 사용하는 경우, 상기 데이터처리부120은 상기 모뎀은 CDMA 방식의 모뎀이 될 수 있다. 또한 상기 데이터처리부120은 상기한 바와 같이 본 발명의 실시예에 따라 영상신호에 오디오신호를 코딩 및 디코딩하기 위한 오디오 코덱을 구비한다.
본 발명의 실시예에 따른 상기 휴대전화기는 인물 또는 주변 환경을 촬영하여 영상화면으로 표시 또는 전송하는 동작을 수행할 수 있다. 먼저 카메라부140은 휴대용 전화기에 장착되거나 또는 외부의 소정 위치에 연결될 수 있다. 즉, 상기 카메라부140은 외장형 또는 내장형 카메라일 수 있다. 상기 카메라부140은 영상을 촬영하기 위한 센서 및 상기 센서로부터 촬영되는 영상신호를 디지털 데이터로 변환하는 신호처리부등을 구비할 수 있다. 상기 센서는 CMOS센서나 CCD(Charge Coupled Device) 센서를 사용할 수 있다. 상기 카메라부140에 촬영되는 영상은 내부의 센서에서 전기적신호로 변환된 후 신호처리부에서 상기 영상신호를 디지털 영상 데이터로 변환한다. 그리고 상기 변환된 디지털 영상신호와 동기신호들을 상기 영상처리부50에 출력한다. 여기서 상기 동기신호는 수평동기신호(Hsync: Horizontal Synchronization signal) 및 수직동기신호(Vsync: Vertical Synchronization signal)등이 될 수 있다.
도 2는 본 발명의 실시예에 따른 상기 영상처리부150의 구성의 일예를 도시하는 도면이다. 상기 영상처리부150은 상기 카메라부140과 표시부160간에 영상신호를 인터페이스하는 동시에 상기 카메라부140으로부터 입력되는 영상신호를 코딩 및 디코딩하는 기능을 수행한다. 상기한 바와 같이 상기 영상처리부150은 영상신호를 코딩 및 디코딩하기 위한 영상코덱250을 구비하며, 본 발명의 실시예에서는 상기 영상코덱250이 JPEG, 모션 JPEG, MPEG, H.264 코덱이 될 수 있다.
도 2를 참조하면, 카메라인터페이스211은 상기 카메라140에서 출력되는 영상데이타를 인터페이스하는 기능을 수행한다. 여기서 상기 카메라140에서 출력되는 영상데이타는 YUV 포맷의 영상데이터이며, 표시부160은 RGB 포맷의 영상데이타를 표시한다고 가정한다. 본 발명의 실시예에서는 상기 카메라140에서 출력되는 영상데이타가 YUV포맷이며, 표시부160은 RGB 포맷의 영상데이타를 표시한다고 가정한다.
스케일러213은 상기 제어부10에서 출력되는 제어신호에 따라 상기 카메라140에서 촬영되는 영상신호를 상기 표시부160 상에 표시할 수 있는 크기로 스케일링한다. 상기 스케일러213은 상기 카메라140에서 출력되는 영상신호 픽셀들을 표시부160에서 표시할 수 있는 영상신호의 픽셀 수로 축소 및 크러핑한다. 그러나 상기 표시부160이 카메라140에서 출력되는 영상데이타의 사이즈보다 더 큰 크기를 가지는 영상데이타를 표시할 수 있는 경우, 상기 스케일러213은 상기 제어부10의 제어하에 상기 카메라140에서 출력되는 영상신호를 확대하여 표시할 수 있도록 설계할 수 있다. 상기 확대 표시 방법은 상기 카메라140에서 출력되는 영상신호에서 표시부140에서 표시할 수 있는 픽셀수 만큼 선택하여 표시하면 된다.
색변환부215는 상기 스케일러213에서 출력되는 YUV 데이터를 RGB로 변환하여 출력한다. 여기서 상기 카메라140이 촬영되는 영상데이타를 RGB 포맷으로 발생하거나 또는 상기 표시부160이 YUV 포맷의 영상데이타를 표시할 수 있는 경우에는 상기 색변환부215의 구성을 생략할 수 있다.
그리고 LCD 인터페이스217은 상기 표시부160에 영상데이타를 인터페이싱하는 기능을 수행한다. 상기 LCD 인터페이스부217은 내부에 버퍼를 구비하여 상기 LCD인터페이스217에서 표시부160과 인터페이싱되는 영상데이타를 버퍼링하는 기능을 수 행할 수 있다.
영상코덱250은 영상처리제어부200의 제어하여 상기 촬영되는 영상데이타를 영상 코딩하거나 또는 코딩된 영상데이타를 복원하는 기능을 수행할 수 있다. 상기 영상코덱250은 상기 영상처리제어부200의 제어하에 상기 색변환기215에서 출력되는 카메라 영상신호 또는 상기 표시부160에서 표시되는 영상신호를 입력하여 설정된 코딩 방식으로 영상 코딩하며, 상기 코딩된 영상데이타에 촬영자의 식별정보를 삽입하여 코딩된 영상데이타를 발생한다. 또한 상기 영상코덱250은 상기 영상처리제어부200의 제어하에 코딩된 영상신호에서 촬영자의 식별정보를 추출하며, 상기 코딩된 영상데이타를 디코딩하여 스케일러213 또는 LCD인터페이스부217에 출력한다. 여기서 상기 영상처리제어부200은 상기 영상처리시 상기 키입력부123에서 입력되는 키 데이터들을 직접 처리할 수도 있다. 본 발명의 실시예에서는 상기 키입력부123에서 발생되는 키 입력을 상기 제어부110이 확인하며, 영상처리에 관련된 키데이타인 경우에는 상기 영상처리제어부200에 전달하여 상기 영상처리제어부200이 영상처리에 관한 명령을 수행하는 것으로 가정하여 설명될 것이다.
상기 영상처리제어부200은 상기 영상처리부150의 전반적인 동작을 제어한다. 즉, 상기 영상처리제어부200은 상기 제어부110의 제어하에 상기 표시부160을 제어하여 상기 카메라140으로부터 촬영되는 영상데이타의 표시를 전반적인 동작을 제어한다. 또한 상기 영상처리제어부200은 상기 영상코덱250을 제어하여 영상데이타에 촬영자의 식별정보를 삽입하거나 또는 상기 영상데이타에 삽입된 촬영자의 식별정보를 추출하는 기능을 수행한다. 여기서 상기 영상데이타에 촬영자의 식별정보를 삽입하는 방법은 상기 영상데이타에 촬영자의 식별정보를 워터마킹(water marking)하거나 또는 영상데이타의 스트림에 촬영자의 식별정보를 워터마킹할 수 있다. 본 발명의 실시예에서는 상기 영상데이타의 스트림에 촬영자의 식별정보를 워터마킹하는 것으로 가정하여 설명될 것이다. 또한 본 발명의 실시예에서는 상기 영상데이타를 영상 코딩한 후 코딩된 영상데이타 스트림에 촬영자 정보를 워터마킹하는 예를 가정하여 설명될 것이다. 그러나 상기 영상데이타를 코딩하기 전에 촬영자 정보를 삽입한 후, 촬영자 정보가 삽입된 영상데이타를 코딩하는 방법을 사용할 수도 있다.
영상메모리230은 상기 영상처리제어부200의 제어하에 영상데이타를 저장하거나 출력한다. 여기서 상기 영상메모리230에 저장되는 영상데이타는 상기 촬영된 영상데이타가 될 수 있으며, 또한 휴대단말기에서 수신된 영상데이타가 될 수 있다.
선택기219는 상기 제어부110에서 출력되는 경로제어신호에 의해 상기 영상처리부150에서 출력되는 데이터 또는 상기 제어부110에서 출력되는 데이터를 선택하여 표시부160에 출력하는 기능을 수행한다.
상기 도 2를 참조하면, 영상촬영모드시 상기 제어부110은 상기 영상처리제어부200에 영상처리의 제어권을 넘긴다. 그러면 상기 영상처리제어부200은 상기 제어부110에서 전달되는 사용자 데이터를 상기 표시부160에 표시하며, 이외의 카메라부140에서 촬영되는 영상데이타를 표시부160에 표시하는 동작 및 사용자의 명령에 따라 촬영되는 영상신호를 메모리130에 저장하는 동작을 제어한다. 즉, 상기 제어부10은 통신에 관련된 동작을 제어하며, 또한 통신 기능을 수행하는 경우에만 상기 표시부160의 동작을 제어한다. 그리고 통신 기능을 수행하지 않는 대기상태에서는 상기 표시부160의 전반적인 동작 제어는 상기 영상처리제어부200에서 수행한다고 가정한다. 즉, 카메라부140의 동작이 선택되면, 상기 휴대단말기의 전반적인 동작은 상기 영상처리제어부200에서 제어하게 된다.
상기 카메라140에서 획득한 영상데이타를 표시부160에 전송하는 동작을 살펴보면, 상기 영상처리부150은 상기 카메라140에서 촬영되는 영상신호를 처리하여 표시부160에 표시한다. 이때 영상처리부150의 스케일러213은 상기 카메라140에서 출력되는 영상데이타의 화소수를 상기 표시부160에 표시할 수 있도록 상기 화소들 증의 일부를 제거하거나 상기 화소들의 일부 영역을 선택하여 표시(zooming)할 수 있다. 상기와 같은 경우, 촬영되는 영상신호는 메모리230에 저장되지 않으며, 상기 표시부160에 프리뷰 화면으로 표시된다. 상기와 같이 프리뷰 화면으로 영상신호를 표시하는 동작에서는 영상 코딩 동작이 발생되지 않으며, 따라서 상기 촬영되는 영상신호에 촬영자의 정보를 삽입하는 동작도 생략된다.
또한 상기 카메라140에서 촬영되는 영상신호를 표시부160에서 영상 화면으로 표시하는 과정에서 사용자는 표시되는 영상신호를 저장할 수 있다. 즉, 사용자는 키입력부123의 영상처리에 관한 기능키 또는 메뉴 상에서 영상처리에 관한 기능이 선택되면, 상기 카메라부140에서 촬영되는 영상신호를 저장할 수 있다. 이때 촬영 명령이 발생되면, 상기 영상처리제어부200은 상기 영상코덱250을 제어하여 상기 카메라인터페이스부211를 통해 입력되는 영상신호를 코딩하고, 상기 코딩된 영상데이타의 스트림에 촬영자 정보를 삽입하여 영상데이타에 촬영자 정보를 워터마킹한 후 이를 영상메모리230에 저장한다. 또한 상기 저장된 영상데이타 또는 수신된 영상데이타를 재생하는 경우, 상기 영상처리제어부200은 영상코덱250을 제어하여 영상데이타에 워터마킹된 상기 촬영자 정보를 추출한다. 그리고 상기 영상코덱은 상기 코딩된 영상데이타를 디코딩한 후 스케일러213에 출력하여 상기 표시부160에 표시한다. 또한 상기 영상처리제어부200은 상기 추출된 촬영자 정보를 선택기219를 통해 상기 표시부160에 표시할 수 있다.
도 3은 상기 영상코덱250의 구성을 도시하는 도면으로써, 상기 영상데이타를 설정된 방식으로 코딩하고, 또한 본 발명의 실시예에 따라 상기 코딩된 영상데이타에 촬영자 정보를 워터마크(wartermark)로 삽입하는 구조를 도시하고 있다. 상기 도 3은 코더의 구조를 도시하고 있지만, 디코더의 구조는 상기 코더의 역순으로 동작하며 상기 코더와 유사한 구조를 가진다.
상기 도 3을 참조하면, 엔코더311은 입력되는 영상데이타를 설정된 방식에 따라 코딩한다. 이때 상기 코딩방식은 영상데이타의 형태에 따라 각각 설정된 방식으로 코딩한다. 즉, 상기 영상코덱250은 촬영되는 영상데이타가 정지영상 또는 동영상에 따라 다른 코딩방법이 다르며, 또한 정지영상 또는 동영상에서도 각각 다른 코딩 방법을 사용할 수 있다. 본 발명의 실시예에서는 정지영상이면 JPEG 코더를 사용하며, 동영상이면 MPEG4 또는 H.264 코더를 사용한다고 가정한다. 또한 정지 영상을 연속하여 동영상으로 처리하며, 또한 상기 동영상에 오디오 및 텍스트를 합성 동영상신호를 처리하는 모션 JPEG(motion JPEG) 코더를 사용할 수도 있다. 상기 엔코더311은 촬영되는 영상데이타(raw image data)를 입력하며, 상기 입력되는 영 상데이타를 설정된 코딩 방식으로 영상데이타를 압축 부호화하는 기능을 수행한다. 여기서 상기 엔코더311은 상기한 바와 같이 JPEG 코더, 모션 JPEG 코더, MPEG4 코더 또는 H.264 코더들 중의 하나가 될 수 있다. 헤더삽입기(codec adaptive header inserter)313은 상기 코딩된 영상데이터 스트림에 헤더를 삽입한다. 여기서 상기 헤더 정보는 각각 해당하는 코딩 방식에 따른 헤더정보가 될 수 있으며, 코딩된 영상데이타 스트림의 설정된 위치에 상기 헤더정보를 삽입한다.
혼합기317은 휴대단말기 정보와 랜덤시퀀스를 혼합하여 워터마크를 생성한다. 상기 혼합기317은 익스클루시브 오아 게이트(exclusive OR gate)를 사용할 수 있다. 여기서 상기 휴대단말기 정보는 촬영자정보로써, ESN(Electronic Serial Number) 및 MIN(Mobile Identification Number)이 될 수 있다. 여기서 상기 ESN은 휴대단말기의 고유번호로써, 각 휴대단말기에 독립적으로 부여되는 부호이다. 그리고 상기 MIN은 휴대단말기의 정보로써 휴대단말기의 전화번호가 될 수 있다. 또한 상기와 같은 휴대단말기 정보 이외에 영상을 촬영한 시간(Time) 및 촬영장소 등의 정보가 포함될 수 있다. 여기서 상기 촬영장소에 대한 정보는 상기 GPS 수신기170을 통해 획득할 수 있으며, 상기 GPS수신가 없는 경우에는 현재 휴대단말기의 무선통신을 서비스하는 기지국의 정보를 사용할 수도 있다. 그리고 상기 랜덤시퀀스(pseudo random sequence)는 휴대단말기에서 사용하는 확산부호(spreading code: PN시퀀스)가 될 수 있으며, 또한 모든 휴대단말기에 공통으로 사용할 수 있는 약속된 랜덤 시퀀스를 사용할 수도 있다. 또한 상기 랜덤시퀀스는 사용하지 않을 수 있다. 이런 경우 상기 혼합기317은 생략될 수 있다. 상기 혼합기317에서 특정 랜덤시 퀀스와 혼합는 촬영자 정보는 영상데이타의 워터마크 정보로 사용된다.
워터마크삽입기(watermark embedder)315는 상기 혼합기317에서 출력되는 워터마크를 상기 헤더 및 코딩 영상데이타 스트림에 삽입한다. 즉, 상기 워터마크삽입기315는 상기 워터마크를 상기 헤더 및 코딩 영상데이타로 구성된 영상데이타 스트림의 소정 위치에 삽입한다. 이때 상기 워터마크삽입기315가 상기 촬영자 정보를 영상데이타에 워터마킹하는 방법은 상기 코딩된 영상데이타 스트림의 소정 위치에 상기 촬영자정보를 삽입하는 방법을 사용할 수 있다. 즉, 상기 코딩된 데이터를 저장하거나 또는 전송하는 경우, 상기 코딩된 영상데이타는 일정 규격으로 생성된다. 따라서 상기 워터마크삽입기315는 상기 촬영자정보를 상기 코딩된 영상데이타 스트림의 소정 위치에 삽입하며, 이때 상기 촬영자 정보가 삽입되는 위치는 미리 약속된 위치가 되어야 한다.
일반적으로 상기 코딩된 영상데이타 스트림의 포맷에는 사용되지 않는 예비 영역을 가지게 된다. 따라서 상기 예비 영역의 특정 영역을 상기 촬영자 정보의 워터마킹 영역으로 사용할 수 있다. 본 발명의 실시예에서는 상기와 같이 코딩된 영상데이타의 스트림에서 특정 위치를 워터마킹 영역으로 사용하는 것을 예로들어 설명될 것이다. 그러나 상기와 같은 워터마킹 방법 이외에 상기 영상데이타에 상기 촬영자 정보를 직접 워터마킹하는 방법도 사용될 수 있다. 상기 워터마크삽입기315에서 출력되는 영상데이타 스트림은 워터마크(촬영자 정보), 헤더정보 및 코딩된 영상데이타 스트림으로 구성될 수 있다.
출력부319는 상기 워터마크삽입기315에서 출력되는 스트림에 시작 및 종료코 드를 삽입하여 코딩된 영상데이타의 스트림을 출력한다. 여기서 상기 시작코드(start code)는 코딩된 영상데이타 스트림의 시작을 나타내는 부호이며, 종료코드(end code)는 코딩된 영상데이타 스트림의 마지막을 나타내는 부호이다. 따라서 상기 출력부319에서 출력되는 데이터 스트림은 시작코드, 워터마크, 헤더, 코딩된 영상데이타 및 종료코드로 구성된다. 여기서 상기 워터마크삽입기315는 상기 촬영자 정보를 상기 시작코드 다음 위치, 또는 상기 헤더정보의 다음 위치, 또는 상기 종료코드의 전단에 삽입할 수 있다.
상기와 같은 구성을 가지는 영상코덱250은 코딩 방식에 따라 각각 다른 포맷으로 코딩된 영상스트림을 생성하게 된다. 이때 상기 영상코덱은250은 정지 영상데이타의 코딩을 수행할 수 있으며, 또한 동영상 데이터의 코딩을 수행할 수도 있다. 본 발명의 실시예에서는 JPEG, 모션 JPEG, MPEG4, H.264 방식의 영상 코딩 동작을 살펴보기로 한다. 여기서 상기 JPEG 코딩 방식은 정지 영상을 코딩하는 방식이며, 모션 JPEG 코딩 방식은 정지영상들을 합성하여 동영상 형태로 코딩하는 방식이고, MPEG4 및 H.264 코딩 방식은 동영상 데이터를 코딩하는 방식이다. 상기와 같은 각 코딩 방식에 따른 본 발명의 실시예를 도 4 - 도 8을 참조하여 살펴본다. 여기서 상기 도 4는 본 발명의 실시예에 따라 촬영자 정보가 워터마킹된 JPEG 스트림의 구조를 도시하는 도면이며, 도 5는 본 발명의 실시예에 따라 촬영자 정보가 워터마킹된 JPEG 200 스트림의 구조를 도시하는 도면이고, 상기 도 6은 본 발명의 실시예에 따라 촬영자 정보가 워터마킹된 모션 JPEG 스트림의 구조를 도시하는 도면이며, 상기 도 7은 본 발명의 실시예에 따라 촬영자 정보가 워터마킹된 MPEG4 스트림의 구 조를 도시하는 도면이고, 상기 도 8은 본 발명의 실시예에 따라 촬영자 정보가 워터마킹된 H.264 스트림의 구조를 도시하는 도면이다.
먼저 상기 도 4를 참조하면, 상기 영상코덱250은 JPEG 영상 코덱이 될 수 있다. 상기 카메라140에 촬영된 영상데이타는 영상코덱311의 엔코더315에 인가된다. 그러면 상기 엔코더311은 상기 입력되는 영상데이타를 JPEG 코딩방식으로 코딩하여 도 4의 411의 ECS0 - ECSlast를 생성한다. 여기서 상기 411의 ECS0 - ECS last는 JPEG 코딩된 영상데이타가 된다. 이후 상기 JPEG 코딩된 영상데이타는 헤더삽입기313에 인가되어 411과 같이 헤더정보가 더해진다. 여기서 상기 헤더정보는 JFIF 마커, 길이, JFIF 스트링, table/misc, 프레임 헤더(frame header) 및 스캔헤더(scan header)로 구성될 수 있다. 여기서 상기 table/misc 정보는 도 4의 413과 같은 구조를 가지며, 프레임 헤더(frame header)는 도 4의 415와 같은 구조를 가지고, 스캔헤더(scan header)는 도 4의 417과 같은 구조를 가진다.
이후 상기 워터마크삽입기315는 상기 도 4의 411과 같이 상기 헤더정보의 앞에 촬영자정보를 삽입한다. 여기서 상기 촬영자 정보는 워터마크임을 식별하기 위한 마커(marker), 워드마크의 길이(length), 그리고 X 바이트의 워터마크(watermark)로 구성된다. 여기서 상기 x바이트의 워터마크는 상기 촬영자정보로서, ESN, MIN, 촬영시간 및 촬영장소 또는 이들 중 일부 정보들이 될 수 있다. 여기서 상기 ESN 및 MIN은 휴대단말기의 고유 정보로써, 촬영자를 식별할 수 있는 정보가 될 수 있다.
상기 촬영자 정보를 JPEG 스트림에 삽입한 후, 출력부319는 상기 시작코드 SOI(start of image) 및 종료코드(end of image)를 삽입하여 JPEG 코딩된 영상데이타 스트림을 완성하여 출력한다. 그러면 상기 영상처리제어부200은 상기 출력부319에서 출력되는 상기 도 4의 411과 같은 JPEG 스트림을 메모리230에 저장할 수 있으며, 또한 단말기의 제어부110에 의해 외부로 전송할 수 있다.
두 번째로 상기 도 4를 참조하면, 상기 영상코덱250은 JPEG 영상 코덱이 될 수 있다. 상기 카메라140에 촬영된 영상데이타는 영상코덱311의 엔코더315에 인가된다. 그러면 상기 엔코더311은 상기 입력되는 영상데이타를 JPEG 코딩방식으로 코딩하여 도 5의 451의 비트 스트림(bit stream)을 생성한다. 여기서 상기 451의 비트스트림은 JPEG 2000 방식으로 코딩된 영상데이타가 된다. 이후 상기 JPEG 코딩된 영상데이타는 헤더삽입기313에 인가되어 451과 같이 헤더정보가 더해진다. 여기서 상기 헤더정보는 메인 헤더(main header marker segment), 그리고 다수개의 타일파트 헤더(tile part header) 및 SOD( start of data)들로 구성된다. 따라서 상기 도 5의 451에 도시된 바와 같이 JPEG2000 영상 데이터 구조는 메인헤더, 그리고 다수의 타일파트 헤더, SOD, 비트스트림들로 구성됨을 알 수 있다. 여기서 상기 메인헤더 정보는 도 5의 453과 같은 구조를 가지며, 타일파트 헤더(tile part header)는 도 4의 455와 같은 구조를 가진다.
본 발명의 실시예에서는 상기 SOC와 메인헤더 사이의 예비 영역(reserved region)에 촬영자의 정보를 워터마킹한다. 이를 위하여 상기 헤더삽입기313의 뒷단에 연결되는 상기 워터마크삽입기315는 상기 도 4의 451과 같이 상기 메인 헤더정 보의 앞에 촬영자정보를 삽입한다. 여기서 상기 촬영자 정보는 워터마크임을 식별하기 위한 마커(marker), 워드마크의 길이(length), 그리고 X 바이트의 워터마크(watermark)로 구성된다. 여기서 상기 x바이트의 워터마크는 상기 촬영자정보로서, ESN, MIN, 촬영시간 및 촬영장소 또는 이들 중 일부 정보들이 될 수 있다. 여기서 상기 ESN 및 MIN은 휴대단말기의 고유 정보로써, 촬영자를 식별할 수 있는 정보가 될 수 있다.
상기 촬영자 정보를 JPEG 스트림에 삽입한 후, 출력부319는 상기 스트림의 시작 위치에 시작코드 SOC(start of codestream) 및 스트림의 마지막 위치에 종료코드 EOC(end of codestream)를 삽입하여 JPEG 2000 방식으로 코딩된 영상데이타 스트림을 완성하여 출력한다. 그러면 상기 영상처리제어부200은 상기 출력부319에서 출력되는 상기 도 4의 451과 같은 JPEG 2000 스트림을 메모리230에 저장할 수 있으며, 또한 단말기의 제어부110에 의해 외부로 전송할 수 있다.
세 번째로 도 6을 참조하면, 상기 영상코덱250은 모션 JPEG 영상 코덱이 될 수 있다. 여기서 상기 모션 JPEG 영상은 JPEG 영상들을 합성하여 동영상 형태로 재구성하는 것이다. 또한 상기 모션 JPEG 영상은 오디오 및(또는) 텍스트 데이터를 합성할 수 있다. 따라서 상기 모션 JPEG는 합성 동영상신호가 될 수 있다. 이런 경우, 상기 합성 동영상데이타는 도 6의 511에 도시된 바와 같이 텍스트데이타가 위치되고, 이후 프레임 구간 단위로 프레임 크기의 오디오 데이터와 영상데이타가 인터레이싱되는 구조를 가진다. 그리고 상기와 같은 합성 동영상데이타의 앞단에 모션 JPEG 헤더가 삽입된다. 여기서 상기 모션 JEPG 헤더는 도 6의 513과 같은 구조 를 가진다. 상기 모션 JPEG 헤더에는 515와 같이 모션 JPEG을 구성하는 데이터 구조 및 도 6의 517과 같이 프레임 헤더(frame header) 및 스캔헤더(scan header)로 구성되는 헤더정보를 포함한다. 그리고 상기 table/misc 정보는 도 6의 519과 같은 구조를 가지며, 프레임 헤더(frame header)는 도 6의 521과 같은 구조를 가지고, 스캔헤더(scan header)는 도 6의 523과 같은 구조를 가진다.
그리고 워터마크삽입기315는 상기 도 6의 513과 같이 상기 모션 JPEG 헤더 영역내에 촬영자정보를 삽입한다. 여기서 상기 촬영자 정보는 워터마크임을 식별하기 위한 마커(marker), 워드마크의 길이(length), 그리고 X 바이트의 워터마크(watermark)로 구성된다. 여기서 상기 x바이트의 워터마크는 상기 촬영자정보로서, ESN, MIN, 촬영시간 및 촬영장소 또는 이들 중 일부 정보들이 될 수 있다. 여기서 상기 ESN 및 MIN은 휴대단말기의 고유 정보로써, 촬영자를 식별할 수 있는 정보가 될 수 있다.
상기 촬영자 정보를 모션 JPEG 스트림에 삽입한 후, 도 6의 513과 같이 모션 JPEG 헤더 영역의 앞 부분에 시작코드 SOI(start of image)를 삽입하고, 상기 모션 JPEG 헤더의 마지막 부분에 종료코드(end of image)를 삽입하여 모션 JPEG 스트림을 완성한다. 그러면 상기 영상처리제어부200은 상기 출력부319에서 출력되는 상기 도 4의 411과 같은 JPEG 스트림을 메모리230에 저장할 수 있으며, 또한 단말기의 제어부110에 의해 외부로 전송할 수 있다.
세 번째로 도 7을 참조하면, 상기 영상코덱250은 MPEG4 영상 코덱이 될 수 있다. 상기 MPEG4 스트림은 도 7의 611과 같은 구조를 가진다. 상기 511과 같은 구 조를 가지는 MPEG4 스트림에서 시작코드(Visual_object_sequence_start_code)는 MPEG4 스트림의 시작임을 나타내는 코드이며, 프로파일 및 레벨 식별자(Profile_and_level_indication)는 속성 및 크기를 나타내는 식별자이고, 워터마크시작코드(Watermark_start_code) 및 워터마크(Watermark)는 워터마크의 시작 및 워터마크 정보를 나타내며, 비주얼 오브젝트(Visual object)는 다수개로 구성되고, 상기 비주얼 오브젝트가 종료되는 위치에 종료코드(Visual_object_sequence_end_code)가 삽입된다.
그리고 각각의 상기 비주얼 오브젝트는 도 7의 613과 같이 비주얼 오브젝트 정보들 및 비디오 오브젝트(video object)로 구성된다. 그리고 상기 비디오 오브젝트는 도 7의 615와 같이 비디오 오브젝트 정보들 및 다수의 비디오 오브젝트 레이어(video_object_layer)들로 구성된다. 그리고 각각의 상기 비디오 오브젝트 레이어는 617과 같이 비디오 오브젝트 정보들과 비디오 오브젝트 그룹(group_of_videoobjectplane)으로 구성되며, 상기 비디오 오브젝트 그룹은 도 7의 619와 같은 구성을 가진다.
상기 도 7은 MPEG4 데이터 스트림에서 촬영자정보, 즉 워터마크가 상기 비주얼 오브젝트의 앞에 위치되는 예를 도시하고 있다. 그러나 상기 워터마크는 상기 도 7의 611과 같은 MPEG4 스트림에서 시작코드의 다음 또는 종료코드의 앞에 위치할 수도 있다.
네 번째로 도 8을 참조하면, 상기 영상코덱250은 H.264 영상 코덱이 될 수 있다. 상기 H.264 스트림은 도 8과 같은 구조를 가진다. 상기 도 8과 같은 구조를 가지는 H.264 스트림에서 시작코드(start code)는 H.264 스트림의 시작임을 나타내는 코드이며, NAL 헤더(NAL header, NAL: Network Adaptation Layer)는 1비트의 forbidden_zero_bit, 2비트의 Nal_ref_idc 및 5비트의 Nal_unit_type로 구성된다. 그리고 상기 5비트의 상기 Nal_ref_idc는 상기 도 8에 도시된 바와 같이 0-12까지는 각각 설정되어 사용되며, 13-23은 예비(reserved) 영역이고, 24-31은 규정되지 않은(unspecified) 영역이다. 본 발명의 실시예에서는 상기 Nal_ref_idc의 13을 워터마크 NAL 헤더로 설정하여 사용한다. 따라서 상기 워터마크 NAL 헤더는 워터마크 헤더가 된다. 그리고 상기 워터마크 NAL 헤더에 이어서 X바이트의 워터마크가 삽입된다. 따라서 상기 H.264 스트림에서 워터 NAL 헤더 및 페이로드(payload)인 워터마크가 상기 H.264 스트림에 삽입된다. 그리고 상기 도 8에서 상기 워터마크 다음에 이어지는 NAL 헤더들 및 페이로드 정보들은 H.264 스트림의 기존 구조들이 된다.
상기와 같이 영상코덱250에서 촬영된 영상데이타를 저장하거나 전송하는 경우, 영상코덱250에서 상기 촬영되는 영상데이타를 코딩하게 된다. 이때 상기 영상코덱250에서 영상데이타를 코딩할 때 상기 촬영된 영상데이타에 촬영자의 정보를 워터마킹한다. 이를 위하여 상기 영상코덱250은 먼저 촬영되는 데이터를 설정된 코딩 방식으로 코딩하며, 상기 코딩된 데이터 스트림에 코딩된 데이터 스트림의 헤더정보를 생성하여 삽입하고, 상기 헤더 및 데이터로 이루어지는 스트림에 촬영자 정보를 워터마크로 생성하여 삽입하며, 상기 워터마크, 헤더 및 데이터로 구성되는 스트림의 시작코드를 삽입하여 저장하거나 또는 전송한다.
상기한 바와 같이 영상코덱에서 촬영자 정보를 코딩된 영상데이타 스트림에 삽입한다. 이때 상기 촬영자 정보를 워터마크로 사용하면, 영상데이타를 디코딩할 때 상기 워터마크를 분석하여 사진을 촬영한 휴대단말기의 정보를 획득할 수 있으며, 따라서 촬영자를 추적할 수 있게 된다. 이때 상기 워터마크를 가지는 영상데이타를 디코딩하는 하는 동작은 상기 코딩시의 역순으로 진행된다. 도 9는 상기 코딩된 데이터를 디코딩하는 영상코덱250의 디코더 구성을 도시하는 도면이다.
상기 도 9를 참조하면, 먼저 코딩된 영상데이타가 수신되면, 입력부351은 수신되는 코딩된 영상데이타 스트림에서 시작코드 및 종료코드를 분리하여 워터마크, 헤더 및 코딩된 데이터의 스트림을 추출하여 출력한다. 그러면 워터마크추출부353은 상기 워터마크, 헤더 및 코딩된 데이터로 이루어지는 데이터스트림에서 소정 위치에 삽입된 워터마크(즉, 촬영자 정보)를 추출한다. 이때 상기 워터마크는 워터마크헤더 정보에 의해 그 크기를 알 수 있으며, 상기 워터마크 헤더 정보에 따른 워터마크를 추출한다. 그리고 상기 워터마크 추출부353에서 추출되는 워터마크는 혼합기359에서 랜덤시퀀스와 혼합되어 원래의 촬영자 정보로 발생된다. 여기서 사이 혼합기359은 익스클루시브 오아 게이타가 될 수 있으며, 상기 랜덤시퀀스는 상기 도 3에서 사용되는 랜덤시퀀스와 동일한 시퀀스를 사용한다. 따라서 상기 혼합기359에서 출력되는 촬영자 정보는 코딩시 삽입된 촬영자 정보로써, ESN, MIN, 시간 및(또는) 위치 정보들이 될 수 있다. 그리고 상기 촬영자 정보는 영상처리제어부200에 인가되어 상기 표시부160에 표시할 수 있다.
또한 상기 워터마크추출부353에서 출력되는 헤더 및 코딩 데이터의 스트림은 헤더추출부355에 인가되며, 상기 헤더추출부355는 상기 헤더정보를 추출하며, 디코더357은 헤더추출부355에서 출력되는 코딩된 데이터 스트림을 디코딩하여 원래의 영상데이타(raw image)로 생성한다. 따라서 상기 영상코덱250의 디코더 구성은 상기 코더의 동작과 역순으로 동작됨을 알 수 있다.
본 발명의 실시예에서는 촬영되는 영상데이타에 촬영자 정보를 워터마킹하는 동작이 영상코덱에서 수행되는 경우로 가정하여 설명되고 있다. 그러나 상기 영상데이타에 촬영자 정보를 워터마킹하는 방법은 상기 카메라140에서 촬영시 단말기의 정보를 워터마크로 삽입할 수도 있다. 또한 본 발명의 실시예에서는 상기 촬영자 정보를 영상데이타 워터마크로 삽입할 때, 데이터 스트림의 소정 위치에 페이로드로 삽입하는 것을 예로들어 설명하고 있다. 그러나 상기와 같은 방법 이외에 촬영된 영상데이타에 상기 촬영자 정보를 직접 워터마킹하는 방법을 사용할 수도 있다.
상술한 바와 같이 카메라를 구비하는 단말장치에서 상기 촬영되는 영상데이타에 촬영자의 정보를 워터마크로 삽입하므로써 영상물의 촬영 출처를 정확하게 추적할 수 있다. 현재 카메라를 부착하는 단말기들이 증가하고 또한 소형화되는 추세이므로, 많은 사람들이 원치않는 상태에서 피사체로 촬영될 수 있으며, 이렇게 촬영된 영상물이 인터넷 등을 통해 공중에 신속하게 유포될 수 있다. 그러나 상기와 같이 촬영된 영상물은 촬영자를 추적할 수 없다. 따라서 사진 촬영시 촬영되는 영상물에 촬영자의 정보를 삽입하면, 불법 유통시 촬영자를 추적할 수 있게 된다.

Claims (16)

  1. 카메라를 구비하는 장치에 있어서,
    상기 카메라에 촬영되는 영상데이타를 코딩하는 영상코덱과,
    상기 영상코덱 내에 위치되며, 촬영자 정보를 상기 코딩된 영상데이타 스트림에 워터마크로 삽입하는 워터마크삽입부와,
    상기 워터마크가 삽입된 상기 코딩된 영상데이타 스트림을 저장하는 메모리로 구성된 것을 특징으로 하는 상기 장치.
  2. 제1항에 있어서, 상기 메모리에서 저장된 코딩된 영상데이타를 전송하는 통신부를 더 구비하는 것을 특징으로 하는 상기 장치.
  3. 제2항에 있어서, 상기 통신부가
    외부 통신장치와 통신 케이블을 통해 연결되어 외부 통신장치와 통신인터페이스 기능을 제공하는 통신인터페이스부인 것을 특징으로 하는 상기 장치.
  4. 제2항에 있어서, 상기 통신부가,
    기지국과 RF 통신을 수행하는 RF통신부로 구성된 것을 특징으로 하는 상기 장치.
  5. 제1항에 있어서, 상기 촬영자 정보가 단말기의 고유번호인 것을 특징으로 하는 상기 장치.
  6. 휴대단말기의 영상데이타 처리장치에 있어서,
    카메라와,
    영상코덱을 구비하며, 상기 카메라에서 촬영되는 영상데이타를 처리하며, 녹화모드시 상기 촬영되는 영상데이타를 상기 영상코덱에 인가하는 영상처리부와,
    상기 카메라에서 출력되는 영상데이타를 설정된 코딩방식으로 코딩하는 엔코더와, 상기 코딩된 영상 데이터 스트림에 헤더 정보를 삽입하는 헤더삽입부와, 상기 헤더정보 및 영상데이타 스트림에 촬영자 정보를 워터마크로 생성하여 삽입하는 워터마크삽입부로 구성되는 상기 영상코덱과,
    녹화모드시 상기 워터마크가 삽입된 상기 코딩된 영상데이타 스트림을 저장하는 메모리와,
    통신모드시 상기 메모리에 저장된 코딩된 영상데이타들 중에서 선택되는 코딩된 영상데이타를 전송하는 통신부를 더 구비하는 것을 특징으로 하는 상기 장치.
  7. 영상데이타를 표시하는 장치에 있어서,
    통신모드시 코딩된 영상데이타를 수신하는 통신부와,
    상기 통신부에서 출력되는 코딩된 영상데이타 스트림에서 설정된 위치에 삽입된 워터마크를 추출하여 촬영자 정보로 생성하는 워터마크추출부와, 상기 워터마크추출부에서 출력되는 영상 데이터 스트림에 헤더 정보를 추출하는 헤더추출부와, 상기 헤더추출부에서 출력되는 코딩된 영상데이타 스트림을 디코딩하여 원래의 영상데이타로 복원하는 디코더로 구성되는 영상코덱과,
    상기 영상코덱에서 출력되는 영상데이타를 처리하는 영상처리부와,
    상기 영상처리부에서 출력되는 영상데이타를 표시부로 구성된 것을 특징으로 하는 상기 장치.
  8. 제7항에 있어서, 상기 통신부가,
    기지국과 RF 통신을 수행하는 RF통신부로 구성된 것을 특징으로 하는 상기 장치.
  9. 제8항에 있어서, 상기 촬영자 정보가 단말기의 고유번호인 것을 특징으로 하는 상기 장치.
  10. 휴대단말기의 영상데이타 처리장치에 있어서,
    카메라와,
    영상코덱을 구비하며, 상기 카메라 및 상기 영상코덱에서 출력되는 촬영되는 영상데이타 및 수를 처리하는 영상처리부와,
    상기 영상처리부의 제어하에 상기 카메라의 영상데이타를 표시하는 표시부와,
    통신모드시 상기 영상코덱에서 코딩된 영상데이타를 전송하고, 또한 수신되는 코딩된 영상데이타를 상기 영상코덱에 출력하는 통신부와,
    상기 카메라에서 출력되는 영상데이타를 설정된 코딩방식으로 코딩하는 엔코더와, 상기 코딩된 영상 데이터 스트림에 헤더 정보를 삽입하는 헤더삽입부와, 상기 헤더정보 및 영상데이타 스트림에 촬영자 정보를 워터마크로 생성하여 삽입하여 상기 통신부에 출력하는워터마크삽입부와, 상기 통신부에서 출력되는 코딩된 영상데이타 스트림에서 설정된 위치에 삽입된 워터마크를 추출하여 촬영자 정보로 생성하는 워터마크추출부와, 상기 워터마크추출부에서 출력되는 영상 데이터 스트림에 헤더 정보를 추출하는 헤더추출부와, 상기 헤더추출부에서 출력되는 코딩된 영상데이타 스트림을 디코딩하여 원래의 영상데이타로 복원하여 상기 영상처리부에 출력하는 디코더로 구성되는 상기 영상코덱으로 구성된 것을 특징으로 하는 상기 장치.
  11. 카메라를 구비하는 휴대단말기의 영상데이타 처리방법에 있어서,
    카메라 촬영모드시 상기 카메라에서 촬영되는 영상데이타를 설정된 코딩방식으로 코딩하는 과정과,
    상기 코딩된 영상데이타 스트림의 헤더 정보를 생성하여 상기 스트림에 삽입하는 과정과,
    촬영자 정보를 워터마크로 생성하며, 상기 헤더 및 코딩된 데이터 스트림에 상기 워터마크를 삽입하는 과정과,
    상기 워터마크가 삽입된 데이터 스트림을 저장하는 과정으로 이루어짐을 특징으로 하는 상기 방법.
  12. 제11항에 있어서, 상기 워터마크를 생성하는 과정이 미리 설정된 랜덤시퀀스에 촬영자 정보를 혼합하여 생성함을 특징으로 하는 상기 방법.
  13. 제12항에 있어서, 상기 촬영자 정보가 휴대단말기의 ESN 정보인 것을 특징으로 하는 상기 방법.
  14. 제13항에 있어서, 상기 촬영자정보에 가입자 전화번호가 더 구비됨을 특징으 로 하는 상기 방법.
  15. 제14항에 있어서, 상기 촬영자 정보가 상기 촬영된 위치 정보를 더 구비함을 특징으로 하는 상기 방법.
  16. 카메라를 구비하는 휴대단말기의 영상데이타 처리방법에 있어서,
    영상 재생모드시 코딩된 데이터 스트림의 소정 위치에 삽입된 워터마크를 추출하며, 사이 추출된 워터마크에서 촬영자정보를 검출하는 과정과,
    상기 워터마크가 추출된 데이터 스트림에서 헤더 정보를 추출하는 과정과,
    상기 헤더정보가 추출된 데이터 스트림을 설정된 디코딩 방식으로 디코딩하여 표시하는 과정으로 이루어짐을 특징으로 하는 상기 방법.
KR1020040065364A 2004-06-05 2004-08-19 휴대단말기의 촬영자 식별장치 및 방법 KR100678035B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US11/145,065 US7657056B2 (en) 2004-06-05 2005-06-06 Apparatus for identifying a photographer of an image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20040041167 2004-06-05
KR1020040041167 2004-06-05

Publications (2)

Publication Number Publication Date
KR20050115805A KR20050115805A (ko) 2005-12-08
KR100678035B1 true KR100678035B1 (ko) 2007-02-02

Family

ID=35581718

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040065364A KR100678035B1 (ko) 2004-06-05 2004-08-19 휴대단말기의 촬영자 식별장치 및 방법

Country Status (2)

Country Link
KR (1) KR100678035B1 (ko)
CN (1) CN100401736C (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005063136B3 (de) * 2005-12-30 2007-07-05 Siemens Ag Verfahren und Vorrichtung zum Generieren eines markierten Datenstroms, Verfahren und Vorrichtung zum Einfügen eines Wasserzeichens in einen markierten Datenstrom und markierter Datenstrom
WO2008128383A1 (fr) * 2007-04-23 2008-10-30 Aigo Research Institute Of Image Computing Co., Ltd Caméra numérique et son système d'acquisition d'informations de filigrane par le biais d'un dispositif externe
US20110280434A1 (en) * 2010-05-11 2011-11-17 Rajesh Mamidwar Method and system for watermakr insertin using video start codes
CN102377974B (zh) * 2010-08-04 2016-01-20 中国电信股份有限公司 一种移动终端、接收端、视频采集方法和系统
CN102378001A (zh) * 2010-08-11 2012-03-14 中国电信股份有限公司 支持图片直播模式的移动终端、视频直播方法及系统
US8886945B2 (en) * 2010-12-17 2014-11-11 Motorola Mobility Llc System and method for conveying session information for use in forensic watermarking
CN109040761A (zh) * 2018-09-17 2018-12-18 俞群爱 一种带有加密水印的监控上墙系统
WO2022246704A1 (zh) * 2021-05-26 2022-12-01 京东方科技集团股份有限公司 一种设备间通信的方法、摄像头及显示器
US11842421B1 (en) 2022-09-30 2023-12-12 AUO Corporation Method and display device for embedding watermark information to dimming signal of backlight module

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1174868A (ja) * 1996-09-02 1999-03-16 Toshiba Corp 情報伝送方法およびその方法が適用される情報伝送システムにおける符号化装置／復号化装置、並びに符号化・多重化装置／復号化・逆多重化装置
JP2001197341A (ja) * 2000-01-13 2001-07-19 Olympus Optical Co Ltd 写真システム
JP2004159219A (ja) * 2002-11-08 2004-06-03 Mitsubishi Electric Corp 画像撮影装置、画像複製装置、画像編集装置、撮影画像管理方法、複製画像管理方法および編集画像管理方法
JP2004140844A (ja) * 2003-10-29 2004-05-13 Canon Inc 携帯端末システム及び携帯端末及び画像処理装置及びその動作方法

Also Published As

Publication number Publication date
CN1708084A (zh) 2005-12-14
CN100401736C (zh) 2008-07-09
KR20050115805A (ko) 2005-12-08

Similar Documents

Publication Publication Date Title
US7657056B2 (en) Apparatus for identifying a photographer of an image
KR100566253B1 (ko) 휴대단말기의 영상표시 장치 및 방법
US7725015B2 (en) Image pickup apparatus, image recording apparatus and image recording method
CN100401736C (zh) 识别图像的拍摄者的设备
KR100651521B1 (ko) 휴대단말기의 속력측정방법
KR100689480B1 (ko) 휴대단말기의 영상크기 변환방법
CN101950410A (zh) 基于移动终端的数字图像处理方法及装置、移动终端
KR100630983B1 (ko) 화상 처리 방법과, 이 방법을 이용가능한 화상 부호화장치 및 화상 복호 장치
US7511859B2 (en) Mobile terminal having camera for inserting watermark data into image data and method thereof
KR100630203B1 (ko) 휴대단말기의 영상데이터 표시방법
KR100575924B1 (ko) 카메라를 구비하는 장치의 영상 촬영 방법
KR101104699B1 (ko) 휴대 단말기를 이용하여 비디오 콘텐츠의 정보를 획득하는장치 및 방법
US7606432B2 (en) Apparatus and method for providing thumbnail image data on a mobile terminal
JP2002051315A (ja) データ伝送方法およびその装置、並びにデータ伝送システム
WO2001033850A1 (fr) Procede et dispositif d'emission d'images
JPH0730888A (ja) 動画像送信装置及び動画像受信装置
JP2005182629A (ja) 情報送受信システムおよび方法、送信装置および送信方法、受信装置および受信方法、並びにプログラム
JP4223940B2 (ja) 画像生成装置、携帯端末、画像生成方法、画像表示方法及びプログラム
KR100769672B1 (ko) 화상 통신이 가능한 이동통신단말기
US20050044482A1 (en) Device and method for attaching information, device and method for detecting information, and program for causing a computer to execute the information detecting method
KR100895075B1 (ko) 불법 촬영 방지를 위한 카메라폰의 워터마크 은닉 및 검출방법
JP2000209592A (ja) 画像伝送装置と方法及びシステムとその制御方法
KR100673078B1 (ko) 영상 편집 프로그램이 저장된 외부 확장 메모리가 접속된이동통신 단말기, 및 이를 이용한 영상 편집 방법
KR20050041589A (ko) 휴대단말기의 영상 촬영 방법
KR20050072970A (ko) 영상 중계장치로서의 이동 통신 단말기

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121228

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20131230

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20141223

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee