KR20100066505A

KR20100066505A - 동영상 데이터의 조합시스템, 동영상 데이터베이스의 제작방법 및 동영상 데이터베이스에 동영상 데이터를 등록하기 위한 등록시스템 및 프로그램

Info

Publication number: KR20100066505A
Application number: KR1020107005374A
Authority: KR
Inventors: 카시코 코다테; 에리코 와타나베; 사유리 이시카와
Original assignee: 카시코 코다테
Priority date: 2007-09-12
Filing date: 2008-09-11
Publication date: 2010-06-17
Also published as: CN101816007A; JP2009070349A; KR101579626B1; JP4281097B2; EP2202663A4; US20100299353A1; WO2009035032A1; EP2202663A1

Abstract

네트워크상의 사이트에 있어서 열람가능한 상태로 된 열람 동영상 데이터에 대하여, 실효적인 검열을 가능하게 하는 조합시스템을 제공한다.
네트워크상의 사이트에 있어서 열람가능한 상태로 된 열람 동영상 데이터를 조합하는 조합시스템에 있어서, 복수의 등록 동영상 데이터가 정보로서 등록된 동영상 데이터베이스와, 열람 동영상 데이터와 동영상 데이터베이스에 등록된 등록 동영상 데이터를 조합하는 조합수단을 구비하고, 열람 동영상 데이터는 견본용으로서 표시되는 정지 화상을 가지며, 동영상 데이터베이스는 각 등록 동영상 데이터로서 해당 등록 동영상 데이터를 재생한 재생 동영상의 복수 프레임 화상으로부터 생성된 복수의 등록용 화상으로 이루어지는 등록용 화상군이 기록된 기록매체를 가지며, 조합수단은 열람 동영상 데이터의 견본용 정지 화상으로부터 생성된 검색용 화상과 동영상 데이터베이스의 기록매체에 기록된 등록용 화상을 조합한다.

Description

동영상 데이터의 조합시스템, 동영상 데이터베이스의 제작방법 및 동영상 데이터베이스에 동영상 데이터를 등록하기 위한 등록시스템 및 프로그램{MOVING IMAGE DATA CHECKING SYSTEM, MOVING IMAGE DATABASE CREATING METHOD, AND REGISTERING SYSTEM AND PROGRAM FOR REGISTERING MOVING IMAGE DATA IN MOVING IMAGE DATABASE}

본 발명은 네트워크상의 사이트에 있어서 열람 가능한 상태로 되는 열람 동영상 데이터를 조합하는 조합시스템, 열람 동영상 데이터를 조합하기 위하여 사용되는 복수의 동영상 데이터가 정보로서 등록된 동영상 데이터베이스를 제작하는 방법 및 동영상 데이터베이스에 동영상 데이터를 등록하기 위한 등록시스템 및 프로그램에 관한 것이다.

최근 소설, 음악, 영화, 사진 등 정보의 디지털화 및 인터넷의 보급에 따라 인터넷 상에서의 저작권 침해가 문제시 되고 있다. 이는 정보를 디지털화함으로써 품질은 떨어뜨리지 않고 정확하게 복제하는 것이 가능하고, 또한 정보의 편집, 번안 등의 2차 이용 또는 3차 이용이 용이하며, 또한 인터넷을 통하여 공중송신할 수 있는 등, 타인의 저작물을 쉽게 이용할 수 있는 환경인 것에 기인한다. 특히 기업 등의 단체뿐만 아니라 각 개인도 이러한 환경 하에 있으므로 저작권 침해의 예방, 관리에 어려움을 겪고 있다.

최근, 인터넷 상에서 동영상을 공유하는 동영상 공유서비스가 제공되고 있지만, 이 동영상 공유서비스에 있어서 저작권 침해가 큰 문제가 되고 있다. 동영상 공유서비스란 어느 유저(user)가 업로드한 동영상 데이터를 공유화하는 것으로, 다른 유저에게도 다운로드 가능한 상태로 하여 동영상을 공개, 열람할 수 있도록 하는 서비스이다. 이 동영상 공유서비스에는 하루에 몇 만건이나 동영상 데이터가 투고되고, 이들 동영상 데이터 중에는 저작권을 침해하는 위법의 것도 다수 포함되어 있는 것이 현 상황이다. 예를 들면, 영화, 텔레비젼 프로그램, 라이브 영상, 프로모션 비디오 등이 저작권자에 무단으로 업로드되고 있다.

종래 동영상 공유서비스에서의 저작권 관리는 이용약관 등에 저작권을 침해하는 동영상 데이터의 투고를 금지하는 취지를 기재했을 뿐, 각 유저의 윤리에 맡겨 특별한 검열 시스템을 마련하지 않았다. 만약 위법의 동영상 데이터가 업로드 된 경우라 하더라도, 제 3자로부터 위법 동영상 데이터로 지적된 것에 대하여 삭제하였을 뿐이었다. 저작권자 등은 업로드된 동영상 데이터를 다운로드하여 재생하고, 눈으로 확인함으로써 위법 동영상 데이터를 검색하고 통보하였으나, 매일 매일 몇 만건이나 증가하는 동영상 데이터 전체를 확인하는 것은 현실적으로 어려웠다. 더구나 위법인 동영상 데이터를 통보하여 삭제하여도 유저에 의하여 다시 투고되는 일이 많으므로, 종래의 대책은 실효적이라고 할 수 없었다.

종래의 동영상 검색기술은 동영상에 키워드를 설정해 두고, 검색자가 키워드를 입력하여 키워드와 일치하는 동영상을 검색하는 기술이 대부분이었다. 그러나 키워드를 이용한 동영상 검색방법으로는 설정한 키워드가 동영상에 대하여 부적절한 경우에는 적절한 동영상을 검색할 수 없는 문제가 있었다. 또한, 키워드의 설정에는 개인차가 존재하고, 또한 개인의 주관의 차이나 표현의 차이에 따라 키워드가 반드시 일치하는 것은 아니라는 문제가 있으며, 나아가 키워드가 일치한 경우에는 목적으로 하는 동영상 이외의 동영상도 검색되어 버리는 문제가 있었다.

관련 키워드에 의한 동영상 검색방법에 대하여, 일본국 특개평7-114567호 공보에는 동영상 장면의 변환프레임 화상을 추출하여 대표 프레임 화상으로 하고, 대표 프레임 화상의 전체 또는 부분으로부터 화상의 특정색의 면적, 대표 프레임간의 시간 길이, 음 강도의 적분치, 음의 일정강도 이상의 시간 길이 등의 특징량을 계산하고, 특징량에 대응한 코드를 할당하여 대표 프레임에 대하여 코드 또는 코드열에 명칭을 붙여 동영상의 대표 프레임열에 대응하는 프레임 명칭열로 동영상 명칭을 작성하고, 이 동영상의 명칭을 이용하여 조합하는 동영상 검색방법이 개시되어 있다.

그러나 현재 동영상 공유서비스에 있어서, 위법인 동영상 데이터의 필터링은 충분히 실현되지 않고 실효적인 동영상 검색방법이 요구되고 있다. 상기 일본국 특개평7-114567호 공보의 동영상 검색방법은 동영상 중에서 일치하는 영상장면을 검색하는 것을 목적으로 한 것으로, 동영상 공유서비스에 있어서 위법인 동영상 데이터를 검색하는 것은 아니었다.

동영상 공유서비스에 있어서 위법인 동영상 데이터를 검색하기 위해서는 동영상 공유서비스에 업로드된 동영상이 위법인 것인지 아닌지를 조사할 필요가 있고, 동영상 공유서비스에 업로드된 다수의 동영상에 대하여 각각이 위법인 것인지 아닌지를 조합할 필요가 있다. 업로드되는 동영상으로는 오리지널 동영상의 전체인 경우도 있고, 임의로 잘라서 일부분만 업로드되는 경우도 있다. 또한 같은 동영상이 복수회 업로드되는 일도 있으므로, 연속적인 감시도 필요하다.

일본국 특개평7-114567호 공보에는 이러한 동영상 공유서비스에 있어서 위법인 동영상 데이터를 검색하는 방법에 대하여는 개시되어 있지 않다. 게다가 일본국 특개평7-114567호 공보의 동영상 검색방법에서는 동영상의 대표 프레임열에 대응하는 프레임의 명칭열(동영상의 명칭)에 의하여 조합하기 때문에, 업로드된 동영상을 다운로드하고 업로드된 동영상의 동영상 명칭을 산출하여 조합할 필요가 있다. 따라서 업로드된 동영상을 그때마다 다운로드해야 하므로 검색에 시간이 걸리고, 또한 다운로드에 걸리는 시간이 고속화로의 걸림돌의 하나가 되었다. 또한 세세하게 잘려진 동영상 데이터 또는 동영상을 자르는 방식에 따라서는 정확하게 조합할 수 없는 가능성이 있다. 또한 수시로 갱신되는 동영상 데이터에 대하여 동영상 명칭을 산출할 필요가 있어 처리장치의 처리량이 방대하게 되어 버린다. 게다가 동영상 명칭 산출의 기초가 되는 특징량에 대해서는, 다른 동영상이라 하더라도 추출한 특징량이 일치 또는 유사하면 검색되어 버리므로 인증 정밀도가 저하된다고 하는 문제가 존재한다.

이러한 점에서, 본 발명은 네트워크 상의 사이트에 있어서 열람 가능한 상태로 되는 열람 동영상 데이터에 대하여 실효적으로 검열할 수 있는 조합시스템을 제공하는 것을 목적으로 한다. 또한 본 발명은 동영상 데이터가 정보로서 등록되는 동영상 데이터베이스에 있어서 단위용량당 동영상 데이터의 등록수를 늘리고, 검색도 용이한 동영상 데이터베이스의 제작방법을 제공하는 것을 목적으로 한다. 또한 본 발명은 동영상 데이터를 동영상 데이터베이스에 등록할 때, 간편한 방법으로 또한 정보유출에 대한 보안을 강화한 등록시스템 및 프로그램을 제공하는 것을 목적으로 한다. 또한 이들 조합시스템, 동영상 데이터베이스의 제작방법, 등록시스템 및 프로그램을 이용하여 저작권의 관리나 새로운 비지니스모델을 제공하는 것을 목적으로 한다. 또한 이들 목적은 각각 관련이 깊은 것을 대표적으로 나타낸 것으로, 서로 관련 또는 중첩되어 있다.

본 발명의 조합시스템은 네트워크상의 사이트에 있어서 열람 가능한 상태로 되는 열람 동영상 데이터를 조합하는 조합시스템으로서, 복수의 등록 동영상 데이터가 정보로서 등록된 동영상 데이터베이스와 상기 열람 동영상 데이터와 상기 동영상 데이터베이스에 등록된 등록 동영상 데이터를 조합하는 조합수단을 가지고, 상기 열람 동영상 데이터는 견본용으로서 표시되는 정지 화상을 가지며, 상기 동영상 데이터베이스는 각 등록 동영상 데이터로서 해당 등록 동영상 데이터를 재생한 재생 동영상의 복수의 프레임 화상으로부터 생성된 복수의 등록용 화상으로 이루어지는 등록용 화상군이 기록된 기록매체를 가지며, 상기 조합수단은 상기 열람 동영상 데이터의 견본용 정지 화상으로부터 생성된 검색용 화상과 상기 동영상 데이터베이스의 기록매체에 기록된 등록용 화상을 조합하는 것을 특징으로 한다.

또한 본 발명의 상기 조합시스템에 있어서, 상기 열람 동영상 데이터로부터 임의 또는 무작위로 견본의 정지 화상을 추출하는 기능을 구비하는 것이 바람직하다. 또한 상기 각 등록 동영상 데이터의 등록용 화상군은 해당 등록용 화상군에 포함되는 등록용 화상의 하나와 다른 하나와의 상관연산의 결과가 미리 설정된 한계치보다 작은 것이 바람직하다. 또한 상기 등록용 화상은 프레임 화상으로부터 생성되는 사이에 적어도 2치(2値) 화상화 처리가 이루어지는 것이 바람직하다. 여기에서, 상기 검색용 화상은 상기 열람 동영상 데이터의 견본용 정지 화상으로부터 생성되는 사이에 적어도 2치 화상화 처리가 이루어지고, 상기 조합수단은 상기 검색용 화상과 상기 등록용 화상을 상관연산하여 조합하는 것이 바람직하다.

또한 본 발명의 상기 조합시스템에 있어서, 상기 동영상 데이터베이스에는 각 등록용 화상에 대응하는 프레임 화상의 화상특징정보가 기록되어 있고, 상기 조합수단은 상기 열람 동영상 데이터의 견본용 정지 화상의 화상특징정보를 산출하여, 상기 동영상 데이터베이스에 기록된 화상특징정보와 조합해도 된다. 또한 본 발명의 상기 조합시스템에 있어서, 상기 등록 동영상 데이터에는 적어도 하나의 키워드가 설정되고, 상기 열람 동영상 데이터는 적어도 하나의 키워드 데이터가 부가되어 있어 상기 조합수단은 상기 열람 동영상 데이터에 부가된 키워드 데이터로부터 취득한 키워드와 상기 등록 동영상 데이터에 설정된 키워드를 조합해도 된다.

또한 본 발명의 상기 조합시스템에 있어서, 상기 열람 동영상 데이터가 상기 동영상 데이터베이스에 등록되어 있는 경우, 상기 열람 동영상 데이터에 식별데이터를 부가하는 것이 바람직하고, 상기 식별 데이터를 바탕으로 상기 열람 동영상 데이터의 열람조건을 변경하는 것이 보다 바람직하다.

본 발명의 동영상 데이터베이스의 제작방법은 복수의 등록 동영상 데이터가 정보로서 등록된 동영상 데이터베이스의 제작방법으로서, 등록 동영상 데이터의 하나를 재생하여 재생 동영상을 얻는 재생단계와, 상기 재생 동영상의 복수 프레임 화상에 2치 화상화를 포함하는 화상처리를 실시함으로써 복수의 등록용 화상을 생성하는 생성단계와, 상기 복수의 등록용 화상으로 이루어지는 등록용 화상군을 기록매체에 기록하는 기록단계를 가지며, 상기 재생단계와 상기 기록단계의 사이에 상기 기록용 화상군에 포함되는 등록용 화상의 하나와 다른 하나와의 상관연산 결과가 미리 설정된 한계치보다 작아지도록 선별하는 선별단계를 구비한 것을 특징으로 한다.

또한, 상기 동영상 데이터베이스의 제작방법에 있어서, 상기 선별단계는 상기 재생 동영상의 각 프레임 화상으로부터 생성된 각 등록용 화상끼리를 상관연산하고, 상관연산한 결과가 미리 설정된 한계치보다 큰 경우에는 한쪽의 등록용 화상을 제외하는 처리를 포함하는 것이 바람직하다.

또한, 상기 동영상 데이터베이스의 제작방법에 있어서, 상기 등록용 화상에 대응하는 프레임 화상에 대하여 화상 특징정보를 산출하고, 해당 등록용 화상과 관련지어 화상특징정보를 기록하는 등록데이터 기록단계를 포함하고 있어도 된다.

또한, 상기 동영상 데이터베이스의 제작방법에 있어서, 적어도 상기 재생단계 및 상기 생성단계는 상기 등록 동영상 데이터의 하나를 보유하는 등록자의 정보처리장치에서 이루어지는 것이 바람직하다.

본 발명의 등록시스템은 복수의 등록 동영상 데이터가 정보로서 등록된 동영상 데이터베이스에 등록 동영상 데이터를 등록하는 등록시스템으로서, 네트워크와 상기 네트워크에 접속된 동영상 데이터베이스의 서버와 상기 네트워크에 접속된 정보처리장치를 구비하고, 상기 정보처리장치는 등록 동영상 데이터의 하나를 재생하여 재생 동영상을 취득하고, 상기 재생 동영상의 복수 프레임 화상에 적어도 2치 화상화처리를 실시하여 복수의 송신용 화상을 생성하고, 상기 복수의 송신용 화상을 상기 동영상 데이터베이스의 서버에 송신하고, 상기 동영상 데이터베이스의 서버는 상기 복수의 송신용 화상으로부터 복수의 등록용 화상을 생성하여 상기 복수의 등록용 화상으로 이루어지는 등록용 화상군을 기록매체에 기록하는 것을 특징으로 한다.

또한, 상기 시스템에 있어서, 상기 송신용 화상은 상기 등록용 화상이고, 상기 동영상 데이터베이스 서버는 상기 정보처리장치로부터 송신된 복수의 송신용 화상을 복수의 등록용 화상으로서 기록매체에 기록하는 것이 바람직하다. 또한 상기 정보처리장치는 상기 재생 동영상의 각 프레임 화상을 바탕으로 한 화상끼리를 상관연산하고, 상관연산한 결과가 미리 설정된 한계치보다 큰 경우에는 한쪽의 화상을 제외하는 것이 바람직하다.

본 발명의 프로그램은 복수의 등록 동영상 데이터가 정보로서 등록된 등록 데이터베이스 서버에 등록 동영상 데이터를 등록하기 위하여, 상기 동영상 데이터베이스 서버와 네트워크를 통하여 접속된 정보처리장치를 상기 등록 동영상 데이터를 재생하여 재생 동영상을 얻는 재생수단, 상기 재생 동영상의 복수 프레임 화상에 적어도 2치 화상화처리를 실시하여 송신용 화상을 생성하는 화상 처리수단 및 상기 복수의 송신용 화상을 상기 네트워크를 통하여 상기 동영상 데이터베이스 서버에 송신하는 송신수단으로서 기능하도록 한다.

또한 상기 프로그램에 있어서, 상기 재생 동영상의 각 프레임 화상을 바탕으로 한 화상끼리를 상관연산하고, 상관연산한 결과가 미리 설정한 한계치보다 큰 경우에는 상기 정보처리장치를 한쪽의 화상을 제외하는 선별수단으로서 기능하도록 하는 것이 바람직하다. 여기에서, 상기 정보처리장치를 한계치의 입력수단으로서 기능하도록 하고, 상기 입력수단으로부터 입력된 한계치를 상기 선별수단으로 사용해도 된다.

본 발명의 조합시스템을 이용함으로써 네트워크상의 사이트에서 열람가능한 상태로 되는 열람 동영상 데이터에 대하여, 동영상 데이터베이스에 등록되어 있는 등록 동영상 데이터와 조합할 수 있으므로, 등록 동영상 데이터의 관리나 저작권 보호 또는 허락을 일괄적으로 실행할 수 있고, 또한 동영상 데이터베이스에 등록된 범위 내에서 검열하는 것이 가능하며, 위법인 동영상 데이터가 업로드되는 것에 따른 침해행위, 나아가 등록자로부터의 권리행사를 회피하는 것이 가능하다. 그 외의 효과에 대해서는 이하의 실시형태에 기재한다.

도 1은 본 발명의 조합시스템을 나타낸 개략 구성도이다.
도 2는 데이터의 흐름을 개략적으로 나타낸 블록도이다.
도 3(A)는 동영상 데이터베이스의 데이터 구조를 모식적으로 나타낸 것이고, (B)~(E)는 각각 등록 동영상 데이터의 데이터 구조를 모식적으로 나타낸 것이다.
도 4는 동영상 데이터베이스 제작처리의 흐름도이다.
도 5는 조합처리의 흐름도이다.
도 6은 조합서버의 구성도이다.
도 7(A)~(C)는 각 동영상 데이터베이스에서의 오류 발생율을 나타낸 것이다.
도 8은 견본용의 정지 화상을 검색용 화상으로서 이용한 조합시스템에서의 오류 발생율을 나타낸 것이다.

이하, 본 발명의 실시형태를 도면을 참조하여 설명하지만, 본 발명은 하기예에 한정되는 것은 아니다. 도 1은 본 발명의 조합시스템 및 관련 시스템을 나타낸 개략구성도이고, 도 2는 데이터의 흐름을 개략적으로 나타낸 블록도이다. 도 1에 있어서, 클라이언트군(10)이 접속된 네트워크(11)가 형성되어 있고, 네트워크(11)상에는 동영상 데이터를 클라이언트군(10)이 열람할 수 있도록 제공하는 사이트(12)가 개설되고, 사이트(12)에 열람 가능한 상태로 되는 열람 화상 데이터(13)를 조합하는 조합서버(1)가 형성되어 있다. 우선 조합시스템 전체 및 그 비지니스 모델에 대하여 개략적으로 설명하고, 그 후 조합시스템 등의 구체적인 구성에 대하여 상세히 서술한다.

조합서버(1)에는 복수의 등록 동영상 데이터가 정보로서 등록된 동영상 데이터베이스(2)와, 열람 동영상 데이터와 동영상 데이터베이스(2)에 등록된 등록 동영상 데이터를 조합하는 조합수단(3)이 형성되어 있다. 등록 동영상 데이터는 등록자(5,6)로부터 제공되고, 동영상 데이터베이스(2)에 등록된다.

클라이언트군(10)은 사이트(12)를 이용하는 복수의 클라이언트로 구성되고, 네트워크(11)에 접속하여 사이트(12)의 서버에 대하여 동영상 데이터의 열람 등을 요구할 수 있다. 예를 들면 클라이언트군(10)으로는, 동영상 공유사이트의 유저나 유료 콘텐츠의 회원 등을 들 수 있고, 구체적인 단말장치로는 퍼스널 컴퓨터, 휴대정보단말기, 휴대전화 등을 들 수 있다.

네트워크(11)는 클라이언트의 단말장치 사이를 연결하는 전기통신회로망으로, 인터넷, WAN(Wide Area Network), LAN(Local Area Network) 등을 들 수 있다.

사이트(12)는 클라이언트군(10)에게 열람 동영상 데이터를 제공하는 콘텐츠가 준비되어 있고, 도 1에 있어서는 열람조건이 다른 A, B, C의 콘텐츠가 준비되어 있다. A, B, C의 콘텐츠로서 예를 들면 완전 무료 콘텐츠, 일부만 시청할 수 있는 콘텐츠, 유료콘텐츠 등을 들 수 있다. 사이트(12)는 투고되는 열람 동영상 데이터에 대하여 투고시에 키워드를 설정하도록 하는 것도 가능하다. 또한 사이트(12)는 투고된 열람 동영상 데이터에 대하여 견본용으로 적어도 1매의 정지 화상(일반적으로 썸네일 화상(thumbnail image)이라 칭함)을 표시하는 구성이어도 된다.

열람 동영상 데이터(13)는 조합서버(1)에서 조합된 후에, 사이트(12)에 있어서 열람 가능한 상태로 되는 것이 바람직하지만, 도 2에 나타낸 바와 같이 조합서버(1)를 경유하지 않고 사이트(12)에서 직접 업로드되는 구성이어도 상관 없다. 열람 동영상 데이터(13)가 사이트(12)에 직접 업로드되는 경우에는, 조합서버(1)는 사이트(12)로부터 열람 동영상 데이터를 취득하여 등록 동영상 데이터와 조합하면 된다. 도 1에서 열람 동영상 데이터(13)는 클라이언트군(10)으로부터 네트워크(11)를 통하여 사이트(12)의 서버에 업로드되어 있다. 또한 업로드된 열람 동영상 데이터(15)는 다른 클라이언트로부터의 열람 요구를 바탕으로, 그 클라이언트의 단말장치에 네트워크(11)를 통하여 다운로드된다.

열람 동영상 데이터(13)는 클라이언트 이외에 의하여 열람 가능한 상태로 되어도 되고, 네트워크 이외의 수단에 의하여 사이트(12)에 송신되어도 상관 없다. 또한 사이트(12)에는 링크만을 걸어두고, 열람 동영상 데이터(13) 그 자체는 동영상 데이터의 제공자의 단말장치 안에 보존한 상태로 해도 된다. 따라서, 사이트(12)에 걸어둔 링크를 통해 다른 클라이언트로부터 열람 요구가 있는 경우에는 제공자의 단말장치로부터 다른 클라이언트의 단말장치로 직접 다운로드된다.

본 발명의 조합시스템에 있어서, 보다 빠르게 조합을 처리하기 위해서는 열람 동영상 데이터가 견본용으로서 표시되는 정지 화상을 가지는 것이 바람직하다. 견본용으로서 표시되는 정지 화상이란, 열람 동영상 데이터의 재생 동영상에서의 프레임 화상 또는 프레임 화상을 축소하여 용량을 작게 한 화상으로, 적어도 조합서버에서 표시되는 화상이다. 전형적으로는 재생 동영상의 최초 프레임 화상이지만, 이에 한정되는 것은 아니다. 또한, 견본용으로서 표시되는 정지 화상은 1장이어도 되고, 복수장이어도 상관 없다. 사이트(12)에 투고된 열람 동영상 데이터의 썸네일 화상으로 표시되는 것 뿐만 아니라, 사이트(12) 상에는 표시되지 않아도 클라이언트로부터 열람 요구가 있는 경우에 열람 동영상 데이터의 견본용으로서 다운로드되어 표시되는 정지 화상이나, 또는 후술하겠지만 클라이언트나 네트워크상에서는 표시되지 않는 임의 또는 무작위로 추출된 프레임 화상을 바탕으로 한 정지 화상도 포함한다. 또한 도 1에 나타낸 바와 같이, 열람 동영상 데이터(13)가 클라이언트군(10)으로부터 조합서버(1)를 경유하여 사이트(12)에 업로드되는 경우, 클라이언트군(10)의 정보처리장치로부터 조합서버(1)의 정보처리장치까지의 사이의 인터페이스로서, 열람 동영상 데이터(13)의 재생 동영상의 프레임 화상 또는 프레임 화상을 축소하여 용량을 작게 한 화상을 다운로드할 수 있는 구성이면 열람 동영상 데이터(13)는 견본용으로서 표시되는 정지 화상을 가지고 있는 것이 된다.

또한 열람 동영상 데이터(13)에는 조합 및 검색을 용이하게 하기 위한 키워드 데이터를 적어도 하나 부가하도록 하는 것이 바람직하다(도 2 참조). 키워드 데이터는 열람 동영상 데이터(13)의 투고자에게 임의로 선택하도록 해도 되지만, 미리 동영상 데이터의 분야를 특정하는 키워드를 설정해 두어도 된다. 또한, 키워드를 입력하지 않으면 사이트(12)에 투고할 수 없는 구성으로 하여도 된다. 이 키워드 데이터는 사이트(12)에 있어서 클라이언트가 동영상을 검색하는 경우에 사용해도 되고, 조합서버(1)의 동영상 데이터베이스(2)에 있어서 조합을 용이하게 하기 위하여 사용되어도 된다. 예를 들면, 동영상 데이터베이스(2)에 등록 동영상 데이터를 등록할 때, 등록 데이터로서 키워드를 기록해 두고, 키워드 데이터에 해당하는 등록 동영상 데이터로부터 조합하거나, 동영상 데이터베이스(2)로서 분야 또는 키워드별로 등록 동영상 데이터를 등록하고, 키워드 데이터에 해당하는 영역에서 조합하여도 된다.

조합서버(1)에 의해 조합된 조합종료 열람 동영상 데이터(14)에는 식별데이터를 부여하는 것이 바람직하다. 식별데이터는 조합서버(1)에 있어서 조합종료라는 이력만을 부여해도 되고, 열람 동영상 데이터(13)가 동영상 데이터베이스(2)에 등록되어 있는지의 여부를 식별하는 것이어도 되고, 또한 열람 동영상 데이터(13)가 동영상 데이터베이스(2)에 등록되어 있는 경우에는 열람조건이나 등록데이터의 일부를 포함해도 된다.

예를 들면, 조합서버(1)에 있어서 조합종료의 식별데이터가 부여된 열람 동영상 데이터(14)가 다른 클라이언트에 다운로드되고, 다른 클라이언트로부터 다시 투고된 경우, 조합서버(1)는 조합 종료의 식별데이터를 인식하여 그 식별데이터가 부여된 열람 동영상 데이터(14)에 대하여 조합의 필요 여부를 판단할 수 있다. 또한 식별데이터로서 동영상 데이터베이스(2)에 등록되어 있는지 아닌지의 정보를 포함하고 있으면 등록 유무로 열람조건을 변경하는 등, 네트워크상에서 동영상 데이터를 관리할 수 있다. 또한 동영상 타이틀이나 열람조건 등의 정보도 식별데이터에 포함시키면 보다 세밀하게 열람조건을 설정하거나 관리할 수 있게 된다.

열람조건으로는 예를 들면 투고된 열람 동영상 데이터(13)를 열람하지 않고 삭제하거나 유료 콘텐츠로 하거나 열람회수에 따라 과금하거나 일부만을 시청 가능하게 하거나 무효콘텐츠로 하는 것 등을 들 수 있다.

도 1에 있어서, 열람 동영상 데이터(13)는 조합서버(1)의 동영상 데이터베이스(2)와 조합되고, 조합결과에 따라 A~C의 식별데이터가 부여되어 A~C 식별데이터를 바탕으로 사이트(12)에 준비된 A, B, C의 각 콘텐츠에 업로드되어 있다.

또한 식별데이터는 열람 동영상 데이터 중, 동영상 데이터베이스(2)에 등록되어 있는 것에만 부여되는 구성이어도 된다. 또한 조합사이트(1)에 있어서 조합결과에 따라 열람 동영상 데이터를 처리하는 경우에는 열람 동영상 데이터에 식별데이터를 부여하지 않아도 된다. 예를 들면 동영상 데이터베이스(2)에 등록되어 있는 등록 동영상 데이터에 대하여, 일절 열람하지 않고 업로드하지 않은 경우라면, 동영상 데이터베이스에 등록된 등록 동영상 데이터와 일치한 열람 동영상 데이터는 조합서버(1)에서 삭제하면 되고, 사이트(12)에 업로드되는 열람 동영상 데이터에는 식별데이터를 부여하지 않아도 된다. 다시 말하면, 사이트(12)에 업로드되는 것 자체가, 그 열람 동영상 데이터가 동영상 데이터베이스에 등록되어 있지 않다는 것을 의미한다. 그 밖에도, 단순한 조사나 동영상 데이터의 투고회수 등을 관리하는 것 뿐이라면, 조합서버(1)에 있어서 그 정보를 등록자에게 제공하면 되고, 열람 동영상 데이터(13)에 식별데이터를 부여하지 않아도 된다.

또한 조합서버(1) 또는 사이트(12)는 열람 동영상 데이터(13)가 동영상 데이터베이스(2)에 등록되어 있는 경우, 해당 동영상 데이터를 동영상 데이터베이스(2)에 등록한 등록자에 대하여 동영상 데이터에 관한 정보를 제공해도 된다(도 2 참조). 동영상 데이터에 관한 정보로는, 예를 들면 등록한 동영상 데이터의 투고회수, 열람(다운로드) 회수, 동영상 데이터를 투고한 클라이언트의 정보 등을 들 수 있다.

또한 조합서버(1)는 열람 동영상 데이터(13)로서 동영상 데이터베이스(2)에 등록되어 있는 동영상 데이터를 투고한 클라이언트에 대하여 해당 동영상 데이터를 투고하는 것이 저작권을 침해한다는 것을 알리는 경고메세지를 송신해도 된다(도 2 참조). 이러한 경고메세지를 송신함으로써, 클라이언트군(10)의 저작권에 대한 의식을 높일 수 있다.

이상과 같은 조합시스템을 이용하면, 등록자(5,6)는 각각 관리하고 싶은 동영상 데이터를 등록 동영상 데이터로서 동영상 데이터베이스(2)에 등록함으로써, 일괄적으로 네트워크(11)상에서의 등록 동영상 데이터의 관리나 저작권 보호 또는 허락을 실행할 수 있다. 또한 사이트(12)는 열람 동영상 데이터에 대하여, 동영상 데이터베이스(2)에 등록된 범위 내에서 검열할 수 있고, 위법인 동영상 데이터의 업로드에 따른 침해행위, 나아가 등록자로부터의 권리행사를 회피할 수 있다.

즉, 조합서버(1)는 등록자(5,6)에 대하여 관리하고 싶은 동영상 데이터를 동영상 데이터베이스(2)에 등록하는 서비스를 제공할 수 있고, 또한 등록 동영상 데이터 관리의 일부를 대행하는 서비스도 제공할 수 있다. 또한 조합서버(1)는 사이트(12)에 대하여 동영상 데이터베이스(2)에 등록된 범위 내에서 열람 동영상 데이터의 검열서비스를 제공할 수 있고, 열람 동영상 데이터의 관리 일부를 대행하는 서비스도 제공할 수 있다. 또한 등록자(5,6)나 사이트(12) 자체가 조합서버(1)를 제공하는 것도 가능하다.

이어서 조합서버(1)에 대하여 설명한다. 조합서버(1)는 복수의 등록 동영상 데이터가 정보로서 등록된 동영상 데이터베이스(2)가 기록된 기록매체 및 열람 동영상 데이터와 동영상 데이터베이스(2)에 등록된 등록 동영상 데이터를 조합하는 조합수단(3)의 적어도 일부로서 기능하는 정보처리장치가 형성되어 있다.

본 발명의 조합서버(1)에 의한 조합시스템의 특징 중 하나는, 최종적인 열람 동영상 데이터와 등록 동영상 데이터와의 조합이 화상끼리(전자화된 화상데이터 포함)를 비교함으로써 실시되는 점에 있다. 결국, 본 발명의 조합시스템은 종래의 키워드나 특징량에 의한 조합을 배제하는 것은 아니지만 등록 동영상 데이터의 재생 동영상으로부터 생성된 등록용 화상과 열람 동영상 데이터의 재생 동영상으로부터 생성된 검색용 화상과의 직접적인 조합이 필수인 것이다. 화상끼리를 직접 조합하기 때문에 조합 정밀도를 높일 수 있다. 또한 등록 동영상 데이터로서 등록 동영상 데이터의 재생 동영상의 주요 프레임 화상에 대응하는 등록용 화상으로 이루어지는 등록용 화상군을 기록해 둠으로써 검색용 화상이 등록 동영상 데이터의 어느 장면이라도 확실히 검색하는 것이 가능하다.

따라서, 열람 동영상 데이터의 견본용 정지 화상으로부터 생성된 검색용 화상만을 이용하여 조합한 경우라 하여도, 등록 동영상 데이터의 등록용 화상군과 조합함으로써 열람 동영상 데이터와 등록 동영상 데이터가 일치 또는 유사한지 아닌지의 여부를 판별할 수 있다. 견본용 정지 화상 그 자체는 열람 동영상 데이터를 다운로드하는데 비해 극히 용량이 작으므로, 다운로드를 단시간에 할 수 있고, 빠른 속도로 조합을 실시할 수 있다. 그리고 사이트에 업로드되는 다수의 열람 동영상 데이터에 대하여서도 실효적인 조합수단이 될 수 있다. 예를 들면 열람 동영상 데이터의 용량이 수 MB(메가바이트) 이상이라 하더라도, 썸네일 화상 그 자체는 128픽셀(횡)×96픽셀(종) 정도의 화상데이터이므로 다운로드 시간 및 연산량을 압도적으로 단축할 수 있다.

이와 같이 썸네일 화상을 이용하는 조합시스템에 대하여, 악의적인 클라이언트가 썸네일 화상이 되는 프레임 화상에 대하여 어떤 화상처리를 하여 조합을 방해할 가능성이 있다. 따라서 조합시스템은 열람 동영상 데이터로부터 임의 또는 무작위로 견본의 정지 화상을 추출하는 기능을 가지는 것이 바람직하다. 이러한 기능을 실현하기 위해서는 업로드하는 클라이언트의 정보처리장치, 조합서버의 정보처리장치, 사이트 서버의 정보처리장치 등을, 열람 동영상 데이터를 재생하여 재생 동영상을 얻는 재생수단, 재생 동영상 중에서 임의의 프레임 화상 또는 무작위로 프레임 화상을 추출하고, 추출한 프레임 화상으로부터 견본의 정지 화상을 생성하는 화상생성수단으로서 기능하도록 하는 프로그램을 사용하면 된다. 여기에서, 견본의 정지 화상은 시간적으로 떨어져 있는 복수장의 프레임 화상으로부터 복수장 생성하는 것이 바람직하다. 또한 조합시스템의 신뢰성을 높이기 위해서는 프레임 화상의 추출위치에 대하여 클라이언트는 조작할 수 없는 프로그램으로 하는 것이 바람직하며, 또한 클라이언트나 네트워크상에서는 어느 프레임 화상이 추출되었는지 열람할 수 없는 구성으로 하는 것도 효과적이다.

그리고 동영상 데이터베이스(2)에는 각 등록 화상 데이터로서 해당 등록 동영상 데이터를 재생한 재생 동영상의 복수 프레임 화상으로부터 생성된 복수의 등록용 화상으로 이루어지는 등록용 화상군이 기록되어 있다. 결국, 도 3(A)에 나타낸 바와 같이 동영상 데이터베이스(2)에는 등록 동영상 데이터의 개수에 따른 복수의 등록용 화상군(16)이 기록되어 있고, 각 등록용 화상군(16)에는 각각 복수의 등록용 화상(17)이 포함되는 관계이다.

복수 프레임 화상으로서 재생 동영상의 전체 프레임 화상을 그대로 등록하는 것이 등록 동영상 데이터의 정보량이 가장 많이 기록되는 것이지만, 그 결과 연산시간이 길어지고 막대한 기록용량이 필요하게 된다. 현재 일본에서 사용되고 있는 동영상은 TV 방송에서는 NTSC규격으로 29.97fps(프레임/초)이고, 영화에서는 24fps이므로, 각각 1초간 약 30 프레임 및 24 프레임의 정지 화상으로 구성되어 있다. 또한 각 프레임 화상은 해상도에 따른 화소수의 화소 배열로 구성되는 패턴정보 또는 각 화소마다 색(色)정보를 가지고 있으므로, 전체 프레임 화상을 등록용 화상군으로서 등록하면 총 데이터 용량이 매우 커지게 된다. 예를 들면 해상도가 600×480인 풀 컬러(24비트)의 화상은 단순히 계산하면 27MB의 데이터 용량이 되고, 90분의 영화(24fps)의 경우 프레임 화상은 129,600장이 되므로 1편의 동영상 데이터로 계산해도 도저히 현실적이라고는 할 수 없다.

따라서 재생 동영상의 프레임 화상에 적어도 2치 화상화 처리를 실시함으로써 등록용 화상을 생성하는 것이 매우 바람직하다. 2치 화상화처리는 각 화소를 백과 흑(0과 1)의 2색으로 표시되는 화상으로 변환하는 처리이고, 일반적인 동영상 데이터는 각 화소가 적어도 그레이스케일의 계조(階調, gradation)정보(8비트), 많게는 컬러의 색정보(24비트)를 가지고 있으므로, 2치 화상화처리를 실시하여 등록용 화상데이터 용량을 현저하게 감소시킬 수 있다. 게다가 2치 화상화처리된 2치 등록용 화상과, 동일하게 2치 화상화처리된 2치 검색용 화상을 상관연산하여 조합하면 풀 컬러의 화상끼리 또는 그레이스케일의 화상끼리를 상관연산했을 때보다도 연산속도가 빨라지는 것은 물론이고, 조합 정밀도도 향상되므로 2치 화상화처리는 매우 유용한 처리이다. 또한 2치 화상화처리된 화상의 연산량은 경량이므로 LSI 등의 집적회로에 의하여 하드웨어로서 전용 연산장치를 제작하는 것도 가능하다.

2치 화상화처리의 방법으로는 고정 한계치법과 영역지정법의 2종류로 크게 나눌 수 있다. 전자는 그레이스케일 계조의 어느 값에서 2치화의 한계치를 결정하는 방법이고, 후자는 우선 화상전체의 2치 비율을 먼저 결정해두고 농도치의 히스토그램으로부터 2치화의 한계치를 정하는 방법이다. 2치화의 한계치를 T, 원래 화상의 각 화소의 요소를 f(i,j), 2치 화상의 각 화소의 요소를 g(i,j)라고 할 때, 하기의 수식(1)과 같이 정의할 수 있다.

[수 1]

또한, 프레임 화상이 컬러인 경우는 우선 컬러의 색정보를 없애고 계조정보만 있는 그레이스케일로 변경하여 2치화하면 된다. 또한 프레임 화상이나 2치 화상에 대하여 기타 화상처리를 실시하여도 된다. 예를 들면 해상도를 변경하는 화상처리나 엣지강조처리 등을 2치 화상화처리 전 또는 후에 실시하여도 된다.

또한 2치 화상화처리는 데이터형식의 변환처리, 압축처리 및 암호화처리와는 다르고, 기본적으로 정보를 삭제할 뿐인 불가역 변환이다. 즉, 데이터 형식의 변환처리, 압축처리 및 암호화처리는 원래의 프레임 화상으로 복원하기 때문에 역변환할 수 있는 정보를 자체 또는 별도파일로 가지고 있다. 그러나 2치 화상화처리는 원래의 프레임 화상이 가지고 있던 색정보 및 계조정보를 제거만 할 뿐, 2치 화상 그 자체로는 원래 프레임 화상으로 복원하는 것은 불가능하다.

원래의 프레임 화상으로 복원할 수 없는 것은 언뜻 보기에는 결점처럼 생각되기도 하지만, 실제로는 오리지날 동영상 데이터의 정보유출방지에 효과적이다. 결국 등록자로부터 오리지널 동영상 데이터가 동영상 데이터베이스에 등록하기 위하여 등록 동영상 데이터로서 조합서버에 제공된 경우, 유통 사고 또는 네트워크 전송 중 사고 또는 인위적인 정보유출 등에 의해 오리지널 동영상 데이터가 유출될 위험성이 있다. 예를 들면 개봉 중인 영화나 미공개의 라이브 영상 등이 유출되었을 때의 손실은 막대한 것이다. 그러나 등록자의 정보처리장치에 있어서, 등록 동영상 데이터의 프레임 화상에 대하여 적어도 2치 화상화 처리를 실시하고 2치 화상을 조합서버에 제공하면 만약 2치 화상이 유출되어도, 그 자체가 오리지널 동영상 데이터로 복원될 수 없기 때문에, 오리지널 동영상 데이터의 유출을 피할 수 있는 것이다. 이러한 효과를 이용한 동영상 데이터베이스에 동영상 데이터를 등록하기 위한 등록시스템 및 프로그램에 대해서는 후술한다.

또한, 등록용 화상의 매수를 줄이기 위하여 유사한 화상은 제외하여 등록하지 않고, 어느 정도 선별하여 등록하는 것이 바람직하다. 이를 위해서는 등록 동영상 데이터의 각 프레임 화상끼리, 또는 각 프레임 화상을 화상처리한 화상(2치 화상을 포함)끼리를 상관연산하고, 그 결과가 미리 설정된 한계치보다 큰 경우는 어느 한쪽의 화상을 제외하고, 그 결과가 한계치보다 작은 경우에는 적어도 한쪽의 화상을 등록하도록 하면 된다. 한계치는 선별되는 유사 정도의 기준이 되는 것으로, 한계치가 높으면 일반적으로는 조합정보는 향상하지만 등록용 화상의 매수도 증가하게 되고, 한계치가 낮으면 조합정밀도는 저하하지만 등록용 화상의 매수도 줄어들게 되므로, 미리 실험 등에 의해 최적의 한계치를 구해두는 것이 바람직하다. 또한 등록자가 한계치를 변경할 수 있도록 하면, 중요한 동영상 데이터에 대해서는 한계치를 높이고 중요도가 낮은 것에 대해서는 한계치를 낮게 설정할 수 있다. 또한 등록용 화상의 하나를 다른 모든 등록용 화상과 상관연산할 필요는 없고, 적어도 다른 하나의 등록용 화상과 상관연산한 결과가 한계치보다 작으면 된다.

상관연산으로서, 예를 들면 등록용 화상끼리의 내적(內積), 유클리드(Euclid) 거리, 또는 상관계수를 구함으로써 유사도를 산출할 수 있다. N×N 화소의 등록용 화상 F, G의 각 화소의 요소에 대하여, 1차원의 열(列)벡터 f, 열벡터 g로 표현했을 때, 내적은 수식(2)로 산출할 수 있고, 유클리드 거리는 수식(3)으로 산출 가능하며, 상관계수는 수식(4)로 산출할 수 있다. 또한 유사도의 산출은 이들 방식에 한정되는 것은 아니다.

[수 2]

[수 3]

[수 4]

도 3(B)~(E)는 상기 설명한 각 등록 동영상 데이터의 데이터구조를 모식적으로 나타낸 것이다. 도 3(B)는 재생 동영상의 전체 프레임 화상을 그대로 등록용 화상군(16)으로 한 것이고, 각 등록용 화상(17)은 각 프레임 화상이며, 계조정보 또는 색정보를 가지고 있다. 도 3(C)는 도 3(B)에 대하여 2치 화상화처리를 실시한 것으로, 각 등록용 화상(17)은 2치 화상으로 되어 있으므로, 계조정보 또는 색정보가 제거되어 등록용 화상군(16)의 데이터 용량을 줄일 수 있다. 도 3(D)는 도 3(B)에 대하여 선별화한 것으로, 각 등록용 화상(17)은 선별된 프레임 화상이며, 제거한 프레임 화상의 용량만큼 등록용 화상군(16)의 데이터용량을 줄일 수 있다. 도 3(E)는 도 3(B)에 대하여 2치 화상화처리 및 선별화 작업을 모두 실시한 것이다. 먼저 2치 화상화처리를 한 후, 2치 화상을 선별화하여도 되고(도3(B)→(C)→(E)), 프레임 화상을 선별화한 후, 2치 화상화처리를 행하여도 된다(도 3(B)→(D)→(E)). 도 3(E)에서 각 등록용 화상(17)은 선별된 2치 화상이고, 도 3(B)에 비해 데이터 용량을 대폭 작게할 수 있다.

이와 같은 동영상 데이터베이스의 제작방법은 등록 동영상데이터의 하나를 재생하여 재생 동영상을 얻는 재생단계와, 재생 동영상의 복수 프레임의 화상에 적어도 2치 화상화 처리를 실시함으로써 복수의 등록용 화상을 생성하는 생성단계와, 복수의 등록용 화상으로 이루어지는 등록용 화상군을 기록매체에 기록하는 기록단계와, 재생단계와 기록단계 사이에 등록용 화상군에 포함되는 등록용 화상의 하나와 다른 하나의 상관연산의 결과가 미리 설정된 한계치보다 작아지도록 선별하는 선별단계를 가지면 된다. 상술한 바와 같이, 2치 화상화처리를 포함하는 생성단계와 선별단계는 어느 것을 먼저 실시하여도 상관없고, 이들 단계의 사이 또는 전후에 기타 화상처리 또는 단계를 실시해도 된다. 단, 선별단계에서의 상관연산처리의 연산속도의 고속화 및 정밀도의 향상을 위하여 2치 화상화처리를 한 후 선별단계에서 상관연산을 실시하는 것이 바람직하다.

도 4는 동영상 데이터베이스 제작처리의 흐름도의 일례이다. 우선 등록 동영상 데이터를 취득하고, 등록 동영상 데이터를 재생한다(S41:재생단계). 재생 동영상으로부터 전체 프레임 화상군 M_i(i=1,2,3,…N, N은 프레임 수)를 생성하고, 전체 프레임 화상군 M_i에 대하여 2치 화상화처리를 실시한 2치 화상군 B_i(i=1,2,3,…N, N은 프레임 수)로 변환한다(S42~S43:생성단계). 이어서 비교의 기준이 되는 기준 화상 B_p로서 B_i(초기값i=1)를 대입하고, 기준 화상 B_p와 비교되는 2치 화상 B_i(i=i+1)를 상관연산하여 상관치 V를 얻는다(S44~S46:선별단계). 상관치 V가 한계치 이상인 경우(S47의 No:선별단계), 기준 화상 B_p와 2치 화상 B_i는 유사한 것으로 판단하고, 2치 화상 B_i를 동영상 데이터베이스에 등록하지 않고 제외하고, 기준 화상 B_p와 다음의 2치 화상 B_i(i=i+1)의 상관연산을 실시한다(S45~S46). 한편, 상관치 V가 한계치보다 낮은 경우(S47의 Yes:선별단계), 기준 화상 B_p와 2치 화상 B_i는 비유사인 것으로 판단하여 기준 화상 B_p(초기값은 2치 화상 B_i)를 동영상 데이터베이스에 등록하고(S48:기록단계), 비유사인 2치 화상 B_i를 다음 기준 화상 B_p로서 다음의 2치 화상 B_i(i=i+1)와 상관연산을 실시한다(S49의 No, S44~S46). 또한 S49에 있어서, 2치 화상 B_i가 최초 프레임의 2치 화상 B_N이었던 경우에는 프레임 화상 B_N을 등록하고 종료한다(S50). 최종적으로는 비유사로 등록된 복수의 기준 화상이 등록용 화상군 B_m(m=1,2,3,…M, M은 등록용 화상의 매수)으로서 기록된다.

또한, 도 4에 나타낸 흐름도의 알고리즘으로는 최초 기준 화상과 다음의 기준 화상은 상관연산되지만 그 이외의 기준 화상과의 상관연산은 실시되지 않으므로 유사한 화상이 등록되어 있을 가능성이 있다. 이 점에서, 최초 기준 화상에 대하여 그 이외의 모든 2치 화상을 순차적으로 상관연산하고 상관치가 한계치보다 컸던 2치 화상은 동영상 데이터베이스에 등록하지 않고 제외하고, 한계치가 컸던 2치 화상 중 하나를 다음 기준 화상으로 하여, 그 이외의 2치 화상과 순차적으로 상관연산하면 보다 등록용 화상의 매수를 삭감할 수 있다.

또한 등록용 화상군에 대응하는 타이틀, 열람조건, 키워드, 등록용 화상에 대응하는 프레임 화상에 대한 화상특징정보 등의 등록데이터를 기록하는 등록데이터 기록단계를 포함해도 된다. 화상특징정보로는 등록용 화상이 2치 화상이나 그레이스케일인 경우, 원래의 프레임 화상에서의 특정색의 배분이나 면적 등에 특징이 있는 경우, 그것들을 정보로서 기록해두고, 검색용 화상에 대응하는 프레임 화상에 대해서도 화상특징정보를 산출하여 2차적인 조합으로서 화상특징정보를 이용할 수 있다.

동영상 데이터베이스의 제작은 조합서버에서만 실행할 수도 있고, 일부 단계를 등록자의 정보처리장치에서 실시하여도 관계 없다. 재생 동영상을 얻는 재생단계 및 프레임 화상에 2치 화상화처리를 실시하는 생성단계에 대해서는 전술한 정보유출방지를 위하여 등록자의 정보처리장치에서 실시하는 것이 바람직하다. 등록자의 정보처리장치에서 생성된 등록용 화상이나 송신용 화상은 네트워크를 통하여 조합서버에 송신되어도 되고, 오프라인에서 조합서버에 접속해도 된다.

또한 네트워크를 이용한 등록시스템의 일례에 대하여 설명하면, 등록시스템은 네트워크와 네트워크에 접속된 정보처리장치와 화상 데이터베이스의 서버를 가지고 있다. 그리고 정보처리장치는 등록 동영상 데이터의 하나를 재생하여 재생 동영상을 얻고, 재생 동영상의 복수 프레임의 화상에 적어도 2치 화상화처리를 실시하여 복수의 송신용 화상을 생성한다. 송신용 화상으로는, 프레임 화상에 대하여 적어도 2치 화상화처리되어 있으면 되고, 그 외의 화상처리도 되어 있어 동영상 데이터베이스의 서버에 있어서 그대로 등록용 화상으로서 기록되는 상태여도 되고, 동영상 데이터베이스의 서버에 있어서 한층 더 화상처리 등을 행한 후 기록되는 상태여도 된다. 또한 정보처리장치는 네트워크를 통하여 복수의 송신용 화상을 동영상 데이터베이스의 서버에 송신한다. 복수의 송신용 화상은 2치 화상화처리에 의하여 2치 화상으로 되어 있으므로, 네트워크상에서 유출되어도 재생 동영상으로 되돌릴 수 없는 상태이므로 재생 동영상의 정보유출을 방지할 수 있다. 동영상 데이터베이스의 서버는 수신한 복수의 송신용 화상으로부터 복수의 등록용 화상을 생성하고, 복수의 등록용 화상으로 이루어지는 등록용 화상군을 기록매체에 기록한다. 또한 수신한 복수의 송신용 화상이 그대로 등록용 화상으로 사용할 수 있는 경우는 동영상 데이터베이스의 서버는 그대로 복수의 송신용 화상을 복수의 등록용 화상으로서 기록매체에 기록한다.

또한 정보처리장치는 재생 동영상의 각 프레임 화상을 바탕으로 한 화상끼리를 상관연산하고, 상관연산한 결과가 미리 설정된 한계치보다 큰 경우에는 한쪽의 화상을 송신용 화상에서 제외해도 된다. 이는 선별단계도 동영상 데이터베이스의 서버가 아니라 네트워크로 접속된 정보처리장치에서 실시하므로 송신용 화상의 총 데이터 용량을 줄이는 것이 가능하다. 또한 프레임 화상을 바탕으로 한 화상이란, 프레임 화상 그 자체, 프레임 화상에 대하여 2치 화상화처리 이외의 화상처리를 행한 화상 및 2치 화상화처리를 실시한 화상이 포함된다.

이러한 등록시스템을 이용하기 위하여 정보처리장치를 등록 동영상 데이터를 재생하여 재생 동영상을 얻는 재생수단, 재생 동영상의 복수프레임 화상에 적어도 2치 화상화처리를 행하여 송신용화상을 생성하는 화상처리수단 및 복수의 송신용 화상을 네트워크를 통하여 동영상 데이터베이스의 서버에 송신하는 송신수단으로서 기능하도록 하기 위한 프로그램을 정보처리장치에 인스톨하면 된다. 또한 정보처리장치를 재생 동영상의 각 프레임 화상을 바탕으로 한 화상끼리를 상관연산하고, 상관연산한 결과가 미리 설정된 한계치보다 큰 경우에는 한쪽의 화상을 제외하는 선별수단으로서 기능하도록 하여도 된다. 여기에서 등록자가 한계치를 선택할 수 있도록 정보처리장치를 한계치 입력수단으로서 기능하도록 하여도 된다.

동영상 데이터베이스의 기록매체로는, 대용량의 하드디스크나 홀로그래픽 기록매체 등을 이용할 수 있다. 동영상 데이터베이스에 대용량의 하드디스크를 이용하고, 연산처리에 의해 화상을 조합하는 경우에는 조합수단으로서 정보처리장치를 이용할 수 있다. 한편, 홀로그래픽 기록매체를 이용한 경우는 광학적인 기록수단 및 조합수단이 필요하게 된다. 상술한 조합시스템, 동영상 데이터베이스, 등록시스템 등은 어느 조합수단에 있어서도 이용할 수 있다.

이어서 조합수단에 있어서 조합시의 동작에 대하여 설명한다. 이미 서술한 대로, 본 발명의 조합시스템에 있어서 열람 동영상 데이터의 견본용 정지 화상으로부터 생성된 검색용 화상을 이용하여 조합하는 것이 바람직하다. 도 5는 2치 화상화처리한 등록용 화상군이 기록된 동영상 데이터베이스에 있어서, 정보처리장치에 의해 열람 동영상 데이터의 견본용 정지 화상으로부터 생성된 검색용 화상을 이용하여 조합하는 경우의 조합처리 흐름도이다.

우선, 조합서버의 정보처리장치는 열람 동영상 데이터의 견본용 정지 화상을 취득한다(S51). 이어서 정지 화상을 2치 화상화처리하고 2치의 검색용 화상 S로 변환한다(S52). 그리고 2치의 검색용 화상 S와 동영상 데이터베이스에 기록된 어느 등록용 화상군 B_m(m=1,2,3,…M, M은 등록용 화상의 매수)의 각 등록용 화상과 순차적으로 상관연산하고, 최대상관치 V_max를 얻는다(S53). 최대상관치 V_max와 동영상 데이터의 조합 한계치를 비교하여 최대상관치 V_max가 조합한계치보다 큰 경우(S54의 Yes:조합단계)는 열람 동영상 데이터가 등록용 화상군의 등록 동영상 데이터인 것으로 인식한다(S55). 또한 최대상관치 V_max가 조합한계치 이하인 경우(S54의 No:조합단계)는 열람 동영상 데이터가 등록용 화상군의 등록 동영상 데이터가 아니라고 인식하여 다음 등록용 화상군이 있는지 없는지를 판단한다(S56). 다음의 등록용 화상군이 존재하는 경우(S56의 No), 다시 검색용 화상 S와 다른 등록용 화상군의 각 등록용 화상과 순차적으로 상관연산하여 최대상관치 V_max를 얻고, 조합한계치와 비교한다(S53~S54). 다음의 등록용 화상군이 존재하지 않을 경우(S56의 Yes), 열람 동영상 데이터가 동영상 데이터베이스에 등록되어 있지 않은 것으로 인식한다(S57).

정지 화상을 2치 화상화처리하고 2치 검색용 화상 S로 변환하는 처리(S52)에 있어서, 다시 다른 화상처리를 실시할 수도 있다. 예를 들면 해상도를 변경하는 화상처리 또는 엣지강조처리 등을 2치 화상화처리의 전 또는 후에 실시하여도 된다. 또한 검색용 화상 S와 조합하는 등록용 화상군을 선택할 때 열람 동영상 데이터의 키워드데이터 또는 견본용 정지 화상의 화상특징정보 등을 취득하고 등록데이터를 참조하여 키워드데이터가 등록되어 있는 등록용 화상군을 우선적으로 선택하거나 화상특징정보가 일치하는 등록용 화상을 포함하는 등록용 화상군을 우선적으로 선택해도 된다.

또한 조합서버의 정보처리장치는 조합이 종료된 열람 동영상 데이터에 대하여 조합결과를 식별데이터로서 부여하고, 사이트에 업로드해도 된다.

이하, 홀로그래픽 기록매체를 이용한 조합서버(1)에 대하여 간단히 설명한다. 도 6은 홀로그래픽 기록매체를 이용한 조합서버(1)의 구체적인 구성을 나타낸 것으로, 홀로그래픽 기록매체(20)와 정보처리장치(30)와 광학계(40)를 가지고 있다. 조합서버(1)에는 화상데이터베이스(2)와 조합수단(3)이 형성되어 있는데 홀로그래픽 기록매체(20)는 화상데이터베이스(2)의 일부를 구성하고 정보처리장치(30) 및 광학계(40)는 조합수단(3)을 구성한다.

도 6에 있어서, 홀로그래픽 기록매체(20)는 표면보호층(22)과 반사층(23)의 사이에 감광재료로 이루어지는 두꺼운 홀로그램 기록층(21)을 끼워 넣은 반사형 기록매체이다. 홀로그래픽 기록매체(20)의 홀로그램 기록층(21)에는 등록 화상 데이터를 바탕으로 하여 생성된 정보광과 참조마크를 바탕으로 생성된 참조마크광과의 간섭호(干涉縞)(24)에 의하여 화상데이터가 기록되어 있다. 홀로그래픽 기록매체(20)로서 원반형상의 것을 채용하면 회전시키면서 조합할 수 있으므로 조합속도를 높일 수 있다. 또한 홀로그래픽 기록매체(20)는 간섭호(24)의 위치를 특정하는 어드레스층을 구비하는 것이 바람직하다. 예를 들면 어드레스 정보로서 반사층(23)의 표면에 형성된 요철형상에 의하여 피트(pit)를 형성하고 반사층(23)을 어드레스층으로 해도 된다. 홀로그래픽 기록매체(20)의 표면보호층(22)으로서 유리기판을 이용하면 온도변화 등에 의한 수축 등을 억제할 수 있다. 반사층(23)으로는 알루미늄 등의 금속재료를 이용할 수 있다.

정보처리장치(30)는 네트워크에 접속되어 있고, 조합시스템에서 실행되는 각종 정보를 처리한다. 예를 들면 열람 화상 데이터의 재생 및 검색용 화상의 작성, 등록데이터의 기록 및 재생, 열람 동영상 데이터에 식별데이터 부여, 키워드데이터를 바탕으로 한 조합순서 결정, 동영상 데이터에 관한 정보 송신, 경고메세지 송신 등을 들 수 있다.

광학계(40)는 홀로그래픽 기록매체(20)에 간섭호를 기록하거나 홀로그래픽 기록매체(20)에 기록되어 있는 등록 화상 데이터와 열람 화상 데이터를 조합할 수 있다. 광학계(40)는 홀로그램용 레이저(41), 반사경(mirror)(42), 공간광 변조기(43), 편광 빔스플리터(splitter)(44), 제1릴레이렌즈(45), 반사경(46), 제2릴레이렌즈(47), 빔스플리터(48), 4분의 1파장판(49), 대물렌즈(50), 구경(aperture)(51), 참조광검출기(52)를 가지며, 또한 어드레스용 레이저(60), 빔스플리터(61), 반사경(62) 및 어드레스광 검출기(63)를 가지고 있다.

홀로그램용 레이저(41)는 간섭호의 기록시에는 정보광이나 참조광의 광원이 되고 조합시에는 검색광의 광원이 되는 것으로, 예를 들면 청색 레이저나 녹색 레이저 등의 단파장의 고출력 레이저가 바람직하다. 공간광 변조기(43)는 복수의 화소를 가지고 각 화소마다 빛의 속성을 변화시킴으로써 빛을 공간적으로 변조할 수 있는 것으로, 예를 들면 액정표시장치나 DMD(Digital Micromirror Device)를 이용할 수 있다. 도 6에서는 공간광 변조기(32)로서 DMD를 이용하고 있다. 편광 빔스플리터(44)는 직교하는 편광방향의 한쪽을 투과하고 다른 쪽으로 반사하는 것으로, 기록매체(20)를 향하는 정보광, 참조광 및 검색광을 투과하고 기록매체에 의하여 재생된 참조광을 참조광 검색기(52)로 보내어 반사한다. 제1 및 제2릴레이렌즈(45)(47)는 공간광 변조기(43)에 표시된 화상을 대물렌즈의 집점면에 결상시킨다. 빔스플리터(48)는 어드레스용 레이저(60)로부터의 빛을 기록매체(20)로 보내기 위한 것이다. 4분의 1파장판(49)은 직선편광을 원편광으로 변환하는 것으로, 2회 투과시킴으로써 직선편광을 90도 회전시킬 수 있다. 이 4분의 1파장판(49)에 의하여 참조광은 조사시에는 편광 빔스플리터(44)를 투과하고, 재생시에는 편광 빔스플리터(44)에 의하여 반사되는 것이다. 대물렌즈(50)는 공간광 변조기(43)에 표시된 화상을 푸리에변환(Fourier transform)하여 기록매체(20)의 홀로그램 기록층(21)에 조사하는 것이다. 구경(51)은 기록매체(20)에서 반사된 검색광을 차광하고 재생된 참조광만을 참조광검색기(52)에 통과시키는 개구를 가진다. 참조광검색기(52)는 재생된 참조광을 검출하는 것으로, 특히 바람직하게는 참조광의 빛의 강도를 검출하는 것이다. 예를 들면 핀 포토다이오드(PIN photodiode), CMOS 센서 또는 CCD 센서를 이용할 수 있다.

홀로그램용 레이저(41)로부터 조사된 빛은 반사경(42)에 의하여 반사되고, 등록용 화상이나 검색용 화상이 표시된 공간광 변조기(43)에 의하여 공간적으로 변조되어 정보광이나 검색광이 생성된다. 정보광이나 검색광은 편광 빔스플리터(44)를 투과하여 제1 및 제2의 릴레이렌즈(45,47)에 의하여 릴레이되고, 도중에 반사경(46)에 의하여 반사되어 빔스플리터(48) 및 4분의 1파장판(49)을 투과하고, 대물렌즈(50)에 의하여 푸리에변환되고 기록매체(20)의 홀로그램기록층(21)에 조사된다. 정보광은 홀로그램 기록층(21)에 있어서 참조광과 간섭하여 간섭호를 기록한다. 또한 검색광은 홀로그램기록층(21)에 기록된 간섭호를 기록한 정보광과 상관치가 높으면 간섭호에 의하여 회절되고 참조광을 재생한다. 재생한 참조광은 반사층(24)에서 반사되고 기록매체(20)로부터 사출되어 조사될 때와는 반대방향으로 대물렌즈(50), 4분의 1파장판(49), 빔스플리터(48), 제1 및 제2릴레이렌즈(45)(47), 반사경(46)을 지나 편광 빔스플리터(44)에 의하여 반사되고 구경(51)을 통과하여 참조광검출기(52)에 들어간다.

또한 어드레스용 레이저(60), 빔스플리터(61), 반사경(62) 및 어드레스광 검출기(63)는 기록매체(20)에 어드레스층을 형성했을 때, 어드레스층으로부터 조사 위치를 특정하기 위한 것이고, 어드레스용 레이저(60)로부터 조사된 빛은 빔스플리터(61)를 투과하여 반사경(62)에 의하여 반사되고, 또한 빔스플리터(48)에 의해 반사되고 4분의 1파장판(49)을 투과하여 대물렌즈(50)에 의하여 기록매체(20)의 어드레스층에 조사된다. 기록매체(20)로부터의 반사광은 광학계를 반대로 통과하고 빔스플리터(61)에 의해 반사되어 어드레스광 검출기(63)에서 검출된다. 어드레스용 레이저(60)로는 적색광 등의 비교적 긴 파장의 레이저를 이용하는 것이 바람직하다.

이와 같은 홀로그래픽 기록매체를 이용한 조합서버(1)에 있어서, 동영상 데이터베이스에 등록용 화상을 기록하는 경우는 공간광 변조기(43)에 등록용 화상 및 참조광용 화상을 표시하고, 등록용 화상 및 참조광용 화상에 의하여 공간적으로 변조된 정보광 및 참조광을 생성한다. 그리고 정보광 및 참조광은 대물렌즈(50)에 의해 푸리에변환되고 기록매체(20)의 홀로그램기록층(21)에 조사됨으로써 푸리에변환된 정보광과 참조광이 홀로그램 기록층(21)에서 간섭하여 등록용 화상에 대응하는 간섭호가 기록된다. 그리고 열람용 동영상 데이터를 조합하는 경우는 공간광 변조기(43)에 검색용 화상을 표시하고, 검색용 화상에 의하여 공간적으로 변조된 검색광을 생성한다. 검색광은 대물렌즈(50)에 의하여 푸리에변환되어 기록매체(20)의 홀로그램기록층(21)의 간섭호에 조사되는데, 간섭호를 형성한 정보광의 등록용 화상과 검색용 화상의 상관치가 높으면 간섭호에 의하여 검색광이 회절되고, 참조광을 재생한다. 결국 재생한 참조광의 강도를 검출함으로써 상관치를 구할 수 있다. 또한 등록용 화상이나 검색용 화상이 2치 화상화처리된 2치 화상의 경우, 공간광 변조기(43)의 각 화소에 대응시키는 것이 용이하므로 이러한 점에서도 바람직하다.

이상의 설명에 있어서는, 정보광과 참조광을 동축상에서 간섭시키는 공선(collinear) 방식의 장치를 이용하고 있으므로, 빠른 속도로 검색하는 것이 가능하다. 또한 이상의 설명에서는 반사형의 홀로그래픽 기록매체로 설명했지만 빛의 상관연산에 의해 재생된 참조마크광을 투과시켜 표시시키는 투과형이어도 실현할 수 있다. 또한 공선 방식이 아닌 정보광의 광로(光路)와 참조마크광의 광로를 분리하고 기록매체에 일정한 각도로 교차하는 2광속 간섭방식의 장치라도 실현하는 것이 가능하다. 예를 들면 광원(41)으로부터의 빛을 빔스플리터에 의하여 2개의 빛으로 분할하고 한쪽 빛을 공간광 변조기에 의하여 변조시켜 정보광을 생성하고 다른쪽 빛을 변형시켜 참조마크광을 생성하고 기록매체에서 교차하도록 조사하는 구성으로 하여도 된다.

[실시예 1]

등록 동영상 데이터로서 10초, 30fps의 동영상 데이터를 30개 준비하고, 각각 전체프레임 화상(300 프레임)을 2치 화상화처리 등의 화상처리하여 2치 화상군 B_i를 생성하였다. 그리고 자기상관(동일한 화상끼리의 상관연산)의 상관치를 100(a.u.:임의단위)으로 규격화하고, 한계치를 70(a.u.)과 60(a.u.)의 2종류로 설정하고, 선별단계를 행하여 동영상 데이터베이스를 제작하였다. 한계치를 70(a.u.)로 했을 경우, 300프레임×30개의 9000장의 2치 화상에 대하여 등록용 화상의 장수를 2504장으로 줄일 수 있고, 한계치를 60(a.u.)으로 했을 경우 300프레임×30개의 9000장의 2치 화상에 대하여 등록용 화상의 장수를 1580장으로 줄일 수 있었다. 각 동영상 데이터마다의 삭감매수를 하기 표1에 나타내었다.

<표 1>

또한 모든 2치 화상을 등록한 동영상 데이터베이스, 한계치 70의 선별단계를 실시한 동영상 데이터베이스 및 한계치 60의 선별단계를 행한 동영상 데이터베이스 각각에 대하여 오류 발생율을 구하였다. 도 7(A)~(C)의 각 도면은 각 동영상 데이터베이스에서의 오류 발생율을 나타낸 도면으로, 종축은 오류 발생율, 횡축은 규격화된 상관치에 관한 한계치이다. 오류 발생율은 2개의 오류 곡선으로 구성되고, 한 쪽은 등록된 화상을 미등록으로 오인했을 때의 등록화상거부율(FRR:False Rejection Rate)이고, 다른 쪽은 다른 화상을 기록된 화상으로 오인했을 때의 타화상수입율(FAR:False Acceptance Rate)이다. 등록화상거부율 FRR 및 타화상수입율 FAR은 각각 한계치를 변화시켰을 때의 조합결과의 정오율(正誤率)로 부터 구할 수 있다. 도 7(A)~(C)는 등록한 30개의 동영상 데이터에서 각 하나의 프레임 화상을 추출하여 30장의 검색용 화상을 작성하고, 각 동영상 데이터베이스의 등록용 화상과 각각 조합하여 얻은 상관치를 한계치와 비교하여 큰 경우에 등록용 화상과 일치한다고 판단하게 하였을 때의 등록화상거부율 FRR 및 타화상수입율 FAR이다.

등록화상거부율 FRR과 타화상수입율 FAR이 교차하는 값은 등록화상거부율 FRR과 타화상수입율 FAR의 쌍방이 함께 작아지는 한계치이고, 그 때의 오류 발생율을 EER(Equal Error Rate)이라 칭하고, EER이 일정범위를 가질 때 그 범위를 한계치영역이라 칭한다. ERR은 작을수록 좋고, ERR이 0%이면 등록화상거부율 FRR도 타화상수입율 FAR도 0%이므로 이론상으로는 오류가 발생하지 않는다. 또한 한계치영역의 넓이는 조합의 신뢰성을 나타내며, 넓을수록 조합의 신뢰성이 높은 것을 의미한다. 또한 유사한 화상의 조합도 가능하게 하기 위하여 굳이 한계치를 한계치영역보다도 작은 값으로 하고, 타화상수입율 FAR을 높게 하여도 된다.

도 7(A)는 모든 2치 화상을 등록한 동영상 데이터베이스의 경우이고, (B)는 한계치 70의 선별단계를 실시한 동영상 데이터베이스의 경우이며, (C)는 한계치 60의 선별단계를 실시한 동영상 데이터베이스의 경우이다. 도 7(A) 및 (B)에서는 EER이 0%이고, 도 7(C)에 있어서도 EER 3.3%라는 매우 낮은 값을 얻을 수 있었다.

[실시예 2]

다음으로, 열람 동영상 데이터의 견본용 정지 화상으로부터 생성된 검색용 화상을 이용한 조합시스템의 조합정밀도 평가실험을 실시하였다. 또한 동영상 데이터베이스로는 등록 동영상 데이터로서 10초, 30fps인 동영상 데이터를 30개 준비하여 각각 전체 프레임 화상(300프레임)을 2치 화상화처리 등의 화상처리하여 9000장의 2치 화상군 B_i를 생성하고, 모든 2치 화상을 등록한 동영상 데이터베이스를 사용하였다. 검색에 사용한 견본용 정지 화상의 사이즈는 128×96 화소이고, 각 등록 동영상 데이터에 대하여 1장, 합계 30장의 견본용 정지 화상을 2치 화상화처리 등의 화상처리한 것을 검색용 화상으로서 이용하였다. 도 8은 관련 조합정밀도 평가실험에서의 오류 발생율을 나타낸 도면으로 종축은 오류 발생율이고 횡축은 규격화된 상관치에 관한 한계치이다. 오류 발생율에 대하여는 도 7과 마찬가지이다. 이 결과, EER 0%라는 높은 정밀도로 조합이 가능하다는 것을 실증되었다.

Claims

네트워크상의 사이트에 있어서 열람 가능한 상태로 되는 열람 동영상 데이터를 조합하는 조합시스템에 있어서,
복수의 등록 동영상 데이터가 정보로서 등록된 동영상 데이터베이스와 상기 열람 동영상 데이터와 상기 동영상 데이터베이스에 등록된 등록 동영상 데이터를 조합하는 조합수단을 구비하고,
상기 열람 동영상 데이터는 견본용으로서 표시되는 정지 화상을 구비하며,
상기 동영상 데이터베이스는 각 등록 동영상 데이터로서 해당 등록 동영상 데이터를 재생한 재생 동영상의 복수의 프레임 화상으로부터 생성된 복수의 등록용 화상으로 이루어지는 등록용 화상군이 기록된 기록매체를 구비하며,
상기 조합수단은 상기 열람 동영상 데이터의 견본용 정지 화상으로부터 생성된 검색용 화상과 상기 동영상 데이터베이스의 기록매체에 기록된 등록용 화상을 조합하는 것을 특징으로 하는 조합시스템.
제 1항에 있어서,
상기 열람 동영상 데이터로부터 임의 또는 무작위로 견본의 정지 화상을 추출하는 기능을 구비하는 것을 특징으로 하는 조합시스템.
제 1항 또는 제 2항에 있어서,
상기 각 등록 동영상 데이터의 등록용 화상군은 해당 등록용 화상군에 포함되는 등록용 화상의 하나와 다른 하나와의 상관연산의 결과가 미리 설정된 한계치보다 작은 것을 특징으로 하는 조합시스템.
제 1항 내지 제 3항 중 어느 한 항에 있어서,
상기 등록용 화상은 프레임 화상으로부터 생성되는 사이에 적어도 2치(2値) 화상화 처리가 이루어지는 것을 특징으로 하는 조합시스템.
제 4항에 있어서,
상기 검색용 화상은 상기 열람 동영상 데이터의 견본용 정지 화상으로부터 생성되는 사이에 적어도 2치 화상화 처리가 이루어지고,
상기 조합수단은 상기 검색용 화상과 상기 등록용 화상을 상관연산하여 조합하는 것을 특징으로 하는 조합시스템.
제 1항 내지 제 5항 중 어느 한 항에 있어서,
상기 동영상 데이터베이스에는 각 등록용 화상에 대응하는 프레임 화상의 화상특징정보가 기록되어 있고,
상기 조합수단은 상기 열람 동영상 데이터의 견본용 정지 화상의 화상특징정보를 산출하여 상기 동영상 데이터베이스에 기록된 화상특징정보와 조합하는 것을 특징으로 하는 조합시스템.
제 1항 내지 제 6항 중 어느 한 항에 있어서,
상기 등록 동영상 데이터에는 적어도 하나의 키워드가 설정되고,
상기 열람 동영상 데이터는 적어도 하나의 키워드 데이터가 부가되어 있으며,
상기 조합수단은 상기 열람 동영상 데이터에 부가된 키워드 데이터로부터 취득한 키워드와 상기 등록 동영상 데이터에 설정된 키워드를 조합하는 것을 특징으로 하는 조합시스템.
제 1항 내지 제 7항 중 어느 한 항에 있어서,
상기 열람 동영상 데이터가 상기 동영상 데이터베이스에 등록되어 있는 경우, 상기 열람 동영상 데이터에 식별데이터를 부가하는 것을 특징으로 하는 조합시스템.
제 8항에 있어서,
상기 식별데이터를 바탕으로 상기 열람 동영상 데이터의 열람조건을 변경하는 것을 특징으로 하는 조합시스템.
복수의 등록 동영상 데이터가 정보로서 등록된 동영상 데이터베이스의 제작방법에 있어서,
등록 동영상 데이터의 하나를 재생하여 재생 동영상을 얻는 재생단계와,
상기 재생 동영상의 복수 프레임 화상에 2치 화상화를 포함하는 화상처리를 실시함으로써 복수의 등록용 화상을 생성하는 생성단계와,
상기 복수의 등록용 화상으로 이루어지는 등록용 화상군을 기록매체에 기록하는 기록단계를 가지며,
상기 재생단계와 상기 기록단계의 사이에, 상기 등록용 화상군에 포함되는 등록용 화상의 하나와 다른 하나와의 상관연산의 결과가 미리 설정된 한계치보다 작아지도록 선별하는 선별단계를 구비한 것을 특징으로 하는 동영상 데이터베이스의 제작방법.
제 10항에 있어서,
상기 선별단계는 상기 재생 동영상의 각 프레임 화상으로부터 생성된 각 등록용 화상끼리를 상관연산하고, 상관연산한 결과가 미리 설정된 한계치보다 큰 경우에는 한쪽의 등록용 화상을 제외하는 처리를 포함하는 것을 특징으로 하는 동영상 데이터베이스의 제작방법.
제 10항 또는 제 11항에 있어서,
상기 등록용 화상에 대응하는 프레임 화상에 대하여 화상 특징정보를 산출하고, 해당 등록용 화상과 관련지어 화상특징정보를 기록하는 등록데이터 기록단계를 포함하는 것을 특징으로 하는 동영상 데이터베이스의 제작방법.
제 10항 내지 제 12항 중 어느 한 항에 있어서,
적어도 상기 재생단계 및 상기 생성단계는, 상기 등록 동영상 데이터의 하나를 보유하는 등록자의 정보처리장치에서 이루어지는 것을 특징으로 하는 동영상 데이터베이스의 제작방법.
복수의 등록 동영상 데이터가 정보로서 등록된 동영상 데이터베이스에 등록 동영상 데이터를 등록하는 등록시스템에 있어서,
네트워크와 상기 네트워크에 접속된 동영상 데이터베이스의 서버와 상기 네트워크에 접속된 정보처리장치를 구비하고,
상기 정보처리장치는 등록 동영상 데이터의 하나를 재생하여 재생 동영상을 취득하고, 상기 재생 동영상의 복수 프레임 화상에 적어도 2치 화상화 처리를 실시하여 복수의 송신용 화상을 생성하고, 상기 복수의 송신용 화상을 상기 동영상 데이터베이스의 서버에 송신하고,
상기 동영상 데이터베이스 서버는 상기 복수의 송신용 화상으로부터 복수의 등록용 화상을 생성하고, 상기 복수의 등록용 화상으로 이루어지는 등록용 화상군을 기록매체에 기록하는 것을 특징으로 하는 등록시스템.
제 14항에 있어서,
상기 송신용 화상은 상기 등록용 화상이고, 상기 동영상 데이터베이스 서버는 상기 정보처리장치로부터 송신된 복수의 송신용 화상을 복수의 등록용 화상으로서 기록매체에 기록하는 것을 특징으로 하는 등록시스템.
제 14항 또는 제 15항에 있어서,
상기 정보처리장치는 상기 재생 동영상의 각 프레임 화상을 바탕으로 화상끼리를 상관연산하고, 상관연산한 결과가 미리 설정된 한계치보다 큰 경우에는 한쪽의 화상을 제외하는 것을 특징으로 하는 등록시스템.
복수의 등록 동영상 데이터가 정보로서 등록된 동영상 데이터베이스 서버에 등록 동영상 데이터를 등록하기 위하여, 상기 동영상 데이터베이스 서버와 네트워크를 통하여 접속된 정보처리장치를,
상기 등록 동영상 데이터를 재생하여 재생 동영상을 얻는 재생수단,
상기 재생 동영상의 복수 프레임 화상에, 적어도 2치 화상화처리를 실시하여 송신용 화상을 생성하는 화상 처리수단, 및
상기 복수의 송신용 화상을 상기 네트워크를 통하여 상기 동영상 데이터베이스 서버에 송신하는 송신수단으로서 기능하도록 하기 위한 프로그램.
제 17항에 있어서,
상기 정보처리장치를, 상기 재생 동영상의 각 프레임 화상을 바탕으로 한 화상끼리를 상관연산하고 상관연산한 결과가 미리 설정된 한계치보다 큰 경우에는 한쪽의 화상을 제외하는 선별수단으로서 기능하도록 하는 것을 특징으로 하는 프로그램.
제 18항에 있어서,
상기 정보처리장치를 한계치의 입력수단으로서 기능하도록 하고, 상기 입력수단으로부터 입력된 한계치를 상기 선별수단으로 사용하는 것을 특징으로 하는 프로그램.