KR20060080586A - 그래픽 요소의 인덱싱 및 탐색 방법 및 장치 - Google Patents

그래픽 요소의 인덱싱 및 탐색 방법 및 장치 Download PDF

Info

Publication number
KR20060080586A
KR20060080586A KR1020067004716A KR20067004716A KR20060080586A KR 20060080586 A KR20060080586 A KR 20060080586A KR 1020067004716 A KR1020067004716 A KR 1020067004716A KR 20067004716 A KR20067004716 A KR 20067004716A KR 20060080586 A KR20060080586 A KR 20060080586A
Authority
KR
South Korea
Prior art keywords
color
indexing
level
hue
brightness
Prior art date
Application number
KR1020067004716A
Other languages
English (en)
Inventor
빈센티우스 파울루스 뷜
모리스 헤르만 요한 드라아예르
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20060080586A publication Critical patent/KR20060080586A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

인덱세이션 방법에서는, 다차원 색 공간(80)에서의 좌표로 이루어진 세트를 제공하여 이미지에서의 평균색 또는 통계적 색분포를 결정한다. 각 색의 좌표로 이루어진 세트는, 색이 제 1 조건을 입증하는, 즉 색이 본색(81)이라고 하는 경우 색조의 레벨까지 감소되고, 색이 제 2 조건을 입증하는, 색이 회색(82)이라고 하는 경우 명도의 레벨까지 감소된다. 이미지를 인덱싱하는 인덱세이션 데이터는, 각 색으로부터 생기는 색조 또는 명도의 레벨을 포함한다. 인덱세이션 방법은, 그래픽 요소의 콜렉션을 탐색하는 탐색방법에서 사용된다. 입력은 원하는 색을 지정한다. 대응한 탐색 질문은, 원하는 색이 본색 또는 회색을 각각 포함하는 경우 색조의 레벨 또는 명도의 레벨에 관계된다.
그래픽 요소, 인덱세이션, 이미지, 탐색 질문

Description

그래픽 요소의 인덱싱 및 탐색 방법 및 장치{METHOD AND APPARATUS FOR INDEXING AND SEARCHING GRAPHIC ELEMENTS}
본 발명은 그래픽 요소를 인덱싱하는 인덱세이션(indexation) 방법 및 장치와, 인덱세이션 방법을 사용한 탐색방법과, 그래픽 요소의 콜렉션, 특히 각각의 정보 유니트에 속하는 커버 이미지의 콜렉션을 탐색하는 탐색장치와, 탐색장치를 구비한 소비자 전자제품에 관한 것이다.
커버 이미지는, 정보 유니트에 특유한 것이고 그 정보 유니트를 식별하는 역할을 하는 이미지라고 한다. 커버 이미지를 포함한 정보 유니트는, 특히 디지털 포맷의 책, 음악 앨범, 오디오 또는 비디오 CD, DVD, 영화 포스터, 가정용 비디오, 사진 등과 같은 아주 다양한 형태의 제품을 구비한다. 본 발명은 이미지의 어떠한 콜렉션도 탐색하는 것이 적용가능하다.
데이터의 접근성은, 데이터 스토리지를 포함한 소비자 전자제품에 있어서 중요한 특징이다. 연구 및 경험에 의해 밝혀진 것은, 어떤 사람들은 이름보다 색을 보다 쉽게 기억한다는 것이다. 그러한 뛰어난 능력을 갖는 사람들은, 종종 기억하 지 못하는 아티스트 및/또는 앨범 이름 대신에 그들의 커버 색으로 CD를 탐색하는데 전념한다. 지금까지, 이러한 탐색 형태는, 큰 음악 콜렉션을 검색하는 전자 도구로 불충분하게 지원되었다.
WO-A-0221530에는, TV 프로그램 등의 주문된 정보 유니트를 재생하는 장치가 개시되어 있다. 비디오 프로그램 등의 주문된 정보 유니트에서 시작하는 상기 재생장치는, 평균색 등의 비디오 프레임의 콘텐트의 특정 디스크립션을 인코딩하고, 비디오 프로그램 내에서 콘텐트 구동형 내비게이션을 허락하는 길이 디스플레이를 발생한다. 비디오 프레임의 순서적인 순서는 비디오 프로그램에서 미리 결정된다.
(발명의 목적 및 요약)
본 발명의 목적은, 사람이 커버 이미지로 식별할 수 있는 이미지의 콜렉션 또는 정보 유니트의 콜렉션을 인덱싱 및 탐색을 용이하게 하는데 있다. 본 발명의 다른 목적은, 사람이 참조할 임의의 형태의 정보 콘텐트를 통한 검색을 색으로 용이하게 하는데 있다.
본 발명의 또 다른 목적은, 사람이 일반적으로 색을 참조하는 방식에 해당하는 방식으로 그 색에 따라 그래픽 요소를 인덱싱하는데 있다.
본 발명의 또 다른 목적은, 사람이 일반적으로 색을 참조하는 방식에 해당하는 방식으로 질문을 정식화하는 탐색장치를 안출하는데 있다.
본 발명에 의하면, 상기 목적을 달성하기 위한 그래픽 요소를 인덱싱하는 인덱세이션 방법은, 색 속성의 적어도 하나의 색에게 다차원 색 공간에서의 좌표로 이루어진 세트를 제공하여 그래픽 요소의 색 속성을 결정하는 단계와, 상기 적어도 하나의 색이 제 1 조건을 입증하는 경우 상기 적어도 하나의 색의 상기 좌표로 이루어진 세트를 색조의 레벨까지 감소시키는 단계와, 상기 적어도 하나의 색이 제 2 조건을 입증하는 경우 상기 적어도 하나의 색의 좌표로 이루어진 세트를 명도의 레벨까지 감소시키는 단계와, 상기 그래픽 요소를 인덱싱하는 인덱세이션 데이터를 저장하는 단계를 포함하고, 상기 인덱세이션 데이터는, 색 속성을 갖는 상기 적어도 하나의 색에서 생기는 색조의 레벨 및/또는 색 속성을 갖는 상기 적어도 하나의 색에서 생기는 명도의 레벨을 포함한다.
그래픽 요소는, 화상 데이터, 디지털 이미지 또는 픽처, 비디오 프레임, 아이콘, 이들 요소 중 하나의 일부분 등을 포함한 적어도 하나의 색의 사양으로 이루어진 임의의 데이터를 나타낸다. 색 속성은, 그래픽 요소에서의 평균색, 그래픽 요소에서의 우위성 색, 그래픽 요소에서의 색의 통계적 분포, 그래픽 요소에서의 네가티브의 색 등으로 이루어진, 하나의 색 또는 복수의 색을 참조하여 설명될 수 있는 그래픽 요소의 임의의 특징을 나타낸다.
본 발명의 기본 아이디어는, 상기 인덱세이션 데이터로 나타낼 필요가 있는 특징에 대해 인덱세이션 데이터의 가장 관련되고 중요한 형태를 선택하여 인덱세이션 데이터의 작은 양의 색의 관점에서 그래픽 요소의 현저한 특징을 축소하는데 있다. 본 발명의 다른 기본 아이디어는, 인간의 관찰자의 관점에서 보면, 색은 경험적으로 2개의 클래스로 분할될 수 있다는 것이다. 한편, 가시 스펙트럼, 즉 인간의 관찰자에 의해 무지개 색 중에 위치될 수 있는 색이 있다. 이들을 본색이라고 부르 고, 일반적으로 빨간색, 오렌지색 등과 같은 이름이라고 언급된다. 명백히 빨간색으로서 인지된 색이 보다 밝거나 보다 어두울 수 있지만, 이러한 형태의 정보는, 그 색이 빨간색이라는 사실과 비교하여 부차적이라고 생각될 수 있다. 인간의 관찰자의 관점에서, 본색으로서 인지된 것에 대한 가장 중요하거나 가장 쉽게 기억된 정보는, 그 스펙트럼에 있다. 따라서, 색의 이러한 제 1 클래스에 대해서, 가장 중요한 인덱세이션 데이터는 가시 스펙트럼에서의 색의 위치, 즉 색조의 레벨을 정확히 특성을 나타내는 파라미터이다. 색조의 레벨은, 먼셀(Munsell), HSL, HSB 등 등의 종래의 색체계에서 이러한 이름으로 일반적으로 불리는 파라미터를 참조한다. 다른 한편으로는, 인간의 관찰자가 가시 스펙트럼에 위치될 수 없는, 즉 빨간색도 파란색 등으로서도 인지될 수 없는 색들이 있다. 물리적 관점에서, 이 색들은, 인간의 눈이 어떠한 우위도 인지하지 않는 파장의 혼합으로부터 생기거나, 중요하지 않은 전체 명도로부터 생긴다. 이 색들은, 흰색, 회색 및 검은색과, 워드를 잃어버리고 회색이라고 불리는 불명확한 색을 포함한다. 인간의 관찰자의 관점에서 보면, 그 색의 형태에 대한 가장 중요하거나 가장 쉽게 기억된 정보는, 그것이 밝은지 어두운지에 관한 것이다. 따라서, 색의 이러한 제 2 클래스에 대해서, 가장 중요한 인덱세이션 데이터는, 명도, 즉 명도의 레벨을 정확하게 특성을 나타내는 파라미터이다. 그 명도의 레벨은, 먼셀, HSL, HSB 등등의 종래의 색 시스템에서의 명도의 특성을 나타내고, 종래기술에서는 "명도", "밝기", "휘도(luminance)" 또는 "밸류(value)"를 일반적으로 나타낸 파라미터를 참조한다.
그리고, 그래픽 요소의 색 속성은, 색 속성의 색 또는 색들의 다차원적 표시 를 사용하여 먼저 결정된다. 이러한 다차원적 표시는 임의의 가능한 색 또는 뉘앙스를 정확히 특성을 나타내고 재생 가능하게 한다. 이러한 초기 단에서 기여할 수 있는 종래기술에는 색의 다수의 종래의 다차원적 표시가 공지되어 있다. 기존의 색 표시를 보면, 항상 관련된 적어도 3개의 색 파라미터가 있다. Adobe PhotoShop 5.5 등의 표준 이미지 처리 소프트웨어 애플리케이션에서 사용가능한 일부의 잘 알려진 색 표시는,
- 색조, 채도 및 명도(Hue, Saturation, and Brightness; HSB)
- 빨간색, 초록색, 파란색(RGB)
- 시안, 마젠타, 노란색 및 검은색(CMYK)이 있다.
HSB 시스템은, 이 시스템이 쉽게 이해되고 그 파라미터는 대부분의 경우에 색을 보는 관찰자에 의해 인지될 수 있는 특징에 해당한다. 그 색조는, 색 스펙트럼에서의 특정 위치를 나타낸다. 채도는 그 색이 얼마나 진한가, 즉 그것이 풀 칼라 또는 파스텔 색조인지를 나타낸다. 끝으로, 명도는, 밝은색 또는 어두운 색인지를 결정한다.
그 후, 그 색의 연해진(reduced) 표시는, 그래픽 요소에 대한 인덱세이션 데이터로서 저장되도록 생성될 수 있다. 그 연해진 표시는, 제 1 조건이 입증되는 경우 색조의 레벨이고, 제 2 조건이 입증되는 경우는 명도의 레벨이다. 그 제 1 조건은 상기 색의 제 1 클래스와 일치하는 것이 바람직하고, 제 2 조건은 상기 색의 제 2 클래스와 일치하는 것이 바람직하다. 그래서, 색의 다차원적 표시는, 단일 파라미터로 변환된다. 제 1 및 제 2 조건은, 전체 색공간을 색조 축과 명도 축 상에 매 핑 또는 투사하도록 설계될 수 있다. 바람직한 실시예에서, 상기 투사는, 색공간에서의 각 포인트가 하나와 색조 또는 명도의 하나의 레벨에만 해당하도록 설계될 수 있다. 더욱이, 색조 축과 명도 축은, 단일 합성축으로 적분될 수 있어, 그 전체 색공간을 각각 및 매 색에 대한 중요한 정보를 나타낸 단일축에 투사한다. 이러한 합성축을 사용하여 모든 색을 단일 리스트로 분류하여 그 색들을 가시적으로 중요한 방식으로 정리할 수 있다.
하나의 색공간으로부터 다른 색공간으로의 색의 표시를 변환하는 변환기술이 종래기술에 공지되어 있다. 이 기술들을 사용하여 임의의 종래의 색공간에서의 좌표로 이루어진 세트로부터 색조의 레벨 또는 명도의 레벨을 계산하여도 된다. 명백히, 그 계산은, HSB 색공간에서 시작하는 경우 최소화된다. 그 결과의 인덱세이션 데이터의 이점은, 그것이 짧고 중요하여, 그래픽 요소를 효율적으로 분류하거나 검색하는 역할을 할 수 있다는 것이다.
청구항 2에 기재된 것과 같은 방법의 이점은, 색공간의 소정의 영역이, 만족하는 정확성의 레벨을 갖는 상술한 색의 제 1 및 제 2 경험 클래스를 구현하도록 설계되어도 된다는 것이다. 이들 경험 클래스의 색공간의 영역 상으로의 매핑은, HSB 색공간을 사용하는 경우 특히 간단하다. 그러나, 보다 복잡한 조건을 사용하여, 색, 예를 들면 인접한 픽셀의 색의 자신의 특성보다 많은 것을 고려한다.
청구항 3에 기재된 것과 같은 방법의 이점은, 일반적으로 본색으로서 인지된 색의 간단하고 일반적으로 허용가능한 선명도를 제공한다는 것이다. 그 색공간의 나머지 부분은, 제 2 경험 클래스의 색으로서 간주되는 것이 바람직하다.
청구항 4에 기재된 것과 같은 방법의 이점은, 그 생성된 인덱세이션 데이터가, 축소된(condensed) 포맷으로 그래픽 요소에서 색의 분포를 특징으로 한다. 예를 들면, 인덱세이션 데이터는, 합성 색 히스토그램의 형태를 취하기도 하고, 이때의 각 픽셀은 회색으로서 또는 본색으로서 간주된다. 이러한 히스토그램은 1차원으로 나타내어질 수 있다.
청구항 5에 기재된 것과 같은 방법의 이점은, 색조의 스펙트럼과 명도의 스펙트럼이 색의 일반적인 형태, 즉 빨간색, 노란색, 초록색, 검은색, 흰색 등 등의 통상의이름으로 나타낸 색의 그룹에 따라 분할될 수 있다는 것이다. 따라서, 색조와 명도의 스펙트럼의 소정의 분할과 결합된 색조 및 명도로 이루어진 그룹으로부터 인덱세이션 데이터의 선택에 의해, 일반적인 언어 기반 카테고리로 이루어진 단일 세트 상에 그 전체의 색공간을 매핑 또는 투사할 수 있다. 바람직한 실시예에서, 상기 투사는, 색공간에서의 각 포인트가 하나 및 하나의 일반 카테고리에만 투사되도록 구성될 수 있다. 청구항 5에 따라 저장된 그 인덱세이션 데이터에 의하면, 간단하고 효율적인 탐색방법이 실행될 수 있고, 이 방법에서 질문은 언어의 통상의 용어에 해당하고, 또 이 방법에서 그래픽 요소는 그 질문에 응답하여 적절한 카테고리를 간단히 조사하여 검색되어서 그 질문을 보다 복잡한 추상적인 데이터로 변환할 필요가 없다.
청구항 6에 기재된 것과 방법은, 그래픽 요소의 콜렉션이 그래픽 요소의 연속적인 검색과 랭킹을 하는 역할을 할 수 있는 리스트 또는 어레이 내에 저장될 수 있다는 이점이 있다. 예를 들면, 색 속성은, 그래픽 요소의 평균색 또는 그래픽 요 소에서의 우위색이어도 된다. 그래픽 요소는, 단일 색에 따라 행과 열을 갖는 어레이 내에 저장될 수 있고, 여기서 각 행 또는 각 열은, 인덱세이션 데이터가 색조 또는 명도의 소정의 세그먼트로 분할되는 그래픽 요소로 이루어진다. 그 인덱세이션 데이터가 탐색방법에서 사용되는 경우, 그 탐색 결과는 인덱세이션 데이터의 분류에 따라 표시될 수 있다. 그 인덱세이션 데이터가 그 질문을 입력하기에 앞서 분류될 수 있으므로, 실질적인 계산은 검색시에 포함되지 않는다. 이러한 분류는, 상기 리스트에 있는 그래픽 요소의 순서 또는 상기 어레이에서 행의 순서 또는 열의 순서가 색조 또는 명도의 증감 레벨에 해당하므로 시각적 의미를 나타낸다. 따라서, 원하는 색에 기초하여 그래픽 요소를 일치하는 서브세트의 일치부를 선택하여서 쉽고 빠르게 검색할 수 있다.
또한, 본 발명은 그래픽 요소의 콜렉션을 탐색하는 상기 인덱세이션 방법을 사용한 탐색방법을 제공하되, 이 탐색방법은, 상기 인덱세이션 방법으로 콜렉션의 각 그래픽 요소를 인덱싱하는 단계와, 적어도 하나의 원하는 색을 지정하는 적어도 하나의 입력을 수신하는 단계와, 상기 적어도 하나의 입력에 대응하되, 상기 적어도 하나의 원하는 색이 본색을 포함하는 경우 색조의 레벨 또는 범위에 관계되고 상기 적어도 하나의 원하는 색이 회색을 포함하는 경우 명도의 레벨 또는 범위에 관계되는, 탐색 질문을 결정하는 단계와, 상기 인덱세이션 데이터가 실질적으로 상기 탐색 질문과 일치하는 색조 또는 명도의 적어도 하나의 레벨을 포함한 그래픽 요소를 선택하는 그래픽 요소의 인덱세이션 데이터를 분석하는 단계와, 상기 콜렉션으로부터 상기 선택된 그래픽 요소를 검색하는 단계를 포함한다.
상기 탐색방법으로, 그래픽 요소의 콜렉션이나, 타이틀 또는 번호 또는 다른 문자와 숫자 겸용 정보라기 보다는 마음에 둔 시각적인 정보만을 갖는 그래픽 요소를 포함한 그래픽 요소로 이루어진 정보 유니트를 탐색할 수 있다. 이 탐색처리는, 색 이미지의 색의 통계적 분포의 평가 등과 같은 그래픽 요소를 인덱싱하는데 포함된 시간 소비 계산을 실행한 후 그 탐색을 하여 질문마다 반복할 필요가 없고, 그 인덱세이션 데이터 자체가 보다 축소되므로, 빠르게 수행될 수 있다. 또한, 그 질문이 하나 또는 수개의 원하는 색의 사양에 의거하므로, 질문을 입력하기 위한 사용자 인터페이스를 간단하고 사용하기 쉽게 할 수 있다.
청구항 8에 기재된 것과 같은 방법은, 사용자가 색 스케일에서의 채색된 위치의 색과 원하는 이미지에서의 색간의 유사도에 의존하여 가장 유사하게 채색된 부분을 선택할 수 있기 때문에 질문정보를 매우 직관적으로 인식하게 하는 이점을 갖는다.
상기 채색된 부분은, 초록색, 파란색, 빨간색, 노란색, 검은색, 흰색 등 등의 일반적인 색의 형태에 해당한다. 그래서, 사용자 인터페이스를 매우 간단하게 할 수 있다. 다른 실시예에서, 상기 채색된 부분은 그래픽 요소의 인덱세이션 데이터 중에서 색조 또는 명도의 레벨의 분포의 함수로서 정의된다. 이것의 이점은, 채색된 부분의 색을, 상기 인덱싱된 그래픽 요소에서 발견될 수 있는 평균색 또는 우위색에 매우 유사하게 할 수 있다는 것이다.
청구항 9에 기재된 것과 같은 방법은, 메이커가 필터로서 작용되어 색조 또는 명도의 소정의 범위를 선택할 수 있다. 작은 수의 위치를 제공하는 경우, 그 인 덱세이션 데이터로 사전 계산을 실행하여 그래픽 요소의 연속적인 검색의 속도를 높일 수 있다. 그 메이커는, 화살표 또는, 합성 색 스케일에 겹친 정사각형 창 등과 같은 임의의 형태이어도 된다. 또 다른 특정 실시예에서, 메이커는 연속적으로 색 스케일을 따라 이동하도록 허용된다. 이것에 의해 그 메이커의 이동을 부드럽게 하여, 그 합성 색 스케일에 도시된 임의의 색을 정밀하게 선택한다.
청구항 10에 기재된 것과 같은 방법에 의해, 합성 색 스케일의 설계는 각각의 단일 색 속성의 면에서 그래픽 요소의 분포의 개요를 준다. 따라서, 색 스케일로 채색된 부분의 길이는, 대응한 인덱세이션 데이터가 상기 채색된 부분으로 나타낸 소정의 범위로 분할되는 그래픽 요소의 수에 비례한다. 이를 위해, 상기 채색된 부분에 대응하는 각각의 범위 및/또는 그 그래픽 요소의 콜렉션에 대한 상기 채색된 부분의 길이를 변경하는 것도 가능하다. 예를 들면, 각기 채색된 부분은 동일한 길이를 갖기도 하고, 그에 대응한 범위는, 단일 색 속성의 면에서, 실질적으로 동일한 그래픽 요소의 수와 각기 채색된 부분이 관련되도록 정의될 수 있다. 또 다른 이점은, 명도 또는 색조의 대응한 레벨 또는 범위가 적어도 하나의 그래픽 요소의 인덱세이션 데이터에 의해 일치된 채색된 부분만을 색 스케일이 포함한다는 것이다. 그리고, 상기 합성 색 스케일의 모든 부분은 사용가능하고, 그 디스플레이 상의 합성 색 스케일의 크기는 최적화된다.
또한, 본 발명은 그래픽 요소를 인덱싱하는 인덱세이션 장치를 제공하되, 이 장치는, 다차원 색 공간에서의 좌표로 이루어진 세트를 그 색속성의 적어도 하나의 색에 제공하여서 그래픽 요소의 색속성을 결정하고, 상기 적어도 하나의 색이 제 1 조건을 입증하는 경우 상기 적어도 하나의 색의 좌표로 이루어진 세트를 색조의 레벨까지 감소시키고, 상기 적어도 하나의 색이 제 2 조건을 입증하는 경우 상기 적어도 하나의 색의 좌표로 이루어진 세트를 명도의 레벨까지 감소시키는 색 분석기와, 상기 그래픽 요소를 인덱싱하고, 상기 색 속성의 적어도 하나의 색으로부터 생기는 색조의 레벨 및/또는 상기 색 속성의 적어도 하나의 색으로부터 생기는 명도의 레벨로 이루어진 인덱세이션 데이터를 저장하는 저장수단을 구비한다.
또한, 본 발명은 그래픽 요소의 콜렉션을 탐색하되,
- 상기 콜렉션의 각 그래픽 요소를 인덱싱하는 상기 설명된 것과 같은 인덱세이션 장치와,
- 적어도 하나의 원하는 색을 지정하는 적어도 하나의 입력을 수신하여, 상기 적어도 하나의 원하는 색이 본색을 포함하는 경우 색조의 레벨 또는 범위에 관계되고 상기 적어도 하나의 원하는 색이 회색을 포함하는 경우 명도의 레벨 또는 범위에 관계되는, 상기 적어도 하나의 입력에 대응하는 탐색 질문을 결정하는 사용자 조작가능형 입력수단과,
- 인덱세이션 데이터가 실질적으로 상기 탐색 질문과 일치하는 색조 또는 명도의 적어도 하나의 레벨을 포함한 그래픽 요소를 선택하도록 그래픽 요소의 인덱세이션 데이터를 분석하고, 상기 콜렉션으로부터 상기 선택된 그래픽 요소를 검색하는 그래픽 요소 검색 제어기를 구비한, 탐색장치를 제공한다.
또한, 본 발명은 데이터 스토리지를 포함하고 상술한 것과 같은 탐색장치를 구비한 소비자 전자제품을 제공한다. 상기 소비자 전자제품의 예로는, 이동전화, 오디오 및/또는 비디오 플레이어, 랩탑, 셋탑박스 등이 있다.
본 발명의 이들 및 다른 국면을 도면을 참조하여 예시에 의해, 이후 설명된 실시예들로부터 명백해지고, 이 실시예들을 참조하여 설명될 것이다.
도 1은 본 발명의 실시예에 따른 이미지 탐색장치의 개략적인 도면이고,
도 2는 본 발명의 일반적인 실시예에 따른 탐색방법의 흐름도,
도 3은 본 발명의 제 1 실시예에 따른 탐색방법에서 사용하기 위한 사용자 인터페이스 화면을 나타내고,
도 4는 본 발명의 제 2 실시예에 따른 탐색방법에서 사용하기 위한 사용자 인터페이스 화면을 나타내고,
도 5는 도 4의 탐색방법으로 상기 검색된 이미지를 랭킹하기 위한 스코어를 계산하는 방법을 나타내고,
도 6은 본 발명의 제 3 실시예에 따른 탐색방법에서 사용하기 위한 사용자 인터페이스 화면을 나타내고,
도 7은 본 발명의 제 4 실시예에 따른 탐색방법에서 사용하기 위한 사용자 인터페이스 화면을 나타내고,
도 8은 본 발명의 실시예에 따른 인덱세이션 방법에서 사용된 2개의 소정의 영역을 나타내는 HSB 색 공간의 단면 그래프,
도 9는 본 발명의 실시예에 따른 이미지의 인덱세이션을 위한 합성 색 히스토그램을 나타내고,
도 10은 본 발명의 실시예에 따른 이미지의 인덱세이션을 위한 분할된 합성 색 히스토그램을 나타낸다.
(발명의 상세한 설명)
도 1은 본 발명의 인덱세이션 및 탐색방법을 실행하는데 적합한 컴퓨터 시스템의 일 실시예를 나타낸다. 이미지 탐색 시스템(1)은, 디스플레이(3)에 동작상 연결된 프로세서(2)와, 마우스 또는 기타 등의 포인팅 디바이스(4)와, 키보드(5)와, 대량 저장장치(6)와, 어드레싱 가능형 메모리(7)를 구비한다. 그 대량 저장장치(6)는, 그래픽 이미지와 디지털화된 포토그래프를 포함하는 이미지를 영구히 저장하기 위한 것이다. 대량 저장장치(6)에서, 이미지는 정보 유니트 데이터베이스(8)에 저장되어도 되고, 정보 유니트는 이미지 자체이거나, 그 이미지를 포함하는 보다 복잡한 오브젝트이어도 된다. 본 발명의 실시예에서, 정보 유니트 데이터베이스(8)는, 각 정보 유니트가 다음의 필드: 앨범 타이틀, 아티스트의 이름, (임의의 적절한 오디오 파일 포맷, 예를 들면 MP3의) 오디오 트랙 및 (임의의 적절한 이미지 파일 포맷, 예를 들면 JPEG의) 커버 이미지를 포함하는 음악앨범 데이터베이스이다. 그 커버 이미지 필드는 앨범 커버의 디지털 이미지를 포함한다.
메모리(7)는, 도 8 내지 도 10을 참조하여 설명되는 이미지 인덱세이션 방법과 도 2 내지 도 7을 참조하여 설명되는 이미지 탐색방법을 실행하기 위한 프로세 서(2)를 제어하는 소프트웨어 애플리케이션(9)을 저장한다. 이들 이미지 탐색방법으로 사용자가 컴퓨터 시스템과 상호작용하여 특정 색속성을 갖는 하나 또는 수개의 이미지를 검색 및 표시할 수 있다. 이미지 탐색 소프트웨어 애플리케이션(9)은, 데이터베이스(8)에 있는 이미지를 분석하고, 그 이미지에 관련된 이미지 인덱세이션 데이터를 포함한 이미지 인덱세이션 파일(13)을 생성하는 이미지 분석기(12)를 구비한다. 그 이미지 인덱세이션 파일(13)은, 이미지와 함께 또는 따로따로 저장되어도 된다. 그 사용자 인터페이스 제어기(11)는, 디스플레이(3) 상에 사용자 인터페이스 화면을 제공하고, 포인팅 디바이스(4)와 키보드(5)로부터의 입력을 감시하여 사용자 인터페이스에서 탐색 질문을 정밀하게 작성한다. 그 탐색 질문은, 그 질문과 일치하는 이미지를 검색하여 디스플레이(3) 상에 표시하는 이미지 검색 및 표시 제어기(10)에 보내진다. 그 디스플레이(3)는, 종래의 설계를 갖고, 상기 이미지 검색 및 표시 제어기(10)에서 제공한 이미지를 표시하는 충분한 공간적 및 색 해상도를 가져야 한다.
이제, 도 8 내지 도 10을 참조하면, 일부의 인덱세이션 방법은, 이미지 인덱세이션 파일(13)을 발생하는 이미지 분석기(12)에 의해 구현되도록 기재되어 있다.
제 1 실시예에 의하면, 각 이미지의 인덱세이션은, 평균색에 의거한다. 따라서, 다음의 단계를 실행한다:
a) 이미지에서의 각 픽셀의 색은, 색조, 채도 및 명도 좌표에 관하여 계산된다. 그 평균 색조, 평균 채도 및 평균 명도는 그 이미지에서 계산된다. 그 평균 색조는, 모든 픽셀의 색조 레벨을 추가하고 이 합을 픽셀의 수로 나누어서 계산된다. 평균 채도와 평균 명도도 마찬가지로 계산될 수 있다.
b) 도 8은 일정한 색조의 평면에 그려진 HSB 색 공간의 단면을 나타내고, HSB 색 공간(80)을 2개의 소정의 영역(81,82)으로 분할한 것을 나타낸다. 이러한 분할은 인간 관찰자가 일반적으로 인식하여 그것을 설명하는 방법에 대해 평균 색의 특징을 짓는 역할을 한다. 도 8에서, 상기 영역(81)은, 본색, 즉 (전자기파의 가시 스펙트럼) 무지개의 색으로서 일반적으로 인식되는 색을 포함한다. 상기 색공간(80)의 나머지 부분을 둘러싸는 영역(82)은, 회색, 즉 흰색, 회색 및 검은색으로 이루어진 무지개 색에 밀접하게 관련되지 않은 모든 색으로서 일반적으로 인식되는 색을 포함한다.
상기 영역(81)은 하부 채도 경계(83)를 갖는다. 실제로, 이미지의 평균 채도가 매우 낮은 경우, 평균 색조는, 이미지를 조사하는 관찰자가 인식하는 것에 대해 거의 관련이 없다. 채도가 검은색 및 흰색 이미지를 갖는 경우인 채도가 정확히 제로일 경우, 색조는 의미 없는 것이다. 그 경우에, 이미지에서의 평균색은 인간의 관찰자에 대해 실질적으로 회색이어서, 색조의 레벨에 상관없이 명도의 평균 레벨에 의해 완전히 결정될 수 있다. 예를 들면, 하부 채도 경계는 10과 25% 사이에서 선택될 수 있다. 도 8에 도시된 바람직한 실시예에서, 하부 채도 경계는 0-255 스케일에서 32이다.
상기 영역(81)은, 하부 명도 경계(84)를 갖는다. 실제로, 그 명도가 제로에 가깝거나 제로일 경우, 그 이미지에서의 평균색은 색조와 채도의 레벨에 상관없이 거의 검은색 또는 검은색으로서 인식된다. 예를 들면, 하부 명도 경계는, 5와 25% 이하 사이에서 선택되어도 된다. 도 8에 도시된 바람직한 실시예에서, 하부 명도 경계는, 0-255 스케일에서 16이다.
또한, 상기 영역(81)은, 상부 명도 경계(85)를 갖는다. 실제로, 그 명도가 최소값 또는 최대값에 가까운 경우, 그 이미지에서의 평균색은 색조 및 채도의 레벨에 상관없이 거의 흰색 또는 흰색으로서 인식된다. 예를 들면, 상부 경계는 75와 95% 사이에서 선택되어도 된다. 도 8에 도시된 바람직한 실시예에서, 상부 명도 경계는, 0-255 스케일에서 248이다.
c) 평균색이 영역 81에 속하는 경우, 그 평균색의 색조 레벨만이 인덱세이션 파일(13)에 이미지의 인덱세이션 데이터로서 저장된다. 그 평균색이 영역 82에 속하는 경우, 평균색의 명도의 레벨만이 인덱세이션 파일(13)에 이미지의 인덱세이션 데이터로서 저장된다.
따라서, 단일 인덱세이션 데이터는, 데이터베이스(8)에 있는 매 이미지에 대해서 얻어진다. 이러한 단일 인덱세이션 데이터는, 가시적으로 중요한 방식으로 예를 들면 단일 리스트로 이미지를 분류하여 간단한 방식으로 이미지를 검색하는 역할을 하기도 한다.
제 2 실시예에 의하면, 각 이미지의 인덱세이션은, 통계적 색 분포에 의거한다. 따라서, 다음의 단계를 실행한다:
a) 이미지의 각 픽셀의 색은, 색조, 채도 및 명도 좌표에 관하여 계산된다.
b) 그 이미지의 각 픽셀마다, 그 픽셀이 영역 81 또는 상술한 영역 82에 속하는지를 결정한다.
c) 도 9에 도시된 것처럼, 절반 축 87이 색조의 풀 스펙트럼을 나타내고 절반 축 88이 명도의 풀 스펙트럼을 나타내는, 이미지의 합성 색 히스토그램(86)을 발생한다. 예를 들면, 색조의 레벨과 명도의 레벨은, 0과 255 사이의 1바이트 정수로서 표현된다. 그 영역(81)에 속하는 픽셀은, 명도 및 채도의 레벨에 상관없이 절반 축(87)의 수직 바아로 카운트된다. 영역(82)에 속하는 픽셀은 색조와 채도의 레벨에 상관없이 절반 축(88)의 수직 바아로 카운트된다.
d) 합성 색 히스토그램(86)은, 이미지의 인덱세이션 데이터로서 인덱세이션 파일(13)에 저장된다. 그 합성 색 히스토그램(86)은, 단일 수평축의 이미지에서의 모든 색을 나타내는 이점을 갖는다. 그것은 이미지의 유행에 따라 색을 분류하는 역할을 하기도 한다. 상기 절반 축(87,88)의 해상도는, 너무 높지 않아 색 분포의 중요한 패턴을 완화시키지 않는다. 도 9에 도시된 히스토그램은, 순수하게 예시적인 목적을 위해 픽셀의 임의의 카운트를 갖는다.
제 3 실시예에 의하면, 이미지의 색분포는, 소정의 일반적인 형태의 색에 따라 저장된다. 따라서, 색조의 스펙트럼은, 다음의 일반적인 형태의 본색: 빨간색, 오렌지색, 노란색, 초록색, 파란색 및 자주색에 해당하는 색조의 6가지 소정의 세그먼트로 분할된다. 이들 세그먼트의 정의는 표 1에 요약되어 있다. 명도의 스펙트럼은, 다음의 일반적인 형태의 회색에 해당하는 명도의 3가지 소정의 세그먼트로 분할된다. 이들 세그먼트의 정의는 표 1에 요약되어 있다.
표 1: B는 명도의 레벨을 나타내고, H는 색조의 레벨을 나타낸다.
모든 레벨은 0-255 스케일에서 측정되었다.
일반적인 색 형태 정의
흰색 B>196
회색 64≤B≤196
검은색 B<64
빨간색 H<16 또는 H≥240
오렌지색 16≤H<32
노란색 32≤H<48
초록색색 48≤H<112
파란색 112≤H<188
자주색
제 3 실시예에서, 합성 색 히스토그램은, 제 2 실시예에서처럼 유사한 방식으로 생성된다. 그러나, 도 10에 도시된 것처럼, 절반 축(87,88)의 해상도는, 소정의 세그먼트와 일치한다. 따라서, 그 합성 색 히스토그램은, 픽셀에 대한 3개의 카운트(또는 바아)가 색공간의 영역 82에 속하고 픽셀에 대한 7개의 카운트(또는 바아)가 색공간의 영역 81에 속한다. 일반적인 빨간색 형태는 2개의 바아를 포함하는 것을 주목해야 한다. 도시되지 않은 변경에서, 절반 축(87)은 일반적인 빨간색 형태에 대응하는 2개의 바아를 통합하도록 변경되어도 된다. 도 10에 도시된 분할된 합성 색 히스토그램은, 순수한 예시적 목적을 위해 픽셀들의 임의의 카운트를 갖는다. 그 분할된 합성 색 히스토그램(89)은, 계산 파라미터로 나타낸 색의 통계적 분포가 카테고리로 이루어진 단일 세트 상에 매핑되고, 이 세트는 사람들이 간단한 방식으로 색을 설명하는 통상의 카테고리 및 용어와 일치한다. 상기 분할된 합성 색 히스토그램(89)은, 이미지의 인덱세이션 데이터로서 인덱세이션 파일(13)에 저장될 수 있다.
상기 인덱세이션 방법의 제 4 실시예에 의하면, 분할된 합성 색 히스토그램(89)은 상술한 것처럼 생성되고, 우위 일반적 형태의 색은, 그 분할된 합성 색 히스토그램(89)에 있는 픽셀의 최고의 카운트를 갖는 세그먼트를 선택하여 결정된다. 인덱세이션 파일(13)에 전체 히스토그램을 저장하는 대신에, 이미지는, 우위 일반적 형태의 색과 대응한 세그먼트로 분할하는 픽셀의 카운트 또는 비율만으로 인덱싱될 수 있다. 또한, 이러한 간단한 인덱세이션 데이터는, 가시적으로 중요한 방식, 예를 들면 매트릭스로 이미지를 분류하고, 간단한 방식으로 이미지를 검색하는 역할을 하기도 한다.
양적 제한치를 제안한 것은 색이 본색으로서 일반적으로 인식되어야 하는 경우와, 그것이 검은색 및 흰색, 즉 회색의 레벨로서 일반적으로 인식되어야 하는 경우를 구별하기 위해서이다. 이러한 구별의 문제는 심리적 인식을 가지므로, 다른 양적 제한치를 사용하여도 된다. 더욱이, 마이크로소프트
Figure 112006016353547-PCT00001
에서 소프트웨어 애플리케이션 파워포인트
Figure 112006016353547-PCT00002
에서 사용된 색체계에서 적용된 상기 양적 제한치는, 색 재현에 영향을 미치는 컴퓨터 시스템의 모니터, 그래픽 카드 및 모든 소프트웨어 및 하드웨어 구성요소에 따라 변경 및 튜닝되어도 된다. 이는 일반적 형태의 색을 그리는 것을 제안한 양자적 제한치에도 마찬가지로 적용한다.
주목해야 하는 것은, 본색과 회색간의 명백한 컷 제한치를 도시한 것은 서로 다른 사람이 다르게 해결하여도 되는 주관적 인식의 문제라는 것이다. 예를 들면, 매우 연한 색은, 한 사람에게는 본색으로서 다른 사람에게는 흰색으로서 인식될 것이다. 이 때문에, 변경된 실시예에서는, 색조의 레벨로 인덱세이션을 하기 위한 조건과 명도의 레벨로 인덱세이션을 하기 위한 조건 모두를 색이 입증하는 천이영역을 정의할 수 있다. 그 실시예에서, 이러한 천이영역으로 분할되는 픽셀은, 합성 색 히스토그램의 양쪽 부분에서 카운트된다. 그리고, 색이 보다 연한 색조의 분포 가 동일한 2개의 이미지 중 회색 스케일에 관련된 히스토그램 부분에는 보다 큰 수의 픽셀을 가질 것이다. 예를 들면, (미도시된) 천이영역의 형태는 도 8에 도시된 경계(83,84,85)에 중심이 맞추어지고 그들의 양측에 돌출하는 U자형 밴드를 취한다.
도 2는 본 발명의 일반적인 실시예에 따른 이미지 탐색방법의 개요를 나타낸 흐름도이다. 먼저, 이미지 입력단계(20)에서는, 이미지 탐색 시스템(1)에 다수의 이미지를 입력하고 그 탐색처리시에 사용하기 위한 정보 유니트 데이터베이스(8)에 저장한다. 예를 들면, 정보 유니트 데이터베이스(8)에다가, 디지타이저에 의한 이미지의 디지털화, 종래의 그래픽 설계 애플리케이션에 이미지의 합성, 또는 원격 컴퓨터 또는 디지털 카메라 등의 또 다른 장치로부터 이미지의 다운로드를 행하여서, 이미지를 입력한다. 상술한 것처럼, 그 이미지는, 디지털화된 음악 앨범 등의 보다 복잡한 데이터 구조의 일부이어도 된다. 그 이미지는, 종래의 압축기술로 압축되어 그들의 저장 요구사항을 줄일 수도 있다. 이미지 분석단계(21)에서, 이미지 분석기(12)는, 각 이미지를 분석하여 이미지 인덱세이션 파일(13)에 저장된 인덱세이션 데이터를 생성한다. 선택적인 이미지 분류단계(22)에서, 이미지 분석기(12)는, 이미지의 인덱세이션 데이터를 사용하여 그 이미지를 색속성의 함수로서 분류하여, 이미지의 연속적인 검색속도는 증가될 것이다. 사용자 인터페이스 화면 생성단계(23)에서, 사용자 인터페이스 제어기(11)는, 디스플레이(3)에 표시된 사용자 인터페이스 화면을 생성한다. 질문 입력단계(24)에서, 사용자는, 포인팅 디바이스(4) 또는 키보드(5) 및 사용자 인터페이스 화면을 갖는 이미지 탐색장치에게 질문 을 입력한다. 이미지 검색단계(25)에서, 이미지 검색 및 표시 제어기(10)는, 그 인덱세이션 데이터를 사용하여 이미지를 실질적으로 상기 질문과 일치하는 데이터베이스(8)로부터 검색한다. 옵션으로서, 각기 검색된 이미지를 랭킹하기 위한 스코어를 계산하여도 된다. 이미지 표시단계(26)에서는, 상기 검색된 이미지를 인간의 관찰자가 한층 더 식별하도록 그 디스플레이(3) 상에 표시한다.
이하, 상기 탐색방법의 상세한 실시예를 설명하겠다.
제 1 실시예에서, 이미지의 인덱세이션 및 탐색은, 평균색에 기초한다. 질문을 정밀하게 작성하고 그 검색된 이미지를 시각화하는 대응한 사용자 인터페이스 화면(30)은, 도 3에 도시되어 있다.
이미지 분석단계(21)에서, 이미지 분석기(12)는, 인덱세이션 방법의 제 1 실시예에 따라 각 이미지를 분석한다. 이미지에서의 평균색에 관련된 명도의 레벨 또는 색조의 레벨은, 인덱세이션 파일(13)에 저장된다.
이미지 분류단계(22)에서, 이미지를 인덱세이션 데이터에 따라 2개의 서브세트로 분류하는, 즉 인덱세이션 데이터가 색조의 레벨인 이미지를 제 1 서브세트로 분류하고 인덱세이션 데이터가 명도의 레벨인 이미지를 제 2 서브세트로 분류한다. 각 서브세트에서, 이미지는, 예를 들면, 증감순으로 각각의 인덱세이션 데이터의 레벨에 따른 리스트에 랭킹되어 있다. 각 서브세트의 합성 및 내부 순서를 설명하는 콜렉션 인덱스는 이미지 인덱세이션 파일(13)에 저장된다.
사용자 인터페이스 화면 생성단계(23)에서, 사용자 인터페이스 제어기는 합성 슬라이더 바아(31)를 사용자 인터페이스 화면(30)에 표시되게 생성한다. 상기 합성 색 슬라이더 바아(31)는, 색조의 레벨에 관련되는 질문 입력용 본색 스케일(32)과, 명도의 레벨에 관련되는 질문 입력용 회색 스케일(33)과, 본색 스케일(32)과 회색 스케일(33)을 따라 이동가능한 커서(34)와, 커서(34)를 각각 위로 아래로 이동시키는 제어 버튼(35,36)으로 이루어진다.
상기 본색 스케일(32)은, 약간이 갭이 있는 점진적인 방식으로 색 스펙트럼을 나타내는 직선 밴드이다. 그 본색 스케일(32)은, 인접한 동종의 채색된 부분(32a)으로 이루어진다. 각 부분(32a)은 각각의 색조의 레벨을 갖는 본색을 갖는다. 그 부분(32a)은, 예를 들면, 하향 증가 상향 감소 또는 이와 반대로 행하는 색조의 레벨에 따라 순서가 매겨진다. 그래서, 본색 스케일(32)은 무지개와 유사하게 보인다.
제 1 실시예에서, 본색 스케일(32)은, 예를 들면, 다음의 단계에 따라 생성된다:
(a) 디스플레이(3) 상에 픽셀의 수의 면에서 본색 스케일(32)의 프리셋 길이, L은, 제 1 서브세트에서의 이미지의 수 N으로 나뉜다. 그 수 R=L/N은 이미지 당 색 스케일의 길이를 나타낸다.
(b) 상기 수 R이 1보다 큰 경우, 하나의 채색된 부분(32a)은 이미지마다 생성되고, 상기 채색된 부분은 색조의 레벨이 대응한 인덱세이션 데이터에서의 것과 같다.
(c) 상기 수 R이 1보다 작은 경우, 각기 채색된 부분(32a)은 제 1 서브세트로부터의 수개의 이미지와 일치할 것이다. 예를 들면, 그 채색된 부분(32a)은, 1픽 셀의 길이로 발생된다. 랭킹된 이미지의 제 1 서브세트는, 각각 [1/R] 또는 [1/R]+1 이미지로 이루어진 그룹으로 순차적으로 분할된다. 하나의 채색된 부분(32a)은, 상기 그룹마다 발생되고, 그 그룹에 있는 이미지의 인덱세이션 데이터로부터 일어나는 색조의 레벨을 갖는 색이 주어진다. 예를 들면, 채색된 부분(32a)의 색조의 레벨은, 그 그룹에서의 이미지의 인덱세이션 데이터의 평균값 또는 최상위값 또는 최하위값으로서 계산되어도 된다. 그러나, 인덱세이션 데이터만을 사용하므로, 제 1 서브세트에서의 이미지의 평균 채도와 평균 명도는 본색 스케일(32)의 생성이 고려되지 않는다. 본색 스케일(32) 전체에 걸쳐서 명도와 채도는, 각 채색된 부분에 무슨 색이 도시되었는지에 관해 애매모호하지 않도록 설정되어야 한다. 예를 들면, 채도는 대응한 스펙트럼의 상부에 설정되어도 되고, 명도는 대응한 스펙트럼의 중간에 설정되어도 된다.
상술한 방식으로 발생된 본색 스케일(32)은, 제 1 서브세트에서의 이미지들의 콜렉션의 개요를 나타내고, 실질적으로 그 본색 스케일(32)을 따라 확실히 이미지가 분포되게 하고, 그 본색 스케일(32)을 따라 커서(34)를 이동하는 경우 그 검색된 이미지의 리스트의 스크롤링을 부드럽게 할 것이다. 제 1 서브세트에서 이미지 중 아무것에 의해서도 일치하지 않는 색 스펙트럼의 부분은 나타내어지지 않는다. 따라서, 본색 스케일(32)은, 색조면에서 약간의 갑작스러운 천이를 포함하기도 한다.
상기 본색 스케일 생성 방법에서는, 최소 길이를 각 채색된 부분에 할당하여 사용자가 원하는 색을 선택하도록 제공하는 색의 관점에서 아주 우수한 해상도를 얻는다. 그러나, 1보다 많은 픽셀의 길이를 갖는 채색된 부분(32a)은, 유사한 방식으로 구성되어도 된다.
회색 스케일(33)은, 약간의 갭을 둘 수 있으면서 흰색에서 검은색으로 점진적인 방식으로 회색 스펙트럼을 나타내는 직선 밴드이다. 그 회색 스케일(33)은, 인접한 동종의 회색 부분(33a)으로 이루어진다. 각 부분(33a)은 명도와 제로 채도의 각각의 레벨을 갖는 회색을 갖는다. 상기 부분(33a)은, 예를 들면 상향 증가 및 하향 감소 또는 이와는 반대로, 명도의 레벨에 따라 분류된다. 그 회색 스케일(33)은, 본색 스케일(32)과 같은 방식으로 생성되어, 판독기는 본색 스케일 생성의 상기 설명을 참조하고, 이미지의 제 2 서브세트를 이미지의 제 1 서브세트로 대체하고 명도 파라미터의 레벨을 색조의 레벨로 대체한다.
질문 입력단계(24)에서, 사용자는, 커서(34)를 합성 색 슬라이더 바아(31)를 따라 특정 위치에 놓아서 포인팅 디바이스(4) 또는 키보드(5)를 갖는 이미지 탐색시스템에 대한 질문을 입력한다. 사용자는, 원하는 이미지에서 평균색을 가장 잘 나타내는 채색된 부분 32a 또는 33a를 선택하기 위해서 상기 채색된 부분(32a, 33a)의 모양에 주의하는 것이 필요할 뿐이다. 보다 구체적으로, 상기 커서(34)를 본색 스케일(32)의 채색된 부분(32a)을 따른 위치에 놓으면, 명도에 관련되고 상기 부분(33a)의 색의 명도의 레벨을 언급하는 질문을 생성한다. 따라서, 상기 질문은 제 1 실시예에서, 명도의 레벨 또는 색조의 레벨 이외에 다른 정보는 포함하지 않는다. 사용자의 관점에서 보면, 질문은 단지 원하는 본색 또는 회색일 뿐이다.
이미지 검색단계(25)에서, 이미지 검색 및 표시 제어기(10)는, 그 질문과 가 장 잘 일치하는 데이터베이스(8)에 있는 하나 이상의 이미지를 검색한다. 상기 단계 22에서 얻어지고 인덱세이션 파일(13)에 저장된 그 콜렉션 인덱스를 사용하여, 상기 이미지 검색 및 표시 제어기(10)는, 적절한 서브세트에서 랭킹된 이미지의 리스트에 있는 적절한 연속적인 위치로, 즉 그 질문과 잘 일치하는 이미지 인덱세이션 데이터로 점프하여, 대응한 이미지 식별코드 또는 어드레스와, 리스트에서 특정 수M의 인접한 이미지의 것들을 검색해야만 한다. 그 후, M개의 이미지는, 데이터베이스(8)로부터 검색된다. 이러한 모든 것은 이미지의 랭킹이 이미 콜렉션 인덱스에 기록되었으므로 실질적인 계산은 필요하지 않다.
도 3에 도시된 것처럼, 이미지 표시단계(26)에서, 상기 검색된 이미지(37)는, 평균색의 변화에 대해 대응한 색 스케일 32 또는 33의 방위에 해당하는 연속적인 순서로 상기 합성 색 슬라이더 바아(31)에 평행한 1차원 리스트의 형태로 표시된다. 커서(34)가 색 스케일 32와 33 사이의 천이점에서 이동되는 경우, 제 1 서브세트의 끝에 있는 이미지는 제 2 서브세트의 끝에 있는 이미지에 인접하게 표시되어, 연속 리스트는, 커서(34)의 임의의 위치에 대해 표시된다. 회색 스케일(33)은, 본색 스케일(32)보다 위에 또는 아래에 위치되어도 된다.
도 3에 도시된 예시에서는, M=3, 즉 3개의 이미지(37)를 표시한다. 각 이미지(37)는, 음악 앨범의 커버를 나타낸다. 그 앨범의 타이틀 및 아티스트명도, 데이터베이스(8)로부터 검색되고 대응한 이미지 37에 인접한 38에 표시된다. 동시에 표시되는 이미지의 수 M은 미리 설정되거나 사용자에 의해 정의되어도 된다. 줌인 버튼 및 줌 아웃 버튼(미도시)은, 동시에 표시되는, 이미지의 수, 즉 리스트의 부분 을 선택하도록 설치되어도 된다.
따라서, 평균 본색을 갖는 CD 커버는, 채도와 명도에 상관없이 색조의 평균 레벨에 의해 순서가 매겨진다. 이들 값은 순서가 매겨진 CD 커버의 색조 리스트에서 변화할 것이다. 평균 본색을 갖지 않는, 즉 채도의 평균 레벨이 낮고 및/또는 명도의 평균 레벨이 매우 높거나 매우 낮은 CD 커버는, 채도와 색조의 바로 그 레벨에 상관없이 명도의 평균 레벨에 의해 순서가 매겨진다. 모든 CD/MP3 앨범 커버는, 그들의 평균 색에 의거하여 순서가 매겨져 1차원 리스트에 표시되고, 이것은 슬라이더 바아(31)에 의해 항해될 수 있다. 이러한 슬라이더 바아는, 원하는 CD 커버의 섹션으로 빠르게 점프 가능하게 하는 축소된 포맷의 커버의 색을 나타낸다.
여기서 발견한 것은, 이미지의 평균색이 상기 영역(81)에 속하지만 그 색조의 평균 레벨이 의미가 없을 수도 있는 경우가 있다는 것이다. 예를 들면, 이것은, 그 이미지가 다양한 서로 다른 색을 포함하거나 제한된 세트의 색의 동일한 분포를 포함하는 경우 일어나기도 한다. 이 경우에도, 그것은 이미지를 색조 대신에 명도의 평균 레벨로 인덱싱하기 쉽다. 따라서, 이미지를 색조의 레벨 또는 명도의 레벨로 인덱싱해야 하는 것을 결정하기 위한 규칙은, 색공간의 영역에 대해 평균색의 그 위치보다 더 복잡한 조건에 기초하기도 한다. 그래서, 이 보다 복잡한 조건들은, 이미지의 색분포를 고려하여 다양한 서로 다른 색 또는 제한된 세트의 색의 동일한 분포가 제공되는 이미지를 검출한다. 이러한 조건은, 사용자 시험을 거쳐 개선될 수 있다.
이하 상기 탐색방법의 제 2 실시예를 도 4를 참조하여 설명하겠다.
제 2 실시예에서, 이미지 분석단계(21)는, 상술한 것과 같은 인덱세이션 방법의 제 2 실시예에 따라 실행된다. 그 이미지 분류단계(22)는, 제 2 실시예에서는 생략된다.
도 4에 도시된 것처럼, 제 2 실시예의 사용자 인터페이스 화면(40)은, 제 1 실시예의 합성 색 슬라이더 바아 31과 유사한 2개의 동일한 합성 색 슬라이더 바아(44,45)를 갖는다. 그러나, 상기 합성 색 슬라이더 바아(44,45)에서, 회색 스케일(15)은, 이미지의 실제의 색분포에 상관없이 검은색부터 흰색까지 명도의 전체 스펙트럼에 걸치는 소정의 스케일이다. 마찬가지로, 본색 스케일(16)은, 이미지의 실제의 색분포에 상관없이 색조의 전체 스펙트럼에 미치는 소정의 스케일이다. 마커(46,47)의 형태는, 합성 색 슬라이더 바아 44와 45 위에 색 스케일의 부분에 걸치는 정사각형 창문이다.
질문 입력단계(24)에서는, 2개의 마커(46,47)의 위치에 의거하여 질문을 입력한다. 각 마커는 도 5를 참조하여 설명될 것처럼, 러닝 필터로서 동작한다.
도 5의 상부 그래프는 도 4의 마커(46,47)의 위치에 대응하는 탐색 질문의 개략도이다. 그 질문은, 회색 스케일(15)을 나타낸 부분 52와 본색 스케일(16)을 나타낸 부분 53을 구비한 합성축에 설치된 2개의 필터(48,49)로 이루어진 세트로서 나타내어진다. 그 합성 색 슬라이더 바아(44,45) 상의 마커(46,47)의 위치는, 각각 필터(48,49)의 위치를 결정한다. 필터(48,49)는, 정사각형 필터로서 나타내어져 있고, 그때의 필터 48의 총 가중치는 필터 49의 총 가중치보다 크다. 그러나, 필터(48,49)는, 예를 들면 날카로운 형상 등의 서로 다른 형상을 나타내어, 더 많은 선 택성도를 얻을 수도 있다.
도 5에서, 중간에 있는 그래프는 이미지의 합성 색 히스토그램(41)을 나타내고, 여기서 그 부분 43은 명도의 스펙트럼에 관계되고, 부분 42는 색조의 스펙트럼에 관계된다. 각 이미지에 대응하는 유사한 히스토그램은, 인덱세이션 파일(13)에 저장된다. 질문의 입력시에, 필터(48,49)와 대응한 합성 색 히스토그램(41)의 곱은, 인덱싱된 이미지마다 계산되어, 2개의 피크 50 및 51이 생긴다. 이미지를 랭킹하기 위한 스코어는, 피크 50과 51의 적분(영역)의 합으로서 얻어진다. 도 5의 개략도에서는, 그 합성 색 히스토그램의 부분 42를 죽 따라서 색조의 레벨이 본색 스케일(16)을 따라서의 색조의 레벨과 일치하고, 그 합성 색 히스토그램의 부분 43을 죽 따라서 명도의 레벨이 회색 스케일(15)을 따라서의 명도의 레벨과 일치한다고 명백하게 가정한다.
검색단계(25)에서는, 최상위 랭킹 스코어에서 시작하여 내려가는 이미지를 데이터베이스(8)로부터 검색한다. 이미지 표시단계(26)에서는, 도 4에 도시된 것처럼, 그 랭킹 스코어에 따라 랭킹된 리스트에 상기 검색된 이미지(37)와 대응한 타이틀(38)을 표시한다. 그리고, 질문에서 선택된 색의 가장 큰 비율을 갖는 이미지는, 그 리스트의 첫머리에 표시된다. 통상의 슬라이더 바아(54)는, 리스트를 위 아래로 스크롤하는 역할을 한다.
사용자 인터페이스 화면(30)은, 커서(46,47)의 길이를 변화시키고 그에 따라서 필터(48,49)의 폭을 변화시키기 위한, 예를 들면 포텐션미터(미도시) 형태의 선택기를 구비하여도 된다. 그래서, 사용자는 질문의 선택도 레벨을 정의한다.
또 다른 변경에 의하면, 사용자 인터페이스 화면(30,40)은, 보조의 합성 색 슬라이더 바아(45)에 온/오프 스위치(미도시)를 설치함으로써 단일 사용자 인터페이스 화면에 일체화될 수 있어, 컴퓨터 시스템을 상기 탐색방법의 제 1 실시예에 해당하는 동작모드로부터 상기 탐색방법의 제 2 실시예에 해당하는 동작모드로 전환되게 할 것이다.
상술한 제 2 실시예에서, 필터 49보다 필터 48에 대해 가중치가 더 많으므로, 계층은 합성 색 슬라이더 바아(44,45) 중에서 존재한다. 다른 실시예에서는, 양쪽의 합성 색 슬라이더 바아(44,45)가 전체적으로 동일한 기능을 나타내도록 동일한 가중치를 사용하여도 된다.
이론상, 커서 46 또는 47은 합성 슬라이더 바아의 회색 스케일과 본색 스케일 양쪽에서 겹치도록 위치지정되어도 된다. 대응한 질문을 색조에 관계되는 질문과 명도에 관계되는 질문으로 쪼개어서 처리될 수 있지만, 이러한 질문은 거의 의미가 없다. 그래서, 2개의 커서에 대해 상기와 같이 위치를 중첩하는 것을 막는데 바람직하기도 하여, 상기 커서는 색 스케일들 사이의 경계를 점프하고 본색 스케일(16)의 끝 위치로부터 갑자기 회색 스케일(15)의 끝 위치로 이동할 것이다.
이하, 상기 탐색방법의 제 3 실시예를 도 6을 참조하여 설명하겠다. 이미지 분석단계(21)에서, 이미지 분석기(12)는, 인덱세이션 방법의 제 4 실시예에 따라 각 이미지를 분석하여, 각 이미지의 인덱세이션 데이터는 일반 형태의 색에 해당하고 상기 이미지에서의 픽셀의 최상위 비율과 일치하는 색조 또는 명도의 우위 세그먼트를 정의한다.
이미지 분류단계(22)에서는, 일반 형태의 색에 대응하는 카테고리로 각 이미지를 분류한다.
사용자 인터페이스 화면(60)은, 일측에 수직 분할된 합성 색 슬라이더 바아(61)와, 이미지 표시영역(62)과, 검색된 이미지(37)를 통해 스크롤하는 수평 슬라이더 바아(63)와, 동시에 표시되는 행렬의 수를 선택하는 뷰 선택기(64)를 구비한다.
상기 분할된 합성 색 슬라이더 바아(61)는, 상술한 일반 색의 각각에 대한 채색된 키(61a)를 구비한다. 그 키(61)의 색은, 카테고리를 명백하게 식별하도록 설정된다. 도 6에서, 꼭대기에서 바닥까지의 키의 순서는 표 1의 순서에 해당한다. 그러나, 카테고리가 비어 있는 경우, 대응한 채색된 키는 억제되어도 된다.
질문 입력단계(24)에서는, 상기 뷰 선택기(64)의 상태에 따라, 키(61a) 또는 인접한 키(61a)로 이루어진 세트를 선택하기 위해서 커서(65)를 수직으로 이동시킨다. 예를 들면 포인팅 디바이스(4)에 의해 이동되는 경우, 커서(65)는 키(61a)에 대응하는 별개의 위치로 점프할 수만 있다. 검색단계(25)에서, 각기 선택된 키(61a)는 필터로서 동작하여, 대응한 카테고리로 분류된 이미지는 행에서 검색되어 표시된다. 각 행 내의 이미지는, 예를 들면 무작위로 또는, 우위 세그먼트로 픽셀의 정확한 비율에 따라, 또는 다른 파라미터에 따라 여러 가지 방식으로 분류되어도 된다. 예를 들면, (미도시된) 라디오 버튼은, 사용자가 분류 파라미터를 선택하는 사용자 인터페이스 화면(60)에 포함되어도 된다. 이미지를 행 내에 분류하는데 필요한 대응한 인덱세이션 데이터는, 이미지 분석단계(21) 동안 수집되는 것이 바 람직하여, 검색시에 실질적인 계산이 필요하지 않을 것이다.
뷰 선택기(64)에는 3개의 라디오 버튼이 있다. 도 6에서, 버튼(64c)이 작동되어, 3행의 이미지는 동시에 9개의 이미지까지 표시된다. 그 경우에, 커서(65)의 길이는 3개의 키로 이루어진다. 버튼(64a)의 작동으로 컴퓨터 시스템이 한번에 하나의 이미지를 표시되게 한다. 그 경우에, 커서(65)의 길이를 하나의 키로 사이즈를 바꾼다. 수평 슬라이더 바아(63)에 의해 사용자는 이미지(37)의 행을 통해 스크롤 할 수 있다. 버튼(64b)의 작동으로, 컴퓨터 시스템이 2개의 행에 한번에 4개의 이미지까지 표시되게 한다. 그 경우에, 커서(65)의 길이를 2개의 키로 사이즈를 바꾼다. 그 카테고리가 미리 정해져 있으므로, 각 행은 서로 다른 수의 이미지를 포함하기도 한다. 그리고, 빈 공간은, 일부의 행의 끝에 있다. 또한, 선택된 카테고리의 이미지는 행이 아닌 열에 표시되어도 된다.
이하, 도 7을 참조하여 상기 탐색방법의 제 4 실시예를 설명하겠다. 제 4 실시예는, 상기 탐색방법의 제 2 및 제 3 실시예의 특징을 조합한 것이다. 이미지 분석단계(21)를 인덱세이션 방법의 제 3 실시예에 따라 실행하여, 이미지마다 인덱세이션 데이터로서 도 10에 도시된 것과 유사한 분할된 합성 색 히스토그램을 얻는다. 분류단계(22)는 생략한다.
사용자 인터페이스 화면(70)은 제 3 실시예의 상기 분할된 합성 색 슬라이더 바아(61)와 유사한 2개의 수직 분할된 합성 색 슬라이더 바아를 구비하고, 상기 분할된 합성 색 슬라이더 바아(71)는 키(71a)가 채색되었고 커서(72)가 한번에 하나의 카테고리를 선택하는 크기로 만들어져 있고, 상기 분할된 합성 색 슬라이더 바 아(73)는 키(73a)가 채색되었고 커서(74)가 한번에 하나의 카테고리를 선택하는 크기로 만들어져 있다.
질문 입력단계(24)에서는, 2개의 커서(72, 74)의 위치에 의거하여 질문을 입력한다. 각 커서는, 탐색방법의 제 2 실시예와 같은 방식으로 러닝 필터로서 동작된다. 각 이미지의 랭킹 스코어는, 상기 실시예와 같은 방식으로 계산된다. 2개의 실시예들간의 주요 차이는, 이미지의 합성 색 히스토그램이 명도 및 색조 스펙트럼의 소정의 대략 분할에 해당하고, 상기 커서(72,74)는 그 분할에 해당하는 작은 수의 소정의 위치를 갖는다. 따라서, 커서(72,74)를 고려한 서로 다른 위치로부터 생기는 필터는 미리 정해져 있고, 이미지의 상기 분할된 합성 색 히스토그램과 각 필터의 곱은 미리 계산되어 적분될 수 있다. 그 후, 주어진 질문에 해당하는 랭킹을 위한 스코어의 계산은, 매우 적은 계산을 필요로 할 것이다, 즉 이미지 당 2개의 부분 스코어의 합을 필요로 할 것이다. 수평 슬라이더 바아(75)에 의해, 상기 검색된 이미지(37)를 통해 스크롤 할 수 있다. 대응한 타이틀(38)은, 이미지(37)의 바로 밑에 표시된다.
질문이 동일한 카테고리의 이중 선택으로 이루어지는 경우, 그 질문은 특정방식으로 해석되어, 그 카테고리가 정말로 우세한 이미지에 포커싱된다. 예를 들면, 이미지들만이 임의의 다른 카테고리에 픽셀의 5% 미만을 모으는 리트리버(retriever)이다.
실시예에서, 커버 이미지(37)는, 데이터베이스(8)에 있는 대응한 오디오 또는 비디오 파일에 연결되어, 검색된 이미지 상에서 이중 클릭은 오디오 또는 비디 오 소프트웨어 애플리케이션을 개시하고 그에 대응한 파일을 재생할 것이다.
상기 실시예의 합성 색 슬라이더 바아는, 이미지를 탐색하기 위한 다른 툴과 결합되어도 된다. 예를 들면, 버튼 조작형 필터는 사용자 인터페이스 화면에 설치되어,
- 예술적인 그림과 사진을 구별하도록, 큰 수의 색 또는 작은 수의 색을 갖는 이미지만을 검색하고,
- 악기 또는 인간의 얼굴 등의 템플릿에 의해 지정된 특정 오브젝트를 포함한 이미지만을 검색한다. 이를 위해 다양한 형상 인지방법을 사용하여도 된다. 필터의 상기 리스트는, 결코 제한적이지 않다. 다른 탐색 툴을 사용하는 경우, 각 이미지의 인덱세이션 데이터는, 예를 들면, 주어진 오브젝트 등의 존재를 나타내는 플래그와 같은 대응한 데이터가 구비되어야 한다.
"포함하는" 또는 "구비하는"의 동사와 그것의 활용의 사용은, 청구항에서 설명된 것들 이외의 구성요소 또는 단계들의 존재를 배제하지 않는다. 또한, 구성요소 또는 단계 앞의 관사 "a" 또는 "an"의 사용은, 복수의 상기 구성요소 또는 단계의 존재를 배제하지 않는다. 본 발명은, 하드웨어와 소프트웨어에 의해 구현되어도 된다. 일부의 "수단"은, 하드웨어의 동일한 항목으로 나타내어도 된다.
청구항에서, 괄호 안에 설치된 어떠한 참조부호도 청구범위를 제한하는 것으로서 파악되어서는 안될 것이다.

Claims (14)

  1. 그래픽 요소를 인덱싱하고,
    색 속성의 적어도 하나의 색에게 다차원 색 공간(80)에서의 좌표로 이루어진 세트를 제공하여 그래픽 요소의 색 속성을 결정하는 단계와,
    상기 적어도 하나의 색이 제 1 조건을 입증하는 경우 상기 적어도 하나의 색의 상기 좌표로 이루어진 세트를 색조의 레벨까지 감소시키는 단계와,
    상기 적어도 하나의 색이 제 2 조건을 입증하는 경우 상기 적어도 하나의 색의 좌표로 이루어진 세트를 명도의 레벨까지 감소시키는 단계와,
    상기 그래픽 요소를 인덱싱하되, 색 속성을 갖는 상기 적어도 하나의 색에서 생기는 색조의 레벨 및/또는 색 속성을 갖는 상기 적어도 하나의 색에서 생기는 명도의 레벨을 포함한 인덱세이션 데이터(13)를 저장하는 단계를 구비한 것을 특징으로 하는 인덱세이션 방법.
  2. 제 1 항에 있어서,
    상기 제 1 조건은 색이 색공간의 제 1 소정의 영역(81)에 속하는 경우 입증되고, 상기 제 2 조건은 색이 색공간의 제 2 소정의 영역(82)에 속하는 경우 입증되는 것을 특징으로 하는 인덱세이션 방법.
  3. 제 2 항에 있어서,
    상기 색공간의 제 1 영역은, 채도의 하부 경계(83), 명도의 하부 경계(84) 및 명도의 상부 경계(85) 중 적어도 하나로 경계를 짓는 것을 특징으로 하는 인덱세이션 방법.
  4. 제 1 항에 있어서,
    상기 색속성은 그래픽 요소에서 통계적인 색분포이고, 상기 인덱세이션 데이터(86,89)는 그래픽 요소에서 다수의 픽셀의 각각으로부터 생기는 색조의 레벨 및/또는 명도의 레벨을 포함한 것을 특징으로 하는 인덱세이션 방법.
  5. 제 1 항에 있어서,
    색조 스펙트럼(87)의 소정의 분할에 따라 인덱세이션 데이터로 상기 각 색조 레벨과, 명도 스펙트럼(88)의 소정의 분할에 따라 인덱세이션 데이터로 상기 각 명도 레벨을 분류하는 단계를 더 포함한 것을 특징으로 하는 인덱세이션 방법.
  6. 제 1 항에 있어서,
    그래픽 요소의 콜렉션(8)은 인덱싱되고, 상기 색속성은 그 콜렉션의 그래픽 요소마다 단색으로 이루어지고, 상기 인덱세이션 방법은, 그래픽 요소의 인덱세이션 데이터를 갖는 콜렉션 인덱스를 생성하여, 상기 단색이 상기 제 1 또는 제 2 조건을 입증하는지의 여부에 따라 상기 그래픽 요소를 2개의 서브세트로 분류하고, 색조 또는 명도의 레벨이 상기 단색으로부터 생기는지의 여부에 따라 서브세트마다 그래픽 요소의 순서를 매기는 단계를 더 포함한 것을 특징으로 하는 인덱세이션 방법.
  7. 그래픽 요소의 콜렉션을 탐색하고,
    청구항 1에 기재된 인덱세이션 방법으로 콜렉션의 각 그래픽 요소를 인덱싱하는 단계(21,22)와,
    적어도 하나의 원하는 색을 지정하는 적어도 하나의 입력을 수신하는 단계(24)와,
    상기 적어도 하나의 입력에 대응하되, 상기 적어도 하나의 원하는 색이 본색을 포함하는 경우 색조의 레벨 또는 범위에 관계되고, 상기 적어도 하나의 원하는 색이 회색을 포함하는 경우 명도의 레벨 또는 범위에 관계되는, 탐색 질문을 결정하는 단계와,
    상기 인덱세이션 데이터가 실질적으로 상기 탐색 질문과 일치하는 색조 또는 명도의 적어도 하나의 레벨을 포함한 그래픽 요소를 선택하기 위한 그래픽 요소의 인덱세이션 데이터를 분석하는 단계(25)와,
    상기 콜렉션으로부터 상기 선택된 그래픽 요소를 검색하는 단계를 포함한 것을 특 징으로 하는 탐색방법.
  8. 제 7 항에 있어서,
    본색이 색조의 각각의 레벨 또는 범위에 대응하는 채색된 부분(32a,61a)으로 나누어진 본색 스케일(32,16)과, 회색이 명도의 각각의 레벨 또는 범위에 해당하는 채색된 부분(33a,61a)으로 나누어진 회색 스케일(33,15)로 이루어진, 적어도 하나의 합성 색 스케일(31,44,45,61,71,73)을 생성(23) 및 표시하는 단계와,
    입력을 수신하기 위해 상기 합성 색 스케일 상에서 이동될 수 있는 마커(34,46,47,65,72,74)를 생성 및 표시하는 단계를 더 포함하되, 상기 대응한 원하는 색을 상기 합성 색 스케일 상의 상기 마커의 위치에 따라 지정하는 것을 특징으로 하는 탐색방법.
  9. 제 8 항에 있어서,
    상기 합성 색 스케일(61)의 상기 채색된 부분(61a)은 색조 또는 명도의 소정의 범위에 해당하고, 상기 합성 색 스케일을 따라 상기 마커(65)를 별개의 위치로 이동시킬 수 있고, 상기 위치는 시간마다 하나의 채색된 부분만큼 서로로부터 상쇄되는 것을 특징으로 하는 탐색방법.
  10. 제 8 항에 있어서,
    상기 색속성은 단색으로 이루어지고, 상기 인덱세이션 데이터는 콜렉션의 그래픽 요소마다 상기 단색으로부터 생기는 색조 또는 명도의 레벨을 포함하고, 합성 색 스케일(31)의 상기 채색된 부분(32a, 33a)은 합성 색 스케일(31)을 따라 마커(34)의 모든 위치에 대해 그래픽 요소를 일치시키는 실질적으로 동일한 밀도를 얻도록 설계하는 것을 특징으로 하는 탐색방법.
  11. 그래픽 요소를 인덱싱하고,
    다차원 색 공간(80)에서의 좌표로 이루어진 세트를 그 색속성의 적어도 하나의 색에 제공하여서 그래픽 요소의 색속성을 결정하고, 상기 적어도 하나의 색이 제 1 조건을 입증하는 경우 상기 적어도 하나의 색의 좌표로 이루어진 세트를 색조의 레벨까지 감소시키고, 상기 적어도 하나의 색이 제 2 조건을 입증하는 경우 상기 적어도 하나의 색의 좌표로 이루어진 세트를 명도의 레벨까지 감소시키는 색 분석기(12)와,
    상기 그래픽 요소를 인덱싱하되, 상기 색 속성의 적어도 하나의 색으로부터 생기는 색조의 레벨 및/또는 상기 색 속성의 적어도 하나의 색으로부터 생기는 명도의 레벨로 이루어진 인덱세이션 데이터(13)를 저장하기 위한 저장수단(6,7)을 구비한 것을 특징으로 하는 인덱세이션 장치(1).
  12. 그래픽 요소의 콜렉션(8)을 탐색하되,
    상기 콜렉션의 각 그래픽 요소를 인덱싱하는 청구항 11에 기재된 인덱세이션 장치와,
    적어도 하나의 원하는 색을 지정하는 적어도 하나의 입력을 수신하여, 상기 적어도 하나의 원하는 색이 본색을 포함하는 경우 색조의 레벨 또는 범위에 관계되고 상기 적어도 하나의 원하는 색이 회색을 포함하는 경우 명도의 레벨 또는 범위에 관계되는, 상기 적어도 하나의 입력에 대응하는 탐색 질문을 결정하는 사용자 조작가능형 입력수단(11,4,5)과,
    인덱세이션 데이터가 실질적으로 상기 탐색 질문과 일치하는 색조 또는 명도의 적어도 하나의 레벨을 포함한 그래픽 요소를 선택하도록 그래픽 요소의 인덱세이션 데이터(13)를 분석하여, 상기 콜렉션으로부터 상기 선택된 그래픽 요소를 검색하는 그래픽 요소 검색 제어기(10)를 구비한 것을 특징으로 하는 탐색장치(1).
  13. 제 12 항에 있어서,
    본색이 색조의 각각의 레벨 또는 범위에 해당하는 채색된 부분(32a,61a)으로 나누어진 본색 스케일(32,16)과, 회색이 명도의 각각의 레벨 또는 범위에 해당하는 채색된 부분(33a,61a)으로 나누어진 회색 스케일(33,15)로 이루어지되, 디스플레이부 (3)에 표시 가능한 합성 색 스케일(31,44,45,61,71,73)을 생성하기 위한 합성 색 스케일 생성수단(11)과,
    디스플레이부에 표시가능하고, 입력을 수신하기 위한 상기 합성 색 스케일 상에서 이동될 수 있는 마커(34,46,47,65,72,74)를 생성하기 위한 마커 생성수단(11)을 더 구비하고,
    대응한 원하는 색이 상기 합성 색 스케일 상의 상기 마커의 위치에 따라 지정되는 것을 특징으로 하는 탐색장치.
  14. 데이터 스토리지를 포함하고 청구항 12에 기재된 탐색장치를 구비한 것을 특징으로 하는 소비자 전자제품.
KR1020067004716A 2003-09-08 2004-08-23 그래픽 요소의 인덱싱 및 탐색 방법 및 장치 KR20060080586A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP03300111.6 2003-09-08
EP03300111 2003-09-08

Publications (1)

Publication Number Publication Date
KR20060080586A true KR20060080586A (ko) 2006-07-10

Family

ID=34259303

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067004716A KR20060080586A (ko) 2003-09-08 2004-08-23 그래픽 요소의 인덱싱 및 탐색 방법 및 장치

Country Status (6)

Country Link
US (1) US20070036371A1 (ko)
EP (1) EP1665085A2 (ko)
JP (1) JP2007505382A (ko)
KR (1) KR20060080586A (ko)
CN (1) CN1849601A (ko)
WO (1) WO2005024662A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160136726A (ko) * 2015-05-20 2016-11-30 삼성전자주식회사 전자 장치 및 그 제어 방법

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8215556B2 (en) * 2004-06-28 2012-07-10 Konica Minolta Laboratory U.S.A., Inc. Color barcode producing, reading and/or reproducing method and apparatus
US7533817B2 (en) * 2004-08-09 2009-05-19 Konica Minolta Systems Laboratory, Inc. Color barcode producing method and apparatus, color barcode reading method and apparatus and color barcode reproducing method and apparatus
US7669769B2 (en) 2005-03-28 2010-03-02 Konica Minolta Systems Laboratory, Inc. Systems and methods for preserving and maintaining document integrity
US20070250499A1 (en) * 2006-04-21 2007-10-25 Simon Widdowson Method and system for finding data objects within large data-object libraries
JP4747024B2 (ja) * 2006-04-28 2011-08-10 富士フイルム株式会社 メタ情報付加装置および画像再生装置ならびにそれらの制御方法およびそれらを制御するためのプログラム
KR100785928B1 (ko) * 2006-07-04 2007-12-17 삼성전자주식회사 멀티모달 정보를 이용한 사진 검색 방법 및 사진 검색시스템
US20080201283A1 (en) 2006-09-28 2008-08-21 Dudley Fitzpatrick Apparatuses, methods and systems for anticipatory information querying and serving on mobile devices based on profiles
US20100306318A1 (en) * 2006-09-28 2010-12-02 Sfgt Inc. Apparatuses, methods, and systems for a graphical code-serving interface
US7628330B2 (en) * 2006-09-29 2009-12-08 Konica Minolta Systems Laboratory, Inc. Barcode and decreased-resolution reproduction of a document image
US7766241B2 (en) * 2006-09-29 2010-08-03 Konica Minolta Systems Laboratory, Inc. Barcode for two-way verification of a document
US8090222B1 (en) 2006-11-15 2012-01-03 Google Inc. Selection of an image or images most representative of a set of images
JP2011501578A (ja) * 2007-10-20 2011-01-06 ペナンゴ,インコーポレイテッド セキュア通信の信頼性を示すための方法及びシステム
WO2009057447A1 (ja) * 2007-10-29 2009-05-07 Nec Corporation 携帯端末、携帯端末システム、携帯端末の制御方法、プログラム、及び記録媒体
US20090113328A1 (en) * 2007-10-30 2009-04-30 Penango, Inc. Multidimensional Multistate User Interface Element
CN101540140B (zh) * 2008-03-21 2011-06-29 旭丽电子(广州)有限公司 可跟随显示装置的显示画面发出相应环境光的方法及装置
US9607327B2 (en) * 2008-07-08 2017-03-28 Dan Atsmon Object search and navigation method and system
CN101556611B (zh) * 2009-05-08 2014-05-28 白青山 一种基于视觉特征的图片搜索方法
US8209330B1 (en) 2009-05-29 2012-06-26 Google Inc. Ordering image search results
US8352465B1 (en) 2009-09-03 2013-01-08 Google Inc. Grouping of image search results
US8724910B1 (en) 2010-08-31 2014-05-13 Google Inc. Selection of representative images
GB201104066D0 (en) * 2011-03-09 2011-04-20 Imagination Tech Ltd Compression of a tessellated primitive index list in a tile rendering system
CN102981696A (zh) * 2012-06-01 2013-03-20 中兴通讯股份有限公司 一种基于颜色进行选择符号的方法和装置
KR102087005B1 (ko) * 2013-01-31 2020-03-11 삼성전자 주식회사 페이지 검색 방법 및 이를 지원하는 단말기
WO2015013954A1 (en) 2013-08-01 2015-02-05 Google Inc. Near-duplicate filtering in search engine result page of an online shopping system
CN103617533A (zh) * 2013-09-12 2014-03-05 上海渐石网络科技有限公司 商品信息的展示方法与装置
US9196198B2 (en) 2013-12-03 2015-11-24 Pixtronix, Inc. Hue sequential display apparatus and method
CN103761303B (zh) * 2014-01-22 2017-09-15 广东欧珀移动通信有限公司 一种图片的排列显示方法及装置
US9471853B2 (en) * 2014-05-19 2016-10-18 Jinling Institute Of Technology Method and apparatus for image processing
US9864775B2 (en) * 2015-03-26 2018-01-09 International Business Machines Corporation Query strength indicator
US10489681B2 (en) * 2015-04-15 2019-11-26 Stmicroelectronics S.R.L. Method of clustering digital images, corresponding system, apparatus and computer program product
US10345991B2 (en) * 2015-06-16 2019-07-09 International Business Machines Corporation Adjusting appearance of icons in an electronic device
CN106023268B (zh) * 2016-05-30 2019-01-11 南昌大学 一种基于两步参数子空间优化的彩色图像灰度化方法
CN108446705B (zh) * 2017-02-16 2021-03-23 华为技术有限公司 图像处理的方法和设备
US11341405B2 (en) 2017-09-13 2022-05-24 Ebay Inc. Semantic signatures
US10706317B2 (en) 2017-09-13 2020-07-07 Ebay Inc. Nuanced-color search and recommendation system
US11099862B1 (en) * 2018-11-30 2021-08-24 Snap Inc. Interface to configure media content
US11967128B2 (en) * 2021-05-28 2024-04-23 Adobe Inc. Decompositional learning for color attribute prediction

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5963916A (en) * 1990-09-13 1999-10-05 Intouch Group, Inc. Network apparatus and method for preview of music products and compilation of market data
US5802361A (en) * 1994-09-30 1998-09-01 Apple Computer, Inc. Method and system for searching graphic images and videos
US6393430B1 (en) * 1998-05-08 2002-05-21 Sony Corporation Method and system for automatically recording music data files by using the hard drive of a personal computer as an intermediate storage medium
JP2000090239A (ja) * 1998-09-10 2000-03-31 Matsushita Electric Ind Co Ltd 画像検索装置
JP3619685B2 (ja) * 1998-09-25 2005-02-09 コニカミノルタビジネステクノロジーズ株式会社 情報処理装置、情報処理方法、及び、記録媒体
EP1195062A4 (en) * 1999-05-17 2006-11-08 Samsung Electronics Co Ltd METHOD FOR PROCESSING COLOR IMAGE
US7046842B2 (en) * 1999-08-17 2006-05-16 National Instruments Corporation System and method for color characterization using fuzzy pixel classification with application in color matching and color match location
KR100595064B1 (ko) * 2000-05-19 2006-07-03 엘지전자 주식회사 칼라 왜곡 정보를 이용한 내용기반 멀티미디어 검색 방법
US20020151327A1 (en) * 2000-12-22 2002-10-17 David Levitt Program selector and guide system and method
EP1302865A1 (en) * 2001-10-10 2003-04-16 Mitsubishi Electric Information Technology Centre Europe B.V. Method and apparatus for searching for and retrieving colour images

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160136726A (ko) * 2015-05-20 2016-11-30 삼성전자주식회사 전자 장치 및 그 제어 방법

Also Published As

Publication number Publication date
EP1665085A2 (en) 2006-06-07
CN1849601A (zh) 2006-10-18
JP2007505382A (ja) 2007-03-08
US20070036371A1 (en) 2007-02-15
WO2005024662A2 (en) 2005-03-17
WO2005024662A3 (en) 2005-05-12

Similar Documents

Publication Publication Date Title
KR20060080586A (ko) 그래픽 요소의 인덱싱 및 탐색 방법 및 장치
US9990377B1 (en) Content based systems and methods for conducting spectrum color based image search
US6556710B2 (en) Image searching techniques
US5802361A (en) Method and system for searching graphic images and videos
US6522782B2 (en) Image and text searching techniques
US8571329B2 (en) System and method for searching digital images
JPH1196364A (ja) 画像特徴量比較装置および画像特徴量比較プログラムを記録した記録媒体
US8094935B2 (en) Representative color extracting method and apparatus based on human color sense and data histogram distributions
JP4937578B2 (ja) 情報処理方法
US20070242902A1 (en) Image processing device and image processing method
JP2009110360A (ja) 画像処理装置及び画像処理方法
JPH09237282A (ja) 文書画像データベース検索方法、画像特徴ベクトル抽出方法、文書画像閲覧システム、機械読み取り可能な媒体及び画像表示方法
CN101783886A (zh) 信息处理设备、信息处理方法和程序
US20090327891A1 (en) Method, apparatus and computer program product for providing a media content selection mechanism
JP2002288219A (ja) 情報検索システムおよび方法
JPH10154149A (ja) 類似オブジェクト検索方法および装置
CN102640146A (zh) 数据库搜索方法、系统和控制器
US6522780B1 (en) Indexing of images and/or text
CN101589387B (zh) 信息处理
JP2001306579A (ja) 情報検索装置、情報検索方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
CN100472535C (zh) 浏览内容的设备和方法
JP2002342374A (ja) データ検索システムおよびデータ検索方法
JP2004192555A (ja) 情報管理方法、情報管理装置及び情報管理プログラム
KR100340035B1 (ko) 영상유사도가중치조절장치및방법과그를이용한내용기반영상검색시스템및방법
JPH10340272A (ja) 類似画像検索装置及び方法

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid