JP2006350552A

JP2006350552A - 画像データ検索装置

Info

Publication number: JP2006350552A
Application number: JP2005174113A
Authority: JP
Inventors: Kenji Hatori; 健司羽鳥
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2005-06-14
Filing date: 2005-06-14
Publication date: 2006-12-28
Anticipated expiration: 2025-06-14
Also published as: JP4748656B2

Abstract

【課題】集合写真・ポートレート・風景等のキーワードを画像データに付加するのに手動で行う必要がない画像データ検索装置を提供することにある。
【解決手段】画像データ検索装置は、処理装置１００と、処理装置１００に、夫々接続された人物検索ユニット１０１、登録ユニット１０３、及び表示ユニット１０６とを備える。処理装置１００は、互いに直列に接続された人物検出ユニット１０４、画像データ管理ユニット１０５、及びキーワード管理ユニット１０２を備える。
画像登録時にユーザが明示的にキーワードを登録しなくても、画像中の人物の数等を認識することで自動的にキーワードが付けられ、ユーザはキーワードによる画像の検索を実行できる。また、画像登録にキーワードが自動的に付けられるので、検索時にはキーワードのマッチングのみを行えばよく、検索を高速に行うことができる。
【選択図】図４

Description

本発明は、画像データ検索装置に関し、特に、キーワードによって画像データを検索する画像データ検索装置に関する。

従来、デジタルカメラで撮影した画像データをパーソナルコンピュータに取り込んだ上で、管理することが広く行われている。また、撮影した画像データを検索し易くするために、画像データにキーワードを付加する手法も広く用いられている。しかし、手動で画像データにキーワードを付加する作業は労力を要するものであった。

これに対して、カメラで撮影を行う際に、画像に写っている人の数をカウントして、この数を画像データと共に記録することが提案されている。この提案では、人数のキーワードを画像データに付加するのにユーザが手動で行う必要がない（例えば、特許文献１参照）。
特願平１１−９８０４９号公報

しかしながら、特許文献１の装置では、人数以外の情報は記録されないため、人数以外のキーワードで検索するためには、それらのキーワードを画像データに手動で付加しておく必要があった。

本発明の目的は、集合写真・ポートレート・風景等のキーワードを画像データに付加するのに手動で行う必要がない画像データ検索装置を提供することにある。

上記の目的を達成するために、請求項１記載の画像データ検索装置は、画像データを検索する画像データ検索装置において、画像検索用のキーワードを前記画像データの画像に写っている被写体の人数と対応付けて管理するキーワード管理手段と、前記画像データの画像に写っている被写体の人数を検出する人物検出手段と、前記キーワード保有手段から前記人物検出手段によって検出された被写体の人数に応じたキーワードを取得すると共に、当該取得したキーワードを前記画像データに付加する画像管理手段とを備えることを特徴とする。

請求項２記載の画像データ検索装置は、画像データを検索する画像データ検索装置において、画像検索用のキーワードを前記画像データの画像に写っている被写体の人数と対応付けて管理するキーワード管理手段と、前記キーワードを指定する指定手段と、前記管理されたキーワードから前記指定されたキーワードに対応する被写体の人数を取得する人物検出手段と、前記取得した人数分の被写体が写っている画像データを検索する画像管理手段とを備えることを特徴とする。

請求項１０記載の画像データ検索方法は、画像データを検索する画像データ検索方法において、画像検索用のキーワードを前記画像データの画像に写っている被写体の人数と対応付けて管理するキーワード管理ステップと、前記画像データの画像に写っている被写体の人数を検出する人物検出ステップと、前記管理されたキーワードから前記検出された被写体の人数に応じたキーワードを取得すると共に、当該取得したキーワードを前記画像データに付加する画像管理ステップとを備える。

請求項１１記載の画像データ検索方法は、画像データを検索する画像データ検索方法において、画像検索用のキーワードを前記画像データの画像に写っている被写体の人数と対応付けて管理するキーワード管理ステップと、前記キーワードを指定する指定ステップと、前記管理されたキーワードから前記指定されたキーワードに対応する被写体の人数を取得する人物検出ステップと、前記取得した人数分の被写体が写っている画像データを検索する画像管理ステップとを備えることを特徴とする。

請求項１９記載の画像データ検索プログラムは、画像データを検索する画像データ検索プログラムにおいて、画像検索用のキーワードを前記画像データの画像に写っている被写体の人数と対応付けて管理するキーワード管理モジュールと、前記画像データの画像に写っている被写体の人数を検出する人物検出モジュールと、前記キーワード保有ステップから前記人物検出モジュールによって検出された被写体の人数に応じたキーワードを取得すると共に、当該取得したキーワードを前記画像データに付加する画像管理モジュールとをコンピュータに実行させることを特徴とする。

請求項２０記載の画像データ検索プログラムは、画像データを検索する画像データ検索プログラムにおいて、画像検索用のキーワードを前記画像データの画像に写っている被写体の人数と対応付けて管理するキーワード管理モジュールと、前記キーワードを指定する指定モジュールと、前記管理されたキーワードから前記指定されたキーワードに対応する被写体の人数を取得する人物検出モジュールと、前記取得した人数分の被写体が写っている画像データを検索する画像管理モジュールとを備えることを特徴とする。

請求項２１記載のコンピュータ読取り可能な記憶媒体は、請求項１９記載のプログラムを格納することを特徴とする。

請求項２２記載のコンピュータ読取り可能な記憶媒体は、請求項２０記載のプログラムを格納することを特徴とする。

本発明によれば、画像検索用のキーワードを画像データの画像に写っている被写体の人数と対応付けて管理された画像検索用のキーワードから、検出された画像データの画像に写っている被写体の人数に応じたキーワードを取得し、この取得したキーワードを画像データに付加するので、集合写真・ポートレート・風景等のキーワードを画像データに付加するのに手動で行う必要をなくすことができる。

本発明によれば、画像検索用のキーワードを画像データの画像に写っている被写体の人数と対応付けて管理された画像検索用のキーワードから、指定されたキーワードに対応する被写体の人数を取得し、この取得した人数分の被写体が写っている画像データを検索するので、集合写真・ポートレート・風景等のキーワードを画像データに付加するのに手動で行う必要をなくすことができる。

以下、本発明の実施の形態を図面を参照しながら詳述する。

図１は、本発明の第１の実施の形態に係る画像データ検索装置の構成を概略的に示すブロック図である。

図１において、図１の画像データ検索装置は、処理装置１００と、処理装置１００に、夫々接続された人物検索ユニット１０１、登録ユニット１０３、及び表示ユニット１０６とを備える。処理装置１００は、互いに直列に接続された人物検出ユニット１０４、画像データ管理ユニット１０５、及びキーワード管理ユニット１０２を備える。

登録ユニット１０３は検索対象となる画像データを登録する。人物検出ユニット１０４は登録する画像データから人物を検出し、さらに、画像に写っている人物の人数、顔の大きさ、顔の位置を検出する。

キーワード管理手段１０２は、検索のために画像データに付加する後述する図２のキーワードを管理する。また、本実施の形態では、キーワードと共に、当該キーワードを画像に付加する条件として、画像中の人物の数、顔の大きさ、顔の位置を対応付けて管理する。

画像管理手段１０５は、検索対象となる画像データを管理し、さらに、画像管理手段１０５は、人物検出手段１０４が検出した人数、顔の大きさ、位置に応じて、それらにふさわしいキーワードをキーワード管理手段１０２から取得し、それらを画像データと共に保存する。検索手段１０１は、キーワードを指定することにより画像の検索を行う。表示手段１０６は、検索結果を表示する。

図２は、図１におけるキーワード管理ユニット１０２によって管理されるキーワードの例を示す図である。

図２において、キーワードの名称５０１には、ポートレート、ペア、集合写真、風景写真がある。人数５０２には、キーワードが対応付けられている。例えば、ポートレートは１となっており、画像に写っている人物が１人であることがポートレートであることの必要条件であることを示している。同様に、ペアは２人、集合写真は３人以上、風景は０人、つまり人物が写っていないことが、それぞれ必要条件であることを示している。顔面積の下限５０３は、顔と判別される最小の面積であり、これ以下のサイズの顔は有効な顔として判定しない。例えば、図２では、ポートレートの場合、顔として判別されるには、画像全体の１／８以上の面積であることが必要である。顔の存在範囲５０４は、この範囲にある顔を有効な顔として判定する。例えば、図２では、ポートレートの場合、中央を中心に１／２の面積の領域にある顔を有効な顔として判定する。それ以外の領域の顔は有効な顔として判定しない。顔面積の下限５０３と顔の存在範囲５０４によって、必要以上に小さく写っている顔や、画像の端に映っている顔を顔としては認識しないようにできる。

図３は、図１の画像データ検索装置によって実行される画像登録処理の手順を示すフローチャートである。

図３において、ユーザが登録ユニット１０３に対して画像データの登録を指示すると（ステップＳ２０１）、人物検出ユニット１０４は、登録される画像データを分析し、写っている人数、顔の大きさ、顔の位置を検出する（ステップＳ２０２）。これは、所定の顔検出技術、又は人物検出技術によって実現される。例えば、顔の輪郭や目等の形状をパターンマッチングによって探し出す。

次に、画像管理ユニット１０５は、人物検出ユニット１０４が検出した情報に基づき、キーワード管理ユニット１０２が管理する各キーワードがあるか否か（図２）を判別し（ステップＳ２０４）、キーワードが成立しないときは、直ちに本処理を終了すると共に、キーワードが成立するとき、画像管理手段１０５は、対応するキーワードを画像データに付加し、画像データとキーワードを保存し（ステップＳ２０３）、本処理を終了する。例えば、図５のポートレートというキーワードの場合、画像に写っている人数が１人であり、その顔が画像の１／８以上の面積であり、画像の中央１／２の範囲にあるか否かを判別し、当該画像がその条件を満たせば、ポートレートというキーワードを画像に付加する。

図６は、図１の画像データ検索装置によって実行される画像検索処理の手順を示すフローチャートである。

図６において、ユーザが検索ユニット１０１に対してキーワードを指定して画像データの検索を指示すると、画像管理ユニット１０５は指定されたキーワードを持つ画像データを検索し、指定されたキーワードをもつ画像データがあるか否かを判別し（ステップＳ６０２）、指定されたキーワードをもつ画像データがないときは、直ちに本処理を終了すると共に、あるときは、表示ユニット１０６が対応するその画像を表示して（ステップＳ６０３）、本処理を終了する。例えば、ポートレートというキーワードが指定されたときは、登録時に人物検出ユニット１０４によってポートレートというキーワードが自動的に付加された画像データが検索される。

本実施の形態によれば、画像データから検出された人数等の情報に基づいて合致するキーワードがあるときは（ステップＳ２０４でＹＥＳ）、対応するキーワードを付加する（ステップＳ２０３）ので、画像データ登録時にユーザが明示的に画像データキーワードを登録しなくても、画像データにキーワードを付加することができ、検索時にはキーワードのマッチングのみを行えばよく、検索を高速に行うことができる。

なお、本実施の形態において、図２の顔面積の下限５０３と顔の存在範囲５０４は、キーワードごとに持つように構成したが、これはキーワード全体で１つだけ持つようにしてもよい。その場合は、すべてのキーワードでこの設定を共用することになる。また、顔面積の下限５０３は、顔の面積としたが、人物の全身や他の部位の面積としてもよい。同様に５０４は、人物の全身や他の部位の存在範囲としてもよい。

また、本実施の形態において、画像登録時に、画像に写っている人数、顔の大きさ、顔の位置を検出し、それによってキーワードを付加するように構成したが、登録時ではなく、システムがアイドル状態（何も処理していない状態）のとき、すでに登録された画像に対して行われるようにしてもよい。その場合は、図３のステップＳ２０２、ステップＳ２０４、ステップＳ２０３の処理はアイドル状態のときに行われる。

上記第１の実施の形態では、画像データの登録時又はシステムのアイドル時に、画像中の被写体の人数を検出し、それに応じたキーワードを画像に付加しているが、本発明の第２の実施の形態のようにキーワード検索時に画像中の被写体の人数を検出するようにしてもよい。

図５は、本発明の第２の実施の形態に係る画像データ検索装置の構成を概略的に示すブロック図である。

本第２の実施の形態は、その構成が上記第１の実施の形態と基本的に同じであり、同じ構成要素については同一の符号を付して重複した説明を省略する。

図５の画像データ検索装置は、処理装置２００と、処理装置２００に、夫々接続された人物検索ユニット１０１、登録ユニット１０３、及び表示ユニット１０６とを備える。処理装置２００は、互いに直列に接続されたキーワード管理ユニット１０２、人物検出ユニット４０４、及び画像データ管理ユニット４０５を備える。

画像管理ユニット４０５は、第１の実施の形態とは異なり、キーワードと関連付けて保存せず、画像データのみを管理する。人物検出ユニット４０４は、画像管理ユニット４０５が管理する画像に写っている人物の人数、顔の大きさ、顔の位置の検出を、第１の実施の形態とは異なり、画像を登録した時点では検出は行わず、キーワード検索する際に検出する。

また、この画像データ検索装置は、画像データ登録時に、第１の実施の形態とは異なり、図２の画像登録処理は実行せず、画像管理ユニット４０５が画像データを周知の所定の方式で保存する。

図４は、図５の画像データ検索装置によって実行される画像検索処理の手順を示すフローチャートである。

図４において、画像データを検索するキーワードが指定されると（ステップＳ３０１）、人物検出ユニット４０４は、指定されたキーワードに対応付けられた画像に写っている人数、顔面積の下限、顔の存在範囲をキーワード管理ユニット１０２より取得し（ステップＳ３０２）、画像管理ユニット４０５は、これらの条件を満たす画像データがあるか否かを判別し（ステップＳ３０３）、取得した条件を満たす画像データがあるときは、表示ユニット１０６は対応する画像を表示して（ステップＳ３０４）、本処理を終了する。例えば、ポートレートがキーワードとして指定された場合、人物検出ユニット４０４は、ポートレートと対応付けられている画像に写っている人数、顔面積の下限、顔の存在範囲をキーワード管理ユニット１０２より取得する。そして、その条件を満たす画像を、画像管理ユニット４０５より検索し、あれば、表示ユニット１０６はそれを表示する。

本実施の形態によれば、取得した条件を満たす画像データがあるときは（ステップＳ３０３でＹＥＳ）、対向する画像を表示するので、画像データの登録時やシステムのアイドル時にキーワードを付加する必要なくなり、画像データ登録時には画像の登録及び保存のみを行えばよいので、登録を高速に行うことができ、またアイドル時にキーワードを付加する必要がなくなるので、システムをシンプルに構成することができる。

本発明の第１の実施の形態に係る画像データ検索装置の構成を概略的に示すブロック図である。図１におけるキーワード管理ユニットによって管理されるキーワードの例を示す図である。図１の画像データ検索装置によって実行される画像登録処理の手順を示すフローチャートである。図１の画像データ検索装置によって実行される画像検索処理の手順を示すフローチャートである。本発明の第２の実施の形態に係る画像データ検索装置の構成を概略的に示すブロック図である。図５の画像データ検索装置によって実行される画像検索処理の手順を示すフローチャートである。

符号の説明

１００画像データ検索装置
１０１検索ユニット
１０２キーワード管理ユニット
１０３登録ユニット
１０４人物検出手段
１０５画像管理ユニット
１０６表示ユニット

Claims

画像データを検索する画像データ検索装置において、
画像検索用のキーワードを前記画像データの画像に写っている被写体の人数と対応付けて管理するキーワード管理手段と、前記画像データの画像に写っている被写体の人数を検出する人物検出手段と、前記管理されたキーワードから前記検出された被写体の人数に応じたキーワードを取得すると共に、当該取得したキーワードを前記画像データに付加する画像管理手段とを備えることを特徴とする画像データ検索装置。
画像データを検索する画像データ検索装置において、
画像検索用のキーワードを前記画像データの画像に写っている被写体の人数と対応付けて管理するキーワード管理手段と、前記キーワードを指定する指定手段と、前記管理されたキーワードから前記指定されたキーワードに対応する被写体の人数を取得する人物検出手段と、前記取得した人数分の被写体が写っている画像データを検索する画像管理手段とを備えることを特徴とする請求項１記載の画像データ検索装置。
前記キーワードは、前記被写体の人数が１人のときは、「ポートレート」であることを特徴とする請求項１又は２記載の画像データ検索装置。
前記キーワードは、前記被写体の人数が２人のときは、「ペア」であることを特徴とする請求項１又は２記載の画像データ検索装置。
前記キーワードは、前記被写体の人数が３人以上のときは、「集合写真」であることを特徴とする請求項１又は２記載の画像データ検索装置。
前記キーワードは、前記被写体の人数が０のときは、「風景写真」であることを特徴とする請求項１又は２記載の画像データ検索装置。
前記キーワードは、前記被写体の人数が１人以上のときは、「人物写真」であることを特徴とする請求項１又は２記載の画像データ検索装置。
前記キーワード管理手段は、前記キーワードを前記画像データに写っている被写体の大きさ及び／又は位置に対応付けて管理し、前記人物検出手段は、前記被写体のうち所定のサイズより大きいもの且つ所定の位置にあるもののみを人数として検出することを特徴とする請求項１乃至７のいずれか１項に記載の画像データ検索装置。
検索対象となる画像データを登録する登録手段を備え、前記キーワード付加手段は、前記登録手段が前記画像データを登録するときに、前記キーワードを前記画像データに付加することを特徴とする請求項１乃至８のいずれか１項に記載の画像データ検索装置。
画像データを検索する画像データ検索方法において、
画像検索用のキーワードを前記画像データの画像に写っている被写体の人数と対応付けて管理するキーワード管理ステップと、前記画像データの画像に写っている被写体の人数を検出する人物検出ステップと、前記管理されたキーワードから前記検出された被写体の人数に応じたキーワードを取得すると共に、当該取得したキーワードを前記画像データに付加する画像管理ステップとを備えることを特徴とする画像データ検索方法。
画像データを検索する画像データ検索方法において、
画像検索用のキーワードを前記画像データの画像に写っている被写体の人数と対応付けて管理するキーワード管理ステップと、前記キーワードを指定する指定ステップと、前記管理されたキーワードから前記指定されたキーワードに対応する被写体の人数を取得する人物検出ステップと、前記取得した人数分の被写体が写っている画像データを検索する画像管理ステップとを備えることを特徴とする請求項１０記載の画像データ検索方法。
前記キーワードは、前記被写体の人数が１人のときは、「ポートレート」であることを特徴とする請求項１０又は１１記載の画像データ検索方法。
前記キーワードは、前記被写体の人数が２人のときは、「ペア」であることを特徴とする請求項１０又は１１記載の画像データ検索方法。
前記キーワードは、前記被写体の人数が３人以上のときは、「集合写真」であることを特徴とする請求項１０又は１１記載の画像データ検索方法。
前記キーワードは、前記被写体の人数が０のときは、「風景写真」であることを特徴とする請求項１０又は１１記載の画像データ検索方法。
前記キーワードは、前記被写体の人数が１人以上のときは、「人物写真」であることを特徴とする請求項１０又は１１記載の画像データ検索方法。
前記キーワード管理ステップは、前記キーワードを前記画像データに写っている被写体の大きさ及び／又は位置に対応付けて管理し、前記人物検出ステップは、前記被写体のうち所定のサイズより大きいもの且つ所定の位置にあるもののみを人数として検出することを特徴とする請求項１０乃至１６のいずれか１項に記載の画像データ検索方法。
検索対象となる画像データを登録する登録ステップを備え、前記キーワード付加ステップは、前記登録ステップが前記画像データを登録するときに、前記キーワードを前記画像データに付加することを特徴とする請求項１０乃至１７のいずれか１項に記載の画像データ検索方法。
画像データを検索する画像データ検索プログラムにおいて、
画像検索用のキーワードを前記画像データの画像に写っている被写体の人数と対応付けて管理するキーワード管理モジュールと、前記画像データの画像に写っている被写体の人数を検出する人物検出モジュールと、前記管理されたキーワードから前記検出された被写体の人数に応じたキーワードを取得すると共に、当該取得したキーワードを前記画像データに付加する画像管理モジュールとをコンピュータに実行させることを特徴とする画像データ検索プログラム。
画像データを検索する画像データ検索プログラムにおいて、
画像検索用のキーワードを前記画像データの画像に写っている被写体の人数と対応付けて管理するキーワード管理モジュールと、前記キーワードを指定する指定モジュールと、前記管理されたキーワードから前記指定されたキーワードに対応する被写体の人数を取得する人物検出モジュールと、前記取得した人数分の被写体が写っている画像データを検索する画像管理モジュールとを備えることを特徴とする請求項１０記載の画像データ検索プログラム。
請求項１９記載のプログラムを格納することを特徴とするコンピュータ読取り可能な記憶媒体。
請求項２０記載のプログラムを格納することを特徴とするコンピュータ読取り可能な記憶媒体。