JP2009259120A

JP2009259120A - 情報処理装置及びその制御方法、プログラム、記録媒体

Info

Publication number: JP2009259120A
Application number: JP2008109539A
Authority: JP
Inventors: Tomonori Kudo; 朋紀工藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-04-18
Filing date: 2008-04-18
Publication date: 2009-11-05

Abstract

【課題】様々な種類の複数画像から代表画像を適切に決定することが可能な技術を提供する。
【解決手段】複数の画像の中から代表画像を決定する情報処理装置は、画像を取得する取得手段と、取得した前記画像を解析して文字列を抽出する抽出手段と、抽出した前記文字列が前記画像全体に占める割合を判定する判定手段と、処理対象の複数の画像の各々について判定した前記割合に基づいて、該複数の画像を代表する代表画像を決定する決定手段と、を備える。
【選択図】図４

Description

本願発明は、情報処理装置及びその制御方法、プログラム、記録媒体に関し、特に、複数の画像の中から代表画像を決定するための技術に関する。

近年、動画や複数枚の画像の集合（組画像）が蓄積・管理されている。このため、これらの組画像を効率的に管理するために、組画像を代表する画像によるサムネールやインデックスが不可欠になっている。

組画像を代表する画像を決定する手法としては、映像であれば先頭から所定時間後の静止画（組み画像では１枚目）を代表画像として決定する構成が知られている。また、シーン大きく変わる画像をいくつかユーザに提示し選択させる構成も知られている。

また、映像のフレームから文字列を抽出し、特定情報(ＥＰＧの番組タイトル)と比較して、番組のタイトルを含むフレームを自動判定する構成も知られている（例えば、特許文献１参照）。あるいは、動画像のフレームから字幕領域を抽出し、字幕領域を含むフレーム画像を代表画像とする構成が知られている（例えば、特許文献２参照）。
特開２００６−１４０６０３公報特開２０００−１８２０２８公報

しかしながら、上記構成は、番組タイトルや字幕などを含まないオリジナル動画や組画像コンテンツに対しては適用することができず、代表画像を決定することができない。

本発明は上記課題に鑑みなされたものであり、様々な種類の複数画像から代表画像を適切に決定することが可能な技術を提供することを目的とする。

上記目的を達成するため、本発明による情報処理装置は以下の構成を備える。即ち、
複数の画像の中から代表画像を決定する情報処理装置であって、
画像を取得する取得手段と、
取得した前記画像を解析して文字列を抽出する抽出手段と、
抽出した前記文字列が前記画像全体に占める割合を判定する判定手段と、
処理対象の複数の画像の各々について判定した前記割合に基づいて、該複数の画像を代表する代表画像を決定する決定手段と、
を備える。

また、本発明による情報処理装置の制御方法は以下の構成を備える。即ち、
複数の画像の中から代表画像を決定する情報処理装置の制御方法であって、
画像を取得する取得工程と、
取得した前記画像を解析して文字列を抽出する抽出工程と、
抽出した前記文字列が前記画像全体に占める割合を判定する判定工程と、
処理対象の複数の画像の各々について判定した前記割合に基づいて、該複数の画像を代表する代表画像を決定する決定工程と、
を備える。

本発明によれば、様々な種類の複数画像から代表画像を適切に決定することが可能な技術を提供することができる。

以下、添付図面を参照して本発明に係る実施の形態を詳細に説明する。ただし、この実施の形態に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。また、本実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

＜＜実施形態１＞＞
（情報処理装置の構成）
まず、本実施形態に係る情報処理装置１００について、図１を参照して説明する。図１は本実施形態に係る情報処理装置１００の構成例を示すブロック図である。

情報処理装置１００は、例えば、パーソナルコンピュータやＰＤＡ等により実現することができる。図１のように、情報処理装置１００は、画像読取装置１１０と、記憶装置１１１と、入力装置１１３と、データ処理装置１１５と、表示装置１１６と、ネットワークインタフェース１１７とを備える。

画像読取装置１１０は、文書をスキャンして画像を取得する装置であり、例えば、オートドキュメントフィーダー（以降ＡＤＦと記す）を含む。この画像読取装置１１０は、例えば、束状の或いは１枚の画像を不図示の光源で照射し、原稿反射像をレンズで固体撮像素子上に結像し、固体撮像素子からラスター状の画像読み取り信号を指定(たとえば６００ＤＰＩ)の密度のイメージ情報として得る。

記憶装置１１１はプログラムや各種データを記憶する装置であり、例えば、ハードディスク装置、ＩＣメモリ装置（例えば、ＲＡＭ、ＲＯＭ）等により実現することができる。記憶装置１１１は、例えば、代表画像決定処理を実行するためのプログラムや、画像読取装置１１０で読み取った画像のデータ、代表画像を決定するときに使用される予め登録された文字列の辞書データ等を記憶する。

データ処理装置１１５は情報処理装置１００の各構成要素の動作を制御してデータ処理を実行する装置であり、例えば、ＣＰＵやＭＰＵにより実現することができる。

表示装置１１６はデータ処理装置１１５の制御によってなされた処理結果等を表示するディスプレイ装置である。表示装置１１６は、例えば、液晶パネル、ＣＲＴディスプレイ、有機ＥＬディスプレイ、ＳＥＤディスプレイ等により実現することができる。

ネットワークインタフェース（以下、ネットワークＩ／Ｆ）１１７は情報処理装置１００が外部装置と通信するためにネットワークへ接続するためのインタフェースである。
ネットワークＩ／Ｆ１１７は、例えば、有線や無線のネットワーク・カードにより実現することができる。

尚、以上の各装置と同等の機能を実現するソフトウェアにより、ハードウェア装置の代替として構成することもできる。

本実施形態では、説明の便宜のため、本実施形態に係る情報処理装置１００を１つの装置で実現した構成について述べるが、複数の装置にリソースを分散した構成によって実現してもよい。例えば、記憶や演算のリソースを複数の装置に分散した形に構成してもよい。或いは、情報処理装置１００上で仮想的に実現される構成要素毎にリソースを分散し、並列処理を行うようにしてもよい。

（代表画像決定処理）
次に、本実施形態による代表画像決定処理の詳細について図面を用いて説明する。図３は、情報処理装置１００が実行する代表画像決定処理の流れを示すフローチャートである。

原稿を入力する画像取得処理(Ｓ３００)において、画像読取装置１１０を動作させ１枚の原稿をラスター状に走査し、例えば、６００ＤＰＩ−８ビットの画像信号を取得する。図２は、取得した画像の例を示す図である。

次に、文字抽出処理(Ｓ３０１)では、画像取得処理(Ｓ３００)で取得した画像を解析して文字列を切り出して抽出する。図２の例では(a)の画像から２つの文字列「第３３回ＸＸ小学校運動会」、「ＸＸ小学校」を抽出する。この文字列の抽出は、例えば、既存の文字認識技術（ＯＣＲ技術等）を用いて行うことができる。

次に文字比率判定処理(Ｓ３０２)では、文字抽出処理(Ｓ３０１)で抽出された各文字の画像全体に対する割合を判定する。すなわち、抽出した前記文字列に含まれる文字の長さの、前記画像の一辺の長さに対する割合を判定する。

図２(a)の例では、文字列１「第３３回ＸＸ小学校運動会」の各文字約２％、文字列２「ＸＸ小学校」の各文字約０.４％と算出する。そして、たとえば閾値が１.５％であれば代表画像とする場合、文字列１は２％なので代表画像候補とする。一方、図２（b）の画像例からは文字領域「３年１組」０.２％と「３年２組」０.２％を抽出する。ともに２％以下なので代表画像候補にはならない。

代表画像決定処理(Ｓ３０３)では、文字比率判定処理の結果、図２の(a)を代表画像に決定する。また閾値以上であった「第３３回ＸＸ小学校運動会」を組み画像（処理対象の画像集合）のメタデータとする。

上記のように、本実施形態に係る情報処理装置１００は、画像を取得し、取得した画像を解析して文字列を抽出し、抽出した文字列が画像全体に占める割合を判定する。そして、処理対象の複数の画像の各々について判定した割合に基づいて、該複数の画像を代表する代表画像を決定する。このため、本実施形態に係る構成によれば、番組タイトルや字幕等が含まれない画像の集合からも適切に代表画像を決定することができる。

また、本実施形態に係る構成においては、抽出した前記文字列に含まれる文字の長さの、画像の一辺の長さに対する割合を判定し、当該割合に基づいて代表画像を決定する。このため、画像の大きさに対して相対的に大きな文字が含まれる画像が代表画像として決定されるため、代表画像を適切に決定することができる。

また、本実施形態に係る構成においては、判定した割合が予め定めされた閾値以上の画像を、処理対象の複数の画像を代表する代表画像として決定する。このため、閾値を適切に設定することで適切な代表画像を決定することができる。

また、本実施形態では、画像から抽出した文字列のうち、該文字列が該画像全体に占める割合が予め定めされた閾値以上のもの（本実施形態では、文字列に含まれる文字の相対的な大きさが一定以上のもの）を、該画像のメタデータとして記録する。このため、複数の画像の全体的な特性を示す適切なメタデータを自動的に生成して記録することができる。

なお、抽出した文字列が画像全体に占める割合を判定する際に、その割合として、当該文字列に含まれる文字の画像に対する相対的な大きさ（具体的には、文字の長さの、画像の一辺の長さに対する割合）を判定したが、これに限られない。例えば、抽出した文字列が占める領域の面積の、画像全体の面積に対する割合や、文字列が占める領域の一辺の長さの、画像の一辺の長さに対する割合等を判定してもよい。以下の実施形態では、このような構成の例を説明する。

＜＜実施形態２＞＞
本実施形態では、文字列が占める領域の面積の、前記画像全体の面積に対する割合を判定し、当該割合に基づいて代表画像を決定する構成例を説明する。情報処理装置１００の構成は実施形態１と同様であるため説明を省略する。

（代表画像決定処理）
本実施形態における代表画像決定処理について、図面を参照して説明する。図４は、本実施形態における代表画像決定処理の流れを示すフローチャートである。

まず、実施形態１と同様に、原稿を入力する画像取得処理(Ｓ４００)で画像読取装置１１０を動作させ１枚の原稿をラスター状に走査し、例えば、６００ＤＰＩ−８ビットの画像信号を取得する。図５は、取得した画像の一例を示す図である。

次に文字列抽出処理(Ｓ４０１)では前記画像取得処理(Ｓ４００)で取得した画像から、文字列が占める領域を切り出して抽出する。文字列領域の抽出は、実施形態１と同様に、例えば、既存の文字認識技術を用いて行うことができる。図５(a)の例では、画像から文字列２つ「第３４回ＸＸ小学校運動会」、「ＸＸ小学校」抽出することになる。図６は、図５(a)の画像から抽出された文字列の領域を示す図である。

次に文字列領域比率判定処理（Ｓ４０２）では、文字抽出処理(Ｓ４０１)で抽出された各文字列が占める領域の面積の、画像全体の面積に対する割合を判定する。図５(a)では、文字列１「第３３回ＸＸ小学校運動会」の各文字２％、文字列２「ＸＸ小学校」０.４％と算出する。そして、たとえば閾値が１.５％であれば代表画像とする場合、文字列１は２％なので代表画像候補とする。（b）の画像からは文字列は抽出されないので代表画像候補にはならない。

代表画像決定処理(Ｓ４０３)では、文字比率判定処理の結果、図５の(a)を代表画像に決定する。また閾値以上であった「第３４回ＸＸ小学校運動会」を組み画像のメタデータとする。

上記のように、本実施形態では、抽出した文字列が占める領域の面積の、画像全体の面積に対する割合を判定して、当該割合に基づいて代表画像を決定する。このように文字列が占める領域が総体的に大きな画像を代表画像として決定するため、代表画像を適切に決定することができる。

＜＜その他の実施形態＞＞
上記の実施形態例では組み画像から代表画像を決定したが、代表画像を決定する対象は複数の画像を含むならばこれに限られない。例えば、動画から代表画像を決定してもよい。動画から代表画像を決定する場合は、例えば、動画ファイルからフレームを切り出し、各フレーム画像から文字や文字列を抽出し、文字の大きさや文字領域を判定して動画の代表画像を決定することができる。

また、上記の実施形態例では、画像読取装置１１０を用いて画像を取得したが、これに限られない。例えば、ネットワークに接続されたカメラや記憶装置から、動画ファイルや画像ファイルを取得してもよい。

また、上記の実施形態例では、処理対象の複数の画像の各々について判定した前記割合に基づいて、該複数の画像を代表する代表画像を決定する際に、割合が予め定めされた閾値以上の画像を代表画像として決定したが、これに限られない。例えば、割合が最も大きい画像を代表画像として決定してもよい。この場合は、複数の画像の中から１つの代表画像を自動的に決定することができる。

また、あるいは、予め登録された文字列に適合する文字列が含まれる画像の中から代表画像として決定するようにしてもよい。具体的には、予め記憶装置１１１等に文字列を辞書データ等として登録しておき、代表画像を決定するときに当該辞書データを参照して、辞書データに含まれる文字列に適合する文字列を含む画像から代表画像を決定してもよい。このような構成によれば、所望の文字列を含むように辞書データを編集することで、ユーザの望む目的の代表画像を高い精度で、効果的に抽出することが可能になる。

本発明の目的は、前述した実施形態の機能を実現するソフトウエアのプログラムコードをシステムあるいは装置で実行することによっても達成されることは言うまでもない。この場合、プログラムコード自体が前述した実施形態の機能を実現することとなり、そのプログラムコードは本発明の技術的範囲に含まれる。

プログラムコードは、例えば、コンピュータ読み取り可能な記録媒体に記録してシステムあるいは装置に供給することができる。そのシステムあるいは装置のコンピュータ（またはＣＰＵまたはＭＰＵ）は、記録媒体に格納されたプログラムコードを読み出し実行することによっても、本発明の目的を達成することができる。従って、そのプログラムコードを記憶した記録媒体も本発明の技術的範囲に含まれる。

プログラムコードを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤなどを用いることができる。

なお、プログラムコードは、コンピュータが当該プログラムコードを読み出し実行することにより前述した実施形態の機能を実現するための、全ての要素を備えたものに限られない。即ち、プログラムコードには、コンピュータに組み込まれたソフトウェア及びハードウェアの少なくともいずれかと協働することにより目的を達成するプログラムコードも含まれる。

例えば、プログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も、そのプログラムコードは本発明の技術的範囲に含まれる。ただし、ＯＳはオペレーティングシステム（Operating System）の略称である。

あるいは、例えば、プログラムコードの指示に基づき、コンピュータに挿入又は接続された機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合がある。このような場合も、そのプログラムコードは本発明の技術的範囲に含まれる。なお、機能拡張ボードや機能拡張ユニットは、それらが備えるメモリにプログラムコードを読み込み、実行することでこのような処理を行うことができる。

以上のように、上記構成によれば、ユーザの望む目的の代表画像を高い精度で、効果的に抽出することが可能になる。

情報処理装置の構成例を示すブロック図である。取得した画像の例を示す図である代表画像決定処理の流れを示すフローチャートである。代表画像決定処理の流れを示すフローチャートである。取得した画像の一例を示す図である。図５(a)の画像から抽出された文字列の領域を示す図である

Claims

複数の画像の中から代表画像を決定する情報処理装置であって、
画像を取得する取得手段と、
取得した前記画像を解析して文字列を抽出する抽出手段と、
抽出した前記文字列が前記画像全体に占める割合を判定する判定手段と、
処理対象の複数の画像の各々について判定した前記割合に基づいて、該複数の画像を代表する代表画像を決定する決定手段と、
を備えることを特徴とする情報処理装置。
前記判定手段は、抽出した前記文字列が占める領域の面積の、前記画像全体の面積に対する割合を判定することを特徴とする請求項１に記載の情報処理装置。
前記判定手段は、抽出した前記文字列に含まれる文字の長さの、前記画像の一辺の長さに対する割合を判定することを特徴とする請求項１に記載の情報処理装置。
前記決定手段は、前記判定手段が判定した前記割合が予め定めされた閾値以上の画像を、前記処理対象の複数の画像を代表する代表画像として決定する
ことを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
前記決定手段は、前記判定手段が判定した前記割合が最も大きい画像を、前記処理対象の複数の画像を代表する代表画像として決定する
ことを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
前記決定手段は、前記抽出手段が抽出した前記文字列が予め登録された文字列に適合する画像の中から、前記代表画像を決定する
ことを特徴とする請求項１から５のいずれか１項に記載の情報処理装置。
前記抽出手段が画像から抽出した前記文字列のうち、該文字列が該画像全体に占める割合が予め定めされた閾値以上のものを、前記処理対象の複数の画像のメタデータとして記録する記録手段をさらに備える
ことを特徴とする請求項１から６のいずれか１項に記載の情報処理装置。
前記処理対象の複数の画像は動画の各フレームであることを特徴とする請求項１から７のいずれか１項に記載の情報処理装置。
複数の画像の中から代表画像を決定する情報処理装置の制御方法であって、
画像を取得する取得工程と、
取得した前記画像を解析して文字列を抽出する抽出工程と、
抽出した前記文字列が前記画像全体に占める割合を判定する判定工程と、
処理対象の複数の画像の各々について判定した前記割合に基づいて、該複数の画像を代表する代表画像を決定する決定工程と、
を備えることを特徴とする情報処理装置の制御方法。
コンピュータを請求項１乃至８のいずれか１項に記載の情報処理装置として機能させるためのプログラム。
請求項１０に記載のプログラムを格納したコンピュータ読み取り可能な記録媒体。