JP2004356984A - 撮影画像処理装置およびプログラム - Google Patents
撮影画像処理装置およびプログラム Download PDFInfo
- Publication number
- JP2004356984A JP2004356984A JP2003152581A JP2003152581A JP2004356984A JP 2004356984 A JP2004356984 A JP 2004356984A JP 2003152581 A JP2003152581 A JP 2003152581A JP 2003152581 A JP2003152581 A JP 2003152581A JP 2004356984 A JP2004356984 A JP 2004356984A
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- captured
- photographed
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】撮影画像を被写体別に分類する為に用いられる特別な情報を予め入力設定しておかなくても、撮影画像を解析するだけで無秩序な撮影画像を被写体別に分類できるようにする。
【解決手段】ＣＰＵ１は、撮影画像の中から抽出された被写体画像が既に分類されている何れかの被写体であれば、この撮影画像を当該既存分類の被写体に対応する画像として分類管理し、分類済みの被写体でなければ、抽出された被写体画像を新規分類の被写体として特定し、この撮影画像を当該新規分類の被写体に対応する画像として分類管理する。
【選択図】 図１
【解決手段】ＣＰＵ１は、撮影画像の中から抽出された被写体画像が既に分類されている何れかの被写体であれば、この撮影画像を当該既存分類の被写体に対応する画像として分類管理し、分類済みの被写体でなければ、抽出された被写体画像を新規分類の被写体として特定し、この撮影画像を当該新規分類の被写体に対応する画像として分類管理する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
この発明は、複数の撮影画像を分類別に管理したり、複数の撮影画像の中から特定の画像を抽出して出力する撮影画像処理装置およびプログラムに関する。
【０００２】
【従来の技術】
従来、撮影画像を分類管理するものとしては、例えば、写真画像データに含まれている被写体を予め記憶されている参照画像に基づいて認識することによって写真画像データを被写体毎に分類すると共に、被写体の年齢毎に写真画像データを管理するようにした画像管理装置が知られている（特許文献１参照）。また、顧客のメモリカード毎、被写体毎に画像データを自動分類して保存し、カードＩＤ番号や被写体のＩＤ情報に基づいて画像データを検索・抽出して利用するようにした画像データの分類保存方法が知られている（特許文献２参照）。
また、複数の撮影画像の中から所望する画像を選択して出力するものとしては、写真画像データと写真画像を分類化する個人データとを蓄積し、これらのデータを関連付けて検索・抽出するようにした個人画像情報の登録活用システムが知られている（特許文献３参照）。
【０００３】
【特許文献１】
特開２００２−１６９８０９号公報
【特許文献２】
特開２００３−０６９９３５号公報
【特許文献３】
特開２００１−２３６３８２号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、上述した特許文献１の画像管理装置においては、写真画像データを被写体毎に分類する為には、予め参照画像を入力設定しておく必要がある為、分類数が多くなればなる程、その設定数が多くなり、時間と労力を必要とする。また、上述した特許文献２の画像データ分類保存方法においても、画像データを被写体毎に自動分類するには、画像データに被写体ＩＤを書き込んでおく必要がある為、上述の場合と同様の問題が生じる。
また、上述した特許文献２の画像データ分類保存方法においては、分類保管されている画像データを検索する際に、指定されたカードＩＤや被写体ＩＤに基づいて該当する画像データを検索・抽出し、また、上述した特許文献３の個人画像情報の登録活用システムにおいては、写真画像データと個人データとを関連付けて検索・抽出するようにしている為、画像検索用として特別なデータが入力設定しておく必要があった。
【０００５】
第１の発明の課題は、撮影画像を被写体別に分類する為に用いられる特別な情報を予め入力設定しておかなくても、撮影画像を解析するだけで複数の撮影画像を被写体別に分類できるようにすることである。
第２の発明の課題は、撮影画像を検索・抽出する為に用いられる特別な情報を予め入力設定しておかなくても、撮影画像を解析するだけで複数の撮影画像の中から特定の画像だけを抽出して出力できるようにすることである。
【０００６】
【課題を解決するための手段】
請求項１記載の発明（第１の発明）は、複数の撮影画像を解析して各撮影画像の中から被写体部分の画像を抽出すると共に、この被写体画像を含む撮影画像を被写体別に分類する撮影画像処理装置であって、前記撮影画像の中から抽出された被写体画像が既に分類されている何れかの被写体であるか否かを判別する判別手段と、この判別手段によって分類済みの被写体であることが判別された場合には、この撮影画像を当該既存分類の被写体に対応する画像として分類し、分類済みの被写体でないことが判別された場合には、前記抽出された被写体画像を新規分類の被写体として特定し、この撮影画像を当該新規分類の被写体に対応する画像として分類する分類手段ととを具備するものである。
更に、コンピュータに対して、上述した請求項１記載の発明に示した主要機能を実現させるためのプログラムを提供する（請求項１３記載の発明）。
【０００７】
したがって、請求項１、１３記載の発明は、撮影画像の中から抽出された被写体画像が既に分類されている何れかの被写体であれば、この撮影画像を当該既存分類の被写体に対応する画像として分類し、分類済みの被写体でなければ、抽出された被写体画像を新規分類の被写体として特定し、この撮影画像を当該新規分類の被写体に対応する画像として分類するようにしたから、撮影画像を被写体別に分類する為に用いられる特別な情報を予め入力設定しておかなくても、撮影画像を解析するだけで無秩序な撮影画像を被写体別に分類することができ、人為的な介入を不要とした自動分類の実現が可能となる。
【０００８】
なお、請求項１記載の発明は次のようなものであってもよい。
前記撮影画像の中から抽出された被写体画像を新規分類の被写体として特定した際に、この被写体画像を分類用のキー画像として登録する登録手段を設け、前記分類手段は、前記分類情報として登録された被写体画像が撮影画像内に含まれている場合に、この撮影画像を当該分類の被写体に対応する画像として分類するようにすれば（請求項２記載の発明）、撮影画像の中から抽出された被写体画像をそのまま分類情報とすることができる。
この場合、分類情報として登録された被写体画像（登録画像）を固定化せず、例えば、撮影日毎、旅行毎に、その撮影画像の中から被写体画像を抽出して新規登録するようにすれば、最新の画像とすることができ、撮影画像内に登録されている被写体画像が含まれているか否かを認識する際に、その認識率を大幅に向上させることが可能となる。
【０００９】
前記分類手段によって被写体別に分類された各撮影画像を分類毎に出力するようにすれば（請求項３記載の発明）、被写体別に撮影画像を表示／印刷／送信することができ、撮影画像の仕分け作業が不要となる。
その際、任意の被写体が出力対象として指定された場合には、この指定被写体に対応して分類されている各撮影画像を読み出して出力するようにすれば（請求項４記載の発明）、所望する撮影画像のみを入手することが可能となる。
【００１０】
請求項５記載の発明（第２の発明）は、複数の撮影画像の中から特定の撮影画像を抽出して出力する撮影画像処理装置であって、複数の撮影画像の中から特定の撮影画像を抽出する処理を実行する前に、所定の撮影画像内に含まれている被写体部分の画像を抽出用のキー画像として事前取得する取得手段と、複数の撮影画像を解析しながら前記取得の被写体画像が撮影画像内に含まれているか否かを認識し、当該被写体画像が含まれている場合には、複数の撮影画像の中から当該撮影画像を抽出する抽出手段と、この抽出手段によって抽出された撮影画像を出力する出力手段とを具備するものである。
更に、コンピュータに対して、上述した請求項５記載の発明に示した主要機能を実現させるためのプログラムを提供する（請求項１４記載の発明）。
【００１１】
したがって、請求項５、１４記載の発明は、複数の撮影画像の中から特定の撮影画像を抽出する処理を実行する前に、所定の撮影画像内に含まれている被写体部分の画像を抽出用のキー画像として事前取得した後に、複数の撮影画像を解析しながら抽出キーの被写体画像が撮影画像内に含まれているか否かを認識し、当該被写体画像が含まれている場合には、複数の撮影画像の中から当該撮影画像を抽出して出力するようにしたから、撮影画像を検索・抽出する為に用いられる特別な情報を予め入力設定しておかなくても、撮影画像を解析するだけで複数の撮影画像の中から特定の画像だけを抽出して出力することができ、複雑な画像管理を必要とせず、無秩序な状態でも特定の撮影画像だけを確実に抽出することが可能となる他、撮影画像から取得した被写体部分の画像を抽出用のキー画像としたから、画像認識時の認識率を大幅に向上させることが可能となる。
【００１２】
なお、請求項５記載の発明は次のようなものであってもよい。
撮影画像内に含まれている被写体部分が任意に指定された際に、指定された被写体画像をキー画像として取得するようにすれば（請求項６記載の発明）、例えば、撮影画像内に多数の被写体が写っている場合でも、その中から所望する被写体のみを取得することができる。この場合、複数の被写体が指定された場合には、指定数分の被写体画像を取得することもできる。
【００１３】
また、所望する被写体が写っている撮影画像が任意に選択された際に、この撮影画像を解析することによってその中から被写体部分の画像をキー画像として取得するようにすれば（請求項７記載の発明）、被写体を直接指定しなくても、撮影画像のみを指定するだけで、所望する被写体を取得することができる。
更に、所望する被写体が写っている撮影画像が任意に選択された際に、この撮影画像内に含まれている全ての被写体部分の画像をキー画像として取得するようにすれば（請求項８記載の発明）、複数の被写体を個別に直接指定しなくても、撮影画像のみを指定するだけで、所望する複数の被写体を一括して取得することができる。
【００１４】
前記取得手段によって単一の被写体画像が取得された場合に、前記抽出手段は、撮影画像内の被写体の数が１つであり、かつ、この被写体画像が前記取得の被写体画像と一致することを条件として当該撮影画像を抽出するようにすれば（請求項９記載の発明）、所望する被写体が単独で写っている撮影画像のみを抽出することができる。
また、前記取得手段によって単一の被写体画像が取得された場合に、前記抽出手段は、この被写体画像を含む撮影画像を抽出するようにすれば（請求項１０記載の発明）、所望する被写体が単独で写っている撮影画像の抽出の他に、所望する被写体が他の被写体と共に写っている場合でも、この撮影画像も合わせて抽出することができる。
【００１５】
前記取得手段によって複数の被写体画像が一括取得された場合に、前記抽出手段は、撮影画像内の被写体の数が前記一括取得された被写体の数と同一であり、かつ、これらの被写体画像が前記一括取得の被写体画像と一致することを条件として当該撮影画像を抽出するようにすれば（請求項１１記載の発明）、所望する複数の被写体だけを集合撮影した撮影画像のみを抽出することができる。
また、前記取得手段によって複数の被写体画像が一括取得された場合に、前記抽出手段は、前記一括取得の各被写体画像を含む撮影画像を抽出するようにすれば（請求項１２記載の発明）、所望する複数の被写体だけを集合撮影した撮影画像を抽出する他に、他の被写体が写っている場合でも、この撮影画像も合わせて抽出することができる。
【００１６】
【発明の実施の形態】
（第１実施形態）
以下、図１〜図５を参照してこの発明の第１実施形態を説明する。
図１は、この実施形態における撮影画像処理装置の基本的構成要素を示したブロック図である。
撮影画像処理装置は、デスクトップ型／ノート型のパーソナルコンピュータ（ＰＣ）等であり、デジタルスチルカメラ（図示せず）によって撮影された撮影画像（静止画）を可搬型記録媒体あるいはケーブル接続を介して取り込んだり、通信ネットワークを介して取り込んで記録保存すると共に、保存されている複数の撮影画像を被写体別に分類管理したり、この各撮影画像の中から特定の撮影画像だけを抽出して出力するようにしたものである。この場合、撮影画像を解析するだけで複数の撮影画像を被写体別に自動分類し、また、撮影画像を解析するだけで複数の撮影画像の中から特定の画像だけを自動抽出するようにしている。
なお、この実施形態の特徴部分を詳述する前に、この実施形態のハードウェア上の構成について以下、説明しておく。
【００１７】
ＣＰＵ１は、記憶装置２内のオペレーティングシステムや各種アプリケーションソフトにしたがってこの撮影画像処理装置の全体動作を制御する中央演算処理装置である。記憶装置２は、プログラム記憶領域とデータ記憶領域とを有し、磁気的、光学的、半導体メモリ等やその駆動系によって構成されている。この記録装置２はハードディスク等の固定的なメモリの他、ＣＤ−ＲＯＭ、ＤＶＤ等の着脱自在な記憶媒体を装着可能な構成であってもよい。この記憶装置２内のプログラムやデータは、必要に応じてＲＡＭ（例えば、スタティックＲＡＭ）３にロードされたり、ＲＡＭ３内のデータが記憶装置２にセーブされる。なお、ＲＡＭ３は、プログラム実行領域と作業領域とを有している。
【００１８】
一方、ＣＰＵ１にはその入出力周辺デバイスである通信装置４、入力装置５、表示装置６、印字装置７、画像取込部８がバスラインを介して接続されており、入出力プログラムにしたがってＣＰＵ１はそれらの動作を制御する。
入力装置５はキーボードやタッチパネルあるいはマウスやタッチ入力ペン等のポインティングデバイスを構成する操作部であり、文字列データや各種コマンドを入力する。表示装置６は、フルカラー表示を行う液晶表示装置やＣＲＴ表示送信あるいはプラズマ表示装置などであり、印字装置７は熱転写やインクジェットなどのノンインパクトプリンタあるいはドットインパクトプリンタである。画像取込部８は、カメラ装置にて撮影された撮影画像を記録媒体やケーブル接続を介して取り込むものである。
【００１９】
図２（Ａ）は、記憶装置２内に格納されている登録情報管理データベースを構成する登録レコード１１の内容を示し、（Ｂ）は、分類画像管理データベースを構成する被写体別分類レコード１２の内容を示した図である。
登録レコード１１は、複数の撮影画像を被写体別に分類する為の分類情報（分類キー）を記憶管理するもので、被写体（人物、ペット、物品等）毎に、その「被写体ＩＤ」および「登録画像」を記憶する構成となっている。「被写体ＩＤ」は、登録レコード１１が生成される毎に自動発行された被写体固有の識別情報（レコード識別情報）である。
「登録画像」は、被写体部分の画像であり、被写体が人物であれば、顔を中心とした顔画像、ペットや物品等であれば、その全体画像である。この被写体画像は、それが写っている撮影画像の中から抽出取得されたもので、複数の撮影画像を被写体別に分類する為のキー画像として登録される。
【００２０】
ここで、ＣＰＵ１は、撮影画像を解析することによってその中にキー画像（登録画像）が含まれているか否かを認識し、登録画像が含まれている撮影画像を当該分類の被写体に対応する画像として分類管理するようにしている。その際、撮影画像内の被写体画像が既に分類されている何れかの被写体であれば、つまり、該当する被写体の登録画像が有れば、この撮影画像を対応する被写体の画像として分類するが、分類済みの被写体でなければ、つまり、該当する登録画像が無ければ、撮影画像から抽出した被写体画像を新規分類の被写体として特定し、この被写体画像を新規な分類情報として登録レコード１１内に登録した後、この撮影画像を当該新規分類の被写体の画像として分類するようにしている。
言換えれば、分類処理を実行する前の最初の時点では、全てのキー画像が未登録の為、撮影画像から被写体画像を抽出する毎に、この被写体に対応する分類の登録レコード１１を新規生成すると共に、この撮影画像を当該新規分類の画像として分類し、それ以降は、当該被写体に対応する分類が存在する為に、この既存の登録レコード１１を参照して撮影画像の分類を行うようにしている。
【００２１】
被写体別分類レコード１２は、被写体別に分類された撮影画像を管理するもので、被写体別に「被写体ＩＤ」に対応して複数の「画像Ｎｏ」を記憶可能な構成となっている。なお、「画像Ｎｏ」は、撮影毎に更新される一連Ｎｏである。
図３は、撮影画像を保存する撮影画像フォルダ１３を説明する為の図である。
この撮影画像フォルダ１３は、例えば、撮影日別、旅行別等に対応して複数設けられており、各撮影画像フォルダ１３には、１画像１ファイル形式で多数枚の画像ファイルが保存されている。なお、各画像ファイルには、その撮影順にしたがって生成された「画像Ｎｏ」が自動付加されている。
【００２２】
次に、この第１実施形態における撮影画像処理装置の動作概念を図４および図５に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作を逐次実行する。また、伝送媒体を介して伝送されてきた上述のプログラムコードにしたがった動作を逐次実行することもできる。このことは後述する他の実施形態においても同様であり、記録媒体の他、伝送媒体を介して外部供給されたプログラム／データを利用してこの実施形態特有の動作を実行することもできる。
【００２３】
図４および図５は、画像自動分類処理を示したフローチャートである。
先ず、ＣＰＵ１は、複数の撮影画像フォルダ１３の中から任意の撮影画像フォルダ１３が分類対象として選択指定されると（ステップＡ１）、分類限定メニューを表示出力させる（ステップＡ２）。この分類限定メニュー画面は、「１：人物限定」、「２：限定なし」の各メニュー項目を表示するもので、「１：人物限定」は、人物別に撮影画像を分類すべきことを指示する処理メニューであり、「２：限定なし」は、人物に限らず、ペット、物品等、全ての被写体を対象として撮影画像を被写体別に分類すべきことを指示する処理メニューである。この限定メニュー画面の中から任意の項目が選択指定されると、ＣＰＵ１は、選択されたメニュー項目を一時記憶保持しておく（ステップＡ３）。
【００２４】
そして、ＣＰＵ１は、分類対象として選択指定されている撮影画像フォルダ１３をアクセスし、その中から１画像分の画像ファイルを読み出し（ステップＡ４）、この撮影画像の解析を行い（ステップＡ５）、その中に写っている被写体部分の画像を抽出する（ステップＡ６）。この場合、被写体が人物であれば、顔を中心とした部分画像を抽出し、ペットや物品等であれば、その全体画像を抽出する。ここで、選択メニュー項目として「人物限定」が指定されているかをチェックし（ステップＡ７）、「人物限定」が指定されていれば、この抽出画像（被写体画像）を解析し、人物の固有の特徴を有しているか、つまり、被写体は人物であるかを調べ（ステップＡ８）、ペットや物品等であれば、当該被写体画像をキャンセルする為に、ステップＡ１２に移って再度、撮影画像を解析し、他の被写体部分が含まれているかをチェックする。ここで、他の被写体部分が有れば、ステップＡ６に戻って当該被写体画像を抽出し、被写体は人物であるかを調べる（ステップＡ８）。
【００２５】
これによって人物画像が抽出された場合には（ステップＡ８でＹＥＳ）、各登録レコード１１をアクセスして登録画像（キー画像）を順次読み出し、この被写体画像と登録画像との特徴比較を行う（ステップＡ９）。その際、画像の顔の向き、大きさにを補正した後、顔の輪郭、目、口、鼻、額等の形、位置、大きさ、髪型、メガネの有無と種類等を個別に比較する他、それらを総合比較することによって画像比較を行う（以下、同様）。この結果、両画像が特徴的に一致するか否かを調べるが（ステップＡ１０）、最初は、全てのキー画像は未登録の為、ステップＡ１０で不一致が検出されてステップ１４Ａ以降の処理に移る。すなわち、登録レコード１１を新規に作成する為に、被写体ＩＤを生成発行した後に（ステップＡ１４）、この被写体ＩＤを含む登録レコード１１および被写体別分類レコード１２を新規作成する（ステップＡ１５）。そして、撮影画像から抽出した被写体画像を新規作成の登録レコード１１内にキー画像として登録した後（ステップＡ１６）、新規作成の被写体別分類レコード１２内に当該「画像Ｎｏ」をセットすることにより、この撮影画像を当該被写体に対応する分類の画像として分類管理する（ステップＡ１１）。
【００２６】
その後、再度、撮影画像を解析し、他の被写体部分が含まれているかをチェックし（ステップ１２）、他の被写体部分が有れば、ステップＡ６に戻って当該被写体画像を抽出した後、以下、上述の動作を繰り返す。したがって、１枚分の撮影画像内に複数の被写体が写っている場合には、被写体数に対応した数（人数分）の登録レコード１１および被写体別分類レコード１２が新規作成される。
なお、選択メニュー項目の「限定なし」が指定されている場合には、上述のステップＡ８がキャンセルされてステップＡ９に移り、以下、上述の動作が繰り返される。
【００２７】
このようにして撮影画像１枚分の分類処理が終了すると（ステップＡ１２でＮＯ）、分類対象の撮影画像フォルダ１３から全ての画像ファイルを読み出したかを調べるが（ステップＡ１３）、最初は、１枚目の画像ファイルを読み出した場合であるからステップＡ４に戻り、次の２枚目の画像ファイルを読み出して画像解析を行い（ステップＡ５）、その中に写っている被写体部分の画像を抽出した後（ステップＡ６）、キー画像（登録画像）との比較を行う（ステップＡ９）。
いま、１枚目に写っていた被写体が２枚目にも写っている場合には、当該被写体に対応する登録レコード１１は、既に存在している為、ステップＡ１０での画像比較の結果、特徴一致する登録画像の有りが検出される。この場合、ステップＡ１１に移り、２枚目の画像Ｎｏが当該被写体別分類レコード１２内にセットされて分類管理される。
【００２８】
以下、全ての画像ファイルを分類対象の撮影画像フォルダ１３から読み出して分類し終わるまで上述の動作が繰り返される。ここで、全ての画像分類が終わった場合には（ステップＡ１３でＹＥＳ）、各撮影画像を被写体別に出力する処理に移る。先ず、分類終了のメッセージを表示させた後（図５のステップＡ１７）、画像表示がユーザ指示されたかをチェックし（ステップＡ１８）、画像表示が指示されなければ、画像出力を行わずに、このフローの終了となるが、画像表示が指示された場合には、各登録レコード１１から登録画像を読み出して一覧表示させた後（ステップＡ１９）、この一覧表示の中から所望する登録画像（被写体）がユーザ指定されたかをチェックする（ステップＡ２０）。
【００２９】
いま、被写体が指定されると、指定された被写体対応の登録レコード１１をアクセスし、この「被写体ＩＤ」をキーとして対応する被写体別分類レコード１２を出力対象としてアクセスした後に、この被写体別分類レコード１２内から読み出した各「画像Ｎｏ」に基づいて撮影画像フォルダ１３から該当する画像ファイルを取得し、指定被写体対応の分類別画像を一覧表示させる（ステップＡ２１）。
一方、被写体指定が無ければ、全ての被写体別分類レコード１２を出力対象としてアクセスし、分類対象の撮影画像フォルダ１３から全画像ファイルを取得し、被写体別に一覧表示させる（ステップＡ２２）。そして、印刷指示／送信指示の有無をチェックし（ステップＡ２３）、印刷指示／送信指示が有れば、画像一覧の中から任意の画像が印刷／送信対象として選択されたかを調べ（ステップＡ２４）、画像指定が有れば、指定画像のみを印刷／送信させ（ステップＡ２５）、画像指定が無ければ、一覧表示の各画像を印刷／送信させる（ステップＡ２６）。
【００３０】
以上のように、この第１実施形態においてＣＰＵ１は、撮影画像フォルダ１３内から撮影画像を読み出し、この撮影画像の中から抽出された被写体画像が既に分類されている何れかの被写体であれば、この撮影画像を当該既存分類の被写体に対応する画像として分類管理し、分類済みの被写体でなければ、抽出された被写体画像を新規分類の被写体として特定し、この撮影画像を当該新規分類の被写体に対応する画像として分類管理するようにしたから、撮影画像を被写体別に分類する為に用いられる特別な情報を予め入力設定しておかなくても、撮影画像を解析するだけで無秩序な撮影画像を被写体別に分類することができ、人為的な介入を不要とした自動分類の実現が可能となる。
【００３１】
この場合、撮影画像の中から抽出された被写体画像を新規分類の被写体として特定した際に、この被写体画像を分類用のキー画像として登録レコード１１内に登録しておき、この登録画像が撮影画像内に含まれている場合に、この撮影画像を当該分類の被写体に対応する画像として被写体別分類レコード１２内に分類するようにしたから、撮影画像の中から抽出された被写体画像をそのまま分類情報とすることができる。
【００３２】
また、被写体別に分類された各撮影画像を分類毎に出力するようにしたから、被写体別に撮影画像を表示／印刷／送信することができ、撮影画像の仕分け作業が不要となる。その際、任意の被写体が出力対象として指定された場合には、この指定被写体に対応して分類されている各撮影画像を読み出して出力するようにしたから、所望する撮影画像のみを入手することが可能となる。
【００３３】
なお、上述した第１実施形態においては、被写体別に分類管理されている撮影画像を出力した後においても、登録レコード１１および被写体別分類レコード１２を保存するようにしたが、画像出力後においては、不要となった登録レコード１１、被写体別分類レコード１２を全て消去したり、不要となった登録レコード１１、被写体別分類レコード１２を選択的に指定して消去するようにしてもよい。すなわち、登録レコード１１内に分類情報として登録された画像を固定化せず、例えば、撮影日毎、旅行毎に、その撮影画像の中から被写体画像を抽出して新規登録するようにすれば、最新の画像とすることができ、撮影画像内に登録されている被写体画像が含まれているか否かを認識する際に、その認識率を大幅に向上させることが可能となる。
【００３４】
一方、コンピュータに対して、上述した各手段を実行させるためのプログラムコードをそれぞれ記録した記録媒体（例えば、ＣＤ−ＲＯＭ、フロッピィデスク、ＲＡＭカード等）を提供するようにしてもよい。
すなわち、コンピュータが読み取り可能なプログラムコードを有する記録媒体であって、複数の撮影画像を解析して各撮影画像の中から被写体部分の画像を抽出すると共に、この被写体画像を含む撮影画像を被写体別に分類する機能と、前記撮影画像の中から抽出された被写体画像が既に分類されている何れかの被写体であるか否かを判別する機能と、分類済みの被写体であることが判別された場合には、この撮影画像を当該既存分類の被写体に対応する画像として分類し、分類済みの被写体でないことが判別された場合には、前記抽出された被写体画像を新規分類の被写体として特定し、この撮影画像を当該新規分類の被写体に対応する画像として分類する機能とを実現させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体を提供するようにしてもよい。
【００３５】
（第２実施形態）
以下、この発明の第２実施形態について図６〜図１１を参照して説明する。なお、上述した第１実施形態においては、複数の撮影画像を解析して各撮影画像の中から被写体部分の画像を抽出すると共に、この被写体画像を含む撮影画像を被写体別に分類管理するようにしたが、この第２実施形態においては、複数の撮影画像の中から特定の撮影画像を抽出する処理を実行する前に、所定の撮影画像内に含まれている被写体部分の画像を抽出キーとして事前取得した後において、複数の撮影画像を解析しながら抽出キーの被写体画像が撮影画像内に含まれているか否かを認識し、当該被写体画像が含まれている場合には、複数の撮影画像の中から当該撮影画像を抽出して出力するようにしたものである。なお、第２実施形態は、被写体を人物に特定した場合を例示している。ここで、両実施形態において基本的に同一のものは、同一符号を付して示し、その説明を省略する他、以下、第２実施形態の特徴部分を中心に説明するものとする。
【００３６】
この第２実施形態においても、上述した登録レコード１１、被写体別分類レコード１２、撮影画像フォルダ１３を有する他、図６に示すグループ別分類レコード１４を有している。なお、登録レコード１１、被写体別分類レコード１２の使い方は、上述した第１実施形態と異なる。
すなわち、登録レコード１１は、被写体に対応してその「被写体ＩＤ」および「登録画像」を記憶する点は、上述した第１実施形態と同様であるが、上述した第１実施形態では、複数の撮影画像を被写体別に分類する為の分類情報（キー情報）を記憶管理するのに対し、この第２実施形態の登録レコード１１は、複数の撮影画像の中から特定の撮影画像を検索・抽出する為に用いられるキー情報を一時的に記憶するものである。すなわち、この第２実施形態においては、複数の撮影画像の中から特定の撮影画像を抽出する処理を実行する前に、所定の撮影画像内に含まれている被写体部分の画像を抽出キーとして事前取得し、この被写体画像と「被写体ＩＤ」とを対応付けて登録レコード１１内にセットするようにしている。
【００３７】
被写体別分類レコード１２は、被写体に対応してその「被写体ＩＤ」および「画像Ｎｏ」を記憶する点は、上述した第１実施形態と同様であるが、この第２実施形態においては、被写体別に分類抽出された撮影画像の「画像Ｎｏ」を「被写体ＩＤ」に対応付けて一時記憶するものである。
グループ別分類レコード１４は、この第２実施形態固有のもので、上述の被写体別分類レコード１２は、被写体別に分類抽出された撮影画像の「画像Ｎｏ」を「被写体ＩＤ」に対応付けて記憶するのに対し、このグループ別分類レコード１４は、複数の被写体がグループとして指定されている場合に、この複数の被写体が全て写っている撮影画像がグループ別に分類抽出された撮影画像の「画像Ｎｏ」を「グループＩＤ」に対応付けて記憶するものである。
【００３８】
図７〜図１１は、画像自動抽出処理を示したフローチャートである。
先ず、ＣＰＵ１は、抽出対象として予め任意に指定された撮影画像フォルダ１３内から各画像ファイルを読み出して画像一覧を表示させる（ステップＢ１）。この状態において、所望する被写体が写っている１枚の撮影画像が選択指定されると（ステップＢ２）、撮影画像フォルダ１３からそれを読み出して（ステップＢ３）、画像全体を解析し（ステップＢ４）、その中から人物の顔を中心とした人物部分を抽出取得する（ステップＢ５）。そして、複数の人物画像を抽出したかを調べ（ステップＢ６）、その取得数が１人であれば、被写体ＩＤを生成発行した後に（ステップＢ７）、この被写体ＩＤを含む登録レコード１１を作成し（ステップＢ８）、この登録レコード１１内に抽出画像（人物画像）をキー画像として登録しておく（ステップＢ８）。
【００３９】
また、１枚の撮影画像から複数の人物画像を抽出取得した場合には（ステップＢ６でＹＥＳ）、この撮影画像（選択画像）を表示出力させると共に、全ての人物を選択するか否かを問うメッセージを表示出力させる（ステップＢ１０）。ここで、全選択がユーザ指示されない場合には（ステップＢ１１でＮＯ）、つまり、撮影画像内に写っている複数の人物の中から任意の人物をユーザ指定する場合には、ユーザ指定された人物部分の画像のみを選択する（ステップＢ１２）。この場合、複数の人物が選択指定された場合には、指定人数分の人物画像を選択する。ここで、選択人物数が複数であるか否かを調べ（ステップＢ１４）、１人であれば、上述と同様、１人分の登録レコード１１を作成して人物画像をキー画像として登録する（ステップＢ７〜Ｂ９）。
【００４０】
また、選択人物数が複数であれば、その人数分の登録レコード１１を個々に作成して人物画像を登録する処理に移る（ステップＢ１５〜Ｂ１７）。すなわち、人数分の被写体ＩＤをそれぞれ生成発行した後に（ステップＢ１５）、被写体毎に、その被写体ＩＤを含む登録レコード１１を個々作成し（ステップＢ１６）、対応する抽出画像（被写体画像）を該当する登録レコード１１内にキー画像として登録する（ステップＢ１７）。
一方、全選択がユーザ指示された場合には（ステップＢ１１でＹＥＳ）、この撮影画像（選択画像）から抽出された全ての人物画像を選択し（ステップＢ１３）、その人数分の登録レコード１１を個々に作成して人物画像をキー画像として登録する（ステップＢ１５〜Ｂ１７）。
【００４１】
次に、図８のステップＢ１８に移り、登録レコード１１の数を計数し、それが１つかを調べ、１つであれば、単一の抽出方法メニュー画面を表示出力させる（ステップＢ１９）。このメニュー画面は、「１：単独抽出」、「２：１人部分抽出」のメニュー項目を有し、「単独抽出」は、登録レコード１１内に登録されている登録人物のみが写っている撮影画像を抽出する為の処理メニューであり、「１人部分抽出」は、登録人物を含む撮影画像をを抽出する為の処理メニューである。
また、複数の登録レコード１１があれば（ステップＢ１８でＮＯ）、グループの抽出方法メニュー画面を表示出力させる（ステップＢ２０）。このメニュー画面は、「１：グループ一致抽出」、「２：グループ部分抽出」のメニュー項目を有し、「グループ一致抽出」は、複数の登録人物のみが写っている撮影画像を抽出する為の処理メニューであり、「グループ部分抽出」は、複数の登録人物を含む撮影画像をを抽出する為の処理メニューである。ここで、任意のメニュー項目が選択指定されると、この選択メニュー項目を一時記憶しておく（ステップＢ２１）。
【００４２】
いま、「単独抽出」が選択されている場合には（ステップＢ２２）、撮影画像フォルダ１３をアクセスしてその中から１画像分の画像ファイルを読み出し（ステップＢ２３）、この撮影画像の全体を解析し（ステップＢ２４）、その中に写っている人物部分（人物の顔を中心とした部分）の画像を全て抽出する（ステップＢ２５）。ここで、撮影画像から抽出した人物は、１人か否かを調べ（ステップＢ２６）、複数人であれば、この撮影画像を抽出対象外とする為にステップＢ２７に移るが、１人であれば、登録レコード１１から登録画像（抽出キー）を読み出し、このキー画像と抽出画像（被写体画像）との特徴比較を行い（ステップＢ２８）、両画像は特徴的に一致するか否かを調べる（ステップＢ２９）。この結果、不一致であれば、この撮影画像を抽出対象外とする為にステップＢ２７に移るが、一致する場合には、この被写体ＩＤに対応付けてその撮影画像の「画像Ｎｏ」を被写体別分類レコード１２内にセットする（ステップＢ３０）。
【００４３】
そして、ステップＢ２７に移り、撮影画像フォルダ１３から全ての画像ファイルを読み出したかを調べるが、最初は、１枚目の画像ファイルを読み出した場合であるからステップＢ２３に戻り、次の２枚目の画像ファイルを読み出して画像解析を行い（ステップＢ２４）、その中に写っている人物部分の画像を抽出する（ステップＢ２５）。以下、撮影画像フォルダ１３から全ての画像ファイルを読み出すまで上述の動作を繰り返す（ステップＢ２３〜Ｂ３０）。このように単独抽出によって登録人物のみが写っている撮影画像が抽出され、その「画像Ｎｏ」が対応する被写体別分類レコード１２内にセットされる。そして、ステップＢ３１に移り、この被写体別分類レコード１２から各「画像Ｎｏ」を読み出すと共に、この「画像Ｎｏ」対応の画像ファイルを撮影画像フォルダ１３から読み出して印刷出力させる（ステップＢ３２）。その後、登録レコード１１および被写体別分類レコード１２を削除する（ステップＢ３３）。
【００４４】
また、「１人部分抽出」が選択されている場合には（図９のステップＢ３４）、撮影画像フォルダ１３をアクセスしてその中から１画像分の画像ファイルを読み出し（ステップＢ３５）、この撮影画像を解析し（ステップＢ３６）、その中に写っている人物部分の画像を抽出する（ステップＢ３７）。そして、登録レコード１１からキー画像を読み出し、このキー画像と抽出画像（被写体画像）とを比較し（ステップＢ３８）、両画像は特徴的に一致するか否かを調べる（ステップＢ３９）。この結果、不一致であれば、撮影画像を解析して他の人物部分が含まれているかを調べ（ステップＢ４０）、他の人物含まれている場合には、ステップＢ３７に戻り、その人物画像とキー画像との比較を行う。
【００４５】
ここで、両画像が特徴的に一致する場合には、この被写体ＩＤに対応付けてその撮影画像の「画像Ｎｏ」を被写体別分類レコード１２内にセットする（ステップＢ４１）。このように１人部分抽出によって登録人物を含む撮影画像が抽出され、その「画像Ｎｏ」が対応する被写体別分類レコード１２内にセットされる。そして、図８のステップＢ３１以降に移り、この被写体別分類レコード１２を参照することによって読み出された各撮影画像を印刷出力させた後（ステップＢ３１、Ｂ３２）、登録レコード１１および被写体別分類レコード１２を削除する（ステップＢ３３）。
【００４６】
また、「グループ一致抽出」が選択されている場合には（図１０のステップＢ４３）、撮影画像フォルダ１３をアクセスしてその中から１画像分の画像ファイルを読み出し（ステップＢ４４）、この撮影画像の全体を解析し（ステップＢ４５）、その中に写っている人物部分の画像を全て抽出する（ステップＢ４６）。ここで、撮影画像から抽出した人物数を計数すると共に、登録レコード１１の数を計数して、それらを比較し（ステップＢ４７）、それらが一致するか否かを調べる（ステップＢ４８）。人数不一致が検出された場合には、この撮影画像を抽出対象外とする為にステップＢ５５に移るが、人数一致が検出された場合には、何れかの登録レコード１１を指定した後（ステップＢ４９）、その中からキー画像を読み出し、このキー画像と各抽出画像（抽出した全ての人物画像）との特徴比較を行い（ステップＢ５０）、このキー画像が何れかの抽出画像と一致するかを調べる（ステップＢ５１）。
【００４７】
ここで、何れの抽出画像にも不一致であれば、この撮影画像を抽出対象外とする為にステップＢ５５に移るが、何れの抽出画像に一致していれば、次のステップＢ５２に移り、複数の登録レコード１１を全て指定し終わったかを調べ、その全てを指定し終わるまでステップＢ４９に戻り、登録レコード１１を順次指定しながら画像比較を繰り返す（ステップＢ４９〜Ｂ５２）。このようにして複数のレコード分の画像比較を行う毎に一致し続けた場合には、グループＩＤを生成発行して（ステップＢ５３）、このグループＩＤに対応付けてその「画像Ｎｏ」をグループ別分類レコード１４内にセットする（ステップＢ５４）。そして、撮影画像フォルダ１３から全ての画像ファイルを読み出したかを調べ（ステップＢ５５）、全読み出が終了していなければ、ステップＢ４４に戻り、以下、上述の動作を繰り返す。
【００４８】
このようにグループ一致抽出によって複数の登録人物のみが写っている撮影画像が抽出され、その「画像Ｎｏ」が対応するグループ別分類レコード１４内にセットされる。その後、図８のステップＢ３１以降に移り、このグループ別分類レコード１４から各「画像Ｎｏ」を読み出すと共に（ステップＢ３１）、この「画像Ｎｏ」に対応する画像ファイルを撮影画像フォルダ１３から読み出して印刷出力させた後（ステップＢ３２）、各登録レコード１１およびグループ別分類レコード１４を削除する（ステップＢ３３）。
【００４９】
また、「グループ部分抽出」が選択されている場合には（図１１のステップＢ５６）、撮影画像フォルダ１３をアクセスしてその中から１画像分の画像ファイルを読み出し（ステップＢ５７）、この撮影画像の全体を解析し（ステップＢ５８）、その中に写っている人物部分の画像を全て抽出する（ステップＢ５９）。そして、何れかの登録レコードを指定した後（ステップＢ６０）、その中からキー画像を読み出し、このキー画像と各抽出画像（抽出した全ての人物画像）との特徴比較を行い（ステップＢ６１）、このキー画像が何れかの抽出画像と一致するかを調べる（ステップＢ６２）。ここで、何れの抽出画像にも不一致であれば、この撮影画像を抽出対象外とする為にステップＢ６６に移るが、何れの抽出画像に一致していれば、複数の登録レコード１１を全て指定し終わったかを調べ（ステップＢ６３）、その全てを指定し終わるまでステップＢ６０に戻り、画像比較を繰り返す。
【００５０】
このようにして複数のレコード分の画像比較を行う毎に一致し続けた場合には、グループＩＤを生成発行して（ステップＢ６４）、このグループＩＤに対応付けてその「画像Ｎｏ」をグループ別分類レコード１４内にセットする（ステップＢ６５）。そして、撮影画像フォルダ１３から全ての画像ファイルを読み出したかを調べ（ステップＢ６６）、全読み出が終了していなければ、ステップＢ５７に戻り、以下、上述の動作を繰り返す。このようにグループ部分抽出によって複数の登録人物を含む撮影画像が抽出され、その「画像Ｎｏ」が対応するグループ別分類レコード１４内にセットされる。その後、図８のステップＢ３１以降に移り、このグループ別分類レコード１４を参照することによって読み出された各撮影画像を印刷出力させた後（ステップＢ３１、Ｂ３２）、各登録レコード１１およびグループ別分類レコード１４を削除する（ステップＢ３３）。
【００５１】
以上のように、この第２実施形態においてＣＰＵ１は、複数の撮影画像の中から特定の撮影画像を抽出する処理を実行する前に、所定の撮影画像内に含まれている人物部分の画像を抽出用のキー画像として事前取得して登録レコード１１内に登録した後において、撮影画像フォルダ１３内の複数の撮影画像を順次解析しながらキー画像が撮影画像内に含まれているか否かを認識し、当該キー画像が含まれている場合には、複数の撮影画像の中から当該撮影画像を抽出して印刷出力するようにしたから、撮影画像を検索・抽出する為に用いられる特別な情報を予め入力設定しておかなくても、撮影画像を解析するだけで複数の撮影画像の中から特定の画像だけを抽出して出力することができ、複雑な画像管理を必要とせず、無秩序な状態でも特定の撮影画像だけを確実に抽出することが可能となる他、撮影画像から取得した被写体部分の画像を抽出用のキー画像としたから、画像認識時の認識率を大幅に向上させることが可能となる。
【００５２】
この場合、撮影画像内に含まれている人物部分が任意に指定された際に、指定された人物画像をキー画像として取得するようにしたから、撮影画像内に多数の人物が写っている場合でも、その中から所望する人物のみをキー画像として取得することができる。この場合、複数の人物が指定された場合には、指定数分の人物画像を取得することもできる。
【００５３】
また、所望する人物が写っている撮影画像が任意に選択された際に、この撮影画像を解析することによってその中から人物部分の画像をキー画像として取得するようにしたから、人物を直接指定しなくても、撮影画像のみを指定するだけで、所望する人物画像を取得することができる。
更に、所望する人物が写っている撮影画像が任意に選択された際に、この撮影画像内に含まれている全ての人物部分の画像を取得するようにしたから、複数の人物を個別に直接指定しなくても、撮影画像のみを指定するだけで、所望する複数の人物を一括して取得することができる。
【００５４】
「単独抽出」が指示された場合には、撮影画像内の人数が１人であり、かつ、この人物がキー画像と一致することを条件として当該撮影画像を抽出するようにしたから、所望する人物が単独で写っている撮影画像のみを抽出することができる。「１人部分抽出」が指示された場合には、この人物画像を含む撮影画像を抽出するようにしたから、所望する人物が単独で写っている撮影画像の抽出の他に、所望する人物が他の人物と共に写っている場合でも、この撮影画像も合わせて抽出することができる。
【００５５】
「グループ一致抽出」が指示された場合には、撮影画像内の人物の数がキー画像数と同一であり、かつ、これらの人物画像がキー画像と一致することを条件として当該撮影画像を抽出するにしたから、複数の登録人物だけを集合撮影した撮影画像のみを抽出することができる。「グループ部分抽出」が指示された場合には、複数のキー画像を含む撮影画像を抽出するようにしたから、複数の登録人物だけが写っている撮影画像の他に、他の人物が写っている場合でも、この撮影画像も合わせて抽出することができる。
【００５６】
なお、第２実施形態においては、被写体を人物とした場合を例示したが、ペット、物品を被写体としてもよい。また、第２実施形態においては、被写体別分類画像やグループ別分類画像を印刷するようにしたが、その他に、通信ネットワークを介して送信するようにしてもよい。また、第２実施形態においては、画像出力後に登録レコード１１および被写体別分類レコード１２／グループ別分類レコード１４を自動消去するようにしたが、ユーザ指示によって消去するようにしてもよい。
【００５７】
撮影画像処理装置は、スタンド・アローン・タイプに限らず、その各構成要素が２以上の筐体に物理的に分離され、通信回線やケーブル等の有線伝送路あるいは電波、マイクロウエーブ、赤外線等の無線伝送路を介してデータを送受信する分散型のコンピュータシステムを構成するものであってもよい。
【００５８】
一方、コンピュータに対して、上述した各手段を実行させるためのプログラムコードをそれぞれ記録した記録媒体（例えば、ＣＤ−ＲＯＭ、フロッピィデスク、ＲＡＭカード等）を提供するようにしてもよい。
すなわち、コンピュータが読み取り可能なプログラムコードを有する記録媒体であって、複数の撮影画像の中から特定の撮影画像を抽出する処理を実行する前に、所定の撮影画像内に含まれている被写体部分の画像を抽出用のキー画像として事前取得する機能と、複数の撮影画像を解析しながら前記取得の被写体画像が撮影画像内に含まれているか否かを認識し、当該被写体画像が含まれている場合には、複数の撮影画像の中から当該撮影画像を抽出する機能と、抽出された撮影画像を出力する機能とを実現させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体を提供するようにしてもよい。
【００５９】
【発明の効果】
第１の発明（請求項１記載の発明）によれば、撮影画像の中から抽出された被写体画像が既に分類されている何れかの被写体であれば、この撮影画像を当該既存分類の被写体に対応する画像として分類し、分類済みの被写体でなければ、抽出された被写体画像を新規分類の被写体として特定し、この撮影画像を当該新規分類の被写体に対応する画像として分類するようにしたから、撮影画像を被写体別に分類する為に用いられる特別な情報を予め入力設定しておかなくても、撮影画像を解析するだけで無秩序な撮影画像を被写体別に分類することができ、人為的な介入を不要とした自動分類の実現が可能となる。
第２の発明（請求項５記載の発明）によれば、複数の撮影画像の中から特定の撮影画像を抽出する処理を実行する前に、所定の撮影画像内に含まれている被写体部分の画像を抽出用のキー画像として事前取得した後に、複数の撮影画像を解析しながら抽出キーの被写体画像が撮影画像内に含まれているか否かを認識し、当該被写体画像が含まれている場合には、複数の撮影画像の中から当該撮影画像を抽出して出力するようにしたから、撮影画像を検索・抽出する為に用いられる特別な情報を予め入力設定しておかなくても、撮影画像を解析するだけで複数の撮影画像の中から特定の画像だけを抽出して出力することができ、複雑な画像管理を必要とせず、無秩序な状態でも特定の撮影画像だけを確実に抽出することが可能となる他、撮影画像から取得した被写体部分の画像を抽出用のキー画像としたから、画像認識時の認識率を大幅に向上させることが可能となる。
【図面の簡単な説明】
【図１】撮影画像処理装置の基本的構成要素を示したブロック図。
【図２】（Ａ）は、登録レコード１１の内容を示し、（Ｂ）は、被写体別分類レコード１２の内容を示した図。
【図３】撮影画像を保存する撮影画像フォルダ１３を説明する為の図。
【図４】画像自動分類処理を示したフローチャート。
【図５】図４に続く、画像自動分類処理を示したフローチャート。
【図６】第２実施形態において、グループ別分類レコード１４の内容を示した図。
【図７】画像自動抽出処理を示したフローチャート。
【図８】図７に続く、画像自動抽出処理を示したフローチャート。
【図９】図７、図８に続く、画像自動抽出処理を示したフローチャート。
【図１０】図７、図９に続く、画像自動抽出処理を示したフローチャート。
【図１１】図７、図１０に続く、画像自動抽出処理を示したフローチャート。
【符号の説明】
１ ＣＰＵ
２ 記憶装置
４ 通信装置
５ 入力装置
６ 表示装置
７ 印字装置
１１ 登録レコード
１２ 被写体別画像分類レコード
１３ 撮影画像フォルダ
１４ グループ別画像分類レコード
【発明の属する技術分野】
この発明は、複数の撮影画像を分類別に管理したり、複数の撮影画像の中から特定の画像を抽出して出力する撮影画像処理装置およびプログラムに関する。
【０００２】
【従来の技術】
従来、撮影画像を分類管理するものとしては、例えば、写真画像データに含まれている被写体を予め記憶されている参照画像に基づいて認識することによって写真画像データを被写体毎に分類すると共に、被写体の年齢毎に写真画像データを管理するようにした画像管理装置が知られている（特許文献１参照）。また、顧客のメモリカード毎、被写体毎に画像データを自動分類して保存し、カードＩＤ番号や被写体のＩＤ情報に基づいて画像データを検索・抽出して利用するようにした画像データの分類保存方法が知られている（特許文献２参照）。
また、複数の撮影画像の中から所望する画像を選択して出力するものとしては、写真画像データと写真画像を分類化する個人データとを蓄積し、これらのデータを関連付けて検索・抽出するようにした個人画像情報の登録活用システムが知られている（特許文献３参照）。
【０００３】
【特許文献１】
特開２００２−１６９８０９号公報
【特許文献２】
特開２００３−０６９９３５号公報
【特許文献３】
特開２００１−２３６３８２号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、上述した特許文献１の画像管理装置においては、写真画像データを被写体毎に分類する為には、予め参照画像を入力設定しておく必要がある為、分類数が多くなればなる程、その設定数が多くなり、時間と労力を必要とする。また、上述した特許文献２の画像データ分類保存方法においても、画像データを被写体毎に自動分類するには、画像データに被写体ＩＤを書き込んでおく必要がある為、上述の場合と同様の問題が生じる。
また、上述した特許文献２の画像データ分類保存方法においては、分類保管されている画像データを検索する際に、指定されたカードＩＤや被写体ＩＤに基づいて該当する画像データを検索・抽出し、また、上述した特許文献３の個人画像情報の登録活用システムにおいては、写真画像データと個人データとを関連付けて検索・抽出するようにしている為、画像検索用として特別なデータが入力設定しておく必要があった。
【０００５】
第１の発明の課題は、撮影画像を被写体別に分類する為に用いられる特別な情報を予め入力設定しておかなくても、撮影画像を解析するだけで複数の撮影画像を被写体別に分類できるようにすることである。
第２の発明の課題は、撮影画像を検索・抽出する為に用いられる特別な情報を予め入力設定しておかなくても、撮影画像を解析するだけで複数の撮影画像の中から特定の画像だけを抽出して出力できるようにすることである。
【０００６】
【課題を解決するための手段】
請求項１記載の発明（第１の発明）は、複数の撮影画像を解析して各撮影画像の中から被写体部分の画像を抽出すると共に、この被写体画像を含む撮影画像を被写体別に分類する撮影画像処理装置であって、前記撮影画像の中から抽出された被写体画像が既に分類されている何れかの被写体であるか否かを判別する判別手段と、この判別手段によって分類済みの被写体であることが判別された場合には、この撮影画像を当該既存分類の被写体に対応する画像として分類し、分類済みの被写体でないことが判別された場合には、前記抽出された被写体画像を新規分類の被写体として特定し、この撮影画像を当該新規分類の被写体に対応する画像として分類する分類手段ととを具備するものである。
更に、コンピュータに対して、上述した請求項１記載の発明に示した主要機能を実現させるためのプログラムを提供する（請求項１３記載の発明）。
【０００７】
したがって、請求項１、１３記載の発明は、撮影画像の中から抽出された被写体画像が既に分類されている何れかの被写体であれば、この撮影画像を当該既存分類の被写体に対応する画像として分類し、分類済みの被写体でなければ、抽出された被写体画像を新規分類の被写体として特定し、この撮影画像を当該新規分類の被写体に対応する画像として分類するようにしたから、撮影画像を被写体別に分類する為に用いられる特別な情報を予め入力設定しておかなくても、撮影画像を解析するだけで無秩序な撮影画像を被写体別に分類することができ、人為的な介入を不要とした自動分類の実現が可能となる。
【０００８】
なお、請求項１記載の発明は次のようなものであってもよい。
前記撮影画像の中から抽出された被写体画像を新規分類の被写体として特定した際に、この被写体画像を分類用のキー画像として登録する登録手段を設け、前記分類手段は、前記分類情報として登録された被写体画像が撮影画像内に含まれている場合に、この撮影画像を当該分類の被写体に対応する画像として分類するようにすれば（請求項２記載の発明）、撮影画像の中から抽出された被写体画像をそのまま分類情報とすることができる。
この場合、分類情報として登録された被写体画像（登録画像）を固定化せず、例えば、撮影日毎、旅行毎に、その撮影画像の中から被写体画像を抽出して新規登録するようにすれば、最新の画像とすることができ、撮影画像内に登録されている被写体画像が含まれているか否かを認識する際に、その認識率を大幅に向上させることが可能となる。
【０００９】
前記分類手段によって被写体別に分類された各撮影画像を分類毎に出力するようにすれば（請求項３記載の発明）、被写体別に撮影画像を表示／印刷／送信することができ、撮影画像の仕分け作業が不要となる。
その際、任意の被写体が出力対象として指定された場合には、この指定被写体に対応して分類されている各撮影画像を読み出して出力するようにすれば（請求項４記載の発明）、所望する撮影画像のみを入手することが可能となる。
【００１０】
請求項５記載の発明（第２の発明）は、複数の撮影画像の中から特定の撮影画像を抽出して出力する撮影画像処理装置であって、複数の撮影画像の中から特定の撮影画像を抽出する処理を実行する前に、所定の撮影画像内に含まれている被写体部分の画像を抽出用のキー画像として事前取得する取得手段と、複数の撮影画像を解析しながら前記取得の被写体画像が撮影画像内に含まれているか否かを認識し、当該被写体画像が含まれている場合には、複数の撮影画像の中から当該撮影画像を抽出する抽出手段と、この抽出手段によって抽出された撮影画像を出力する出力手段とを具備するものである。
更に、コンピュータに対して、上述した請求項５記載の発明に示した主要機能を実現させるためのプログラムを提供する（請求項１４記載の発明）。
【００１１】
したがって、請求項５、１４記載の発明は、複数の撮影画像の中から特定の撮影画像を抽出する処理を実行する前に、所定の撮影画像内に含まれている被写体部分の画像を抽出用のキー画像として事前取得した後に、複数の撮影画像を解析しながら抽出キーの被写体画像が撮影画像内に含まれているか否かを認識し、当該被写体画像が含まれている場合には、複数の撮影画像の中から当該撮影画像を抽出して出力するようにしたから、撮影画像を検索・抽出する為に用いられる特別な情報を予め入力設定しておかなくても、撮影画像を解析するだけで複数の撮影画像の中から特定の画像だけを抽出して出力することができ、複雑な画像管理を必要とせず、無秩序な状態でも特定の撮影画像だけを確実に抽出することが可能となる他、撮影画像から取得した被写体部分の画像を抽出用のキー画像としたから、画像認識時の認識率を大幅に向上させることが可能となる。
【００１２】
なお、請求項５記載の発明は次のようなものであってもよい。
撮影画像内に含まれている被写体部分が任意に指定された際に、指定された被写体画像をキー画像として取得するようにすれば（請求項６記載の発明）、例えば、撮影画像内に多数の被写体が写っている場合でも、その中から所望する被写体のみを取得することができる。この場合、複数の被写体が指定された場合には、指定数分の被写体画像を取得することもできる。
【００１３】
また、所望する被写体が写っている撮影画像が任意に選択された際に、この撮影画像を解析することによってその中から被写体部分の画像をキー画像として取得するようにすれば（請求項７記載の発明）、被写体を直接指定しなくても、撮影画像のみを指定するだけで、所望する被写体を取得することができる。
更に、所望する被写体が写っている撮影画像が任意に選択された際に、この撮影画像内に含まれている全ての被写体部分の画像をキー画像として取得するようにすれば（請求項８記載の発明）、複数の被写体を個別に直接指定しなくても、撮影画像のみを指定するだけで、所望する複数の被写体を一括して取得することができる。
【００１４】
前記取得手段によって単一の被写体画像が取得された場合に、前記抽出手段は、撮影画像内の被写体の数が１つであり、かつ、この被写体画像が前記取得の被写体画像と一致することを条件として当該撮影画像を抽出するようにすれば（請求項９記載の発明）、所望する被写体が単独で写っている撮影画像のみを抽出することができる。
また、前記取得手段によって単一の被写体画像が取得された場合に、前記抽出手段は、この被写体画像を含む撮影画像を抽出するようにすれば（請求項１０記載の発明）、所望する被写体が単独で写っている撮影画像の抽出の他に、所望する被写体が他の被写体と共に写っている場合でも、この撮影画像も合わせて抽出することができる。
【００１５】
前記取得手段によって複数の被写体画像が一括取得された場合に、前記抽出手段は、撮影画像内の被写体の数が前記一括取得された被写体の数と同一であり、かつ、これらの被写体画像が前記一括取得の被写体画像と一致することを条件として当該撮影画像を抽出するようにすれば（請求項１１記載の発明）、所望する複数の被写体だけを集合撮影した撮影画像のみを抽出することができる。
また、前記取得手段によって複数の被写体画像が一括取得された場合に、前記抽出手段は、前記一括取得の各被写体画像を含む撮影画像を抽出するようにすれば（請求項１２記載の発明）、所望する複数の被写体だけを集合撮影した撮影画像を抽出する他に、他の被写体が写っている場合でも、この撮影画像も合わせて抽出することができる。
【００１６】
【発明の実施の形態】
（第１実施形態）
以下、図１〜図５を参照してこの発明の第１実施形態を説明する。
図１は、この実施形態における撮影画像処理装置の基本的構成要素を示したブロック図である。
撮影画像処理装置は、デスクトップ型／ノート型のパーソナルコンピュータ（ＰＣ）等であり、デジタルスチルカメラ（図示せず）によって撮影された撮影画像（静止画）を可搬型記録媒体あるいはケーブル接続を介して取り込んだり、通信ネットワークを介して取り込んで記録保存すると共に、保存されている複数の撮影画像を被写体別に分類管理したり、この各撮影画像の中から特定の撮影画像だけを抽出して出力するようにしたものである。この場合、撮影画像を解析するだけで複数の撮影画像を被写体別に自動分類し、また、撮影画像を解析するだけで複数の撮影画像の中から特定の画像だけを自動抽出するようにしている。
なお、この実施形態の特徴部分を詳述する前に、この実施形態のハードウェア上の構成について以下、説明しておく。
【００１７】
ＣＰＵ１は、記憶装置２内のオペレーティングシステムや各種アプリケーションソフトにしたがってこの撮影画像処理装置の全体動作を制御する中央演算処理装置である。記憶装置２は、プログラム記憶領域とデータ記憶領域とを有し、磁気的、光学的、半導体メモリ等やその駆動系によって構成されている。この記録装置２はハードディスク等の固定的なメモリの他、ＣＤ−ＲＯＭ、ＤＶＤ等の着脱自在な記憶媒体を装着可能な構成であってもよい。この記憶装置２内のプログラムやデータは、必要に応じてＲＡＭ（例えば、スタティックＲＡＭ）３にロードされたり、ＲＡＭ３内のデータが記憶装置２にセーブされる。なお、ＲＡＭ３は、プログラム実行領域と作業領域とを有している。
【００１８】
一方、ＣＰＵ１にはその入出力周辺デバイスである通信装置４、入力装置５、表示装置６、印字装置７、画像取込部８がバスラインを介して接続されており、入出力プログラムにしたがってＣＰＵ１はそれらの動作を制御する。
入力装置５はキーボードやタッチパネルあるいはマウスやタッチ入力ペン等のポインティングデバイスを構成する操作部であり、文字列データや各種コマンドを入力する。表示装置６は、フルカラー表示を行う液晶表示装置やＣＲＴ表示送信あるいはプラズマ表示装置などであり、印字装置７は熱転写やインクジェットなどのノンインパクトプリンタあるいはドットインパクトプリンタである。画像取込部８は、カメラ装置にて撮影された撮影画像を記録媒体やケーブル接続を介して取り込むものである。
【００１９】
図２（Ａ）は、記憶装置２内に格納されている登録情報管理データベースを構成する登録レコード１１の内容を示し、（Ｂ）は、分類画像管理データベースを構成する被写体別分類レコード１２の内容を示した図である。
登録レコード１１は、複数の撮影画像を被写体別に分類する為の分類情報（分類キー）を記憶管理するもので、被写体（人物、ペット、物品等）毎に、その「被写体ＩＤ」および「登録画像」を記憶する構成となっている。「被写体ＩＤ」は、登録レコード１１が生成される毎に自動発行された被写体固有の識別情報（レコード識別情報）である。
「登録画像」は、被写体部分の画像であり、被写体が人物であれば、顔を中心とした顔画像、ペットや物品等であれば、その全体画像である。この被写体画像は、それが写っている撮影画像の中から抽出取得されたもので、複数の撮影画像を被写体別に分類する為のキー画像として登録される。
【００２０】
ここで、ＣＰＵ１は、撮影画像を解析することによってその中にキー画像（登録画像）が含まれているか否かを認識し、登録画像が含まれている撮影画像を当該分類の被写体に対応する画像として分類管理するようにしている。その際、撮影画像内の被写体画像が既に分類されている何れかの被写体であれば、つまり、該当する被写体の登録画像が有れば、この撮影画像を対応する被写体の画像として分類するが、分類済みの被写体でなければ、つまり、該当する登録画像が無ければ、撮影画像から抽出した被写体画像を新規分類の被写体として特定し、この被写体画像を新規な分類情報として登録レコード１１内に登録した後、この撮影画像を当該新規分類の被写体の画像として分類するようにしている。
言換えれば、分類処理を実行する前の最初の時点では、全てのキー画像が未登録の為、撮影画像から被写体画像を抽出する毎に、この被写体に対応する分類の登録レコード１１を新規生成すると共に、この撮影画像を当該新規分類の画像として分類し、それ以降は、当該被写体に対応する分類が存在する為に、この既存の登録レコード１１を参照して撮影画像の分類を行うようにしている。
【００２１】
被写体別分類レコード１２は、被写体別に分類された撮影画像を管理するもので、被写体別に「被写体ＩＤ」に対応して複数の「画像Ｎｏ」を記憶可能な構成となっている。なお、「画像Ｎｏ」は、撮影毎に更新される一連Ｎｏである。
図３は、撮影画像を保存する撮影画像フォルダ１３を説明する為の図である。
この撮影画像フォルダ１３は、例えば、撮影日別、旅行別等に対応して複数設けられており、各撮影画像フォルダ１３には、１画像１ファイル形式で多数枚の画像ファイルが保存されている。なお、各画像ファイルには、その撮影順にしたがって生成された「画像Ｎｏ」が自動付加されている。
【００２２】
次に、この第１実施形態における撮影画像処理装置の動作概念を図４および図５に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作を逐次実行する。また、伝送媒体を介して伝送されてきた上述のプログラムコードにしたがった動作を逐次実行することもできる。このことは後述する他の実施形態においても同様であり、記録媒体の他、伝送媒体を介して外部供給されたプログラム／データを利用してこの実施形態特有の動作を実行することもできる。
【００２３】
図４および図５は、画像自動分類処理を示したフローチャートである。
先ず、ＣＰＵ１は、複数の撮影画像フォルダ１３の中から任意の撮影画像フォルダ１３が分類対象として選択指定されると（ステップＡ１）、分類限定メニューを表示出力させる（ステップＡ２）。この分類限定メニュー画面は、「１：人物限定」、「２：限定なし」の各メニュー項目を表示するもので、「１：人物限定」は、人物別に撮影画像を分類すべきことを指示する処理メニューであり、「２：限定なし」は、人物に限らず、ペット、物品等、全ての被写体を対象として撮影画像を被写体別に分類すべきことを指示する処理メニューである。この限定メニュー画面の中から任意の項目が選択指定されると、ＣＰＵ１は、選択されたメニュー項目を一時記憶保持しておく（ステップＡ３）。
【００２４】
そして、ＣＰＵ１は、分類対象として選択指定されている撮影画像フォルダ１３をアクセスし、その中から１画像分の画像ファイルを読み出し（ステップＡ４）、この撮影画像の解析を行い（ステップＡ５）、その中に写っている被写体部分の画像を抽出する（ステップＡ６）。この場合、被写体が人物であれば、顔を中心とした部分画像を抽出し、ペットや物品等であれば、その全体画像を抽出する。ここで、選択メニュー項目として「人物限定」が指定されているかをチェックし（ステップＡ７）、「人物限定」が指定されていれば、この抽出画像（被写体画像）を解析し、人物の固有の特徴を有しているか、つまり、被写体は人物であるかを調べ（ステップＡ８）、ペットや物品等であれば、当該被写体画像をキャンセルする為に、ステップＡ１２に移って再度、撮影画像を解析し、他の被写体部分が含まれているかをチェックする。ここで、他の被写体部分が有れば、ステップＡ６に戻って当該被写体画像を抽出し、被写体は人物であるかを調べる（ステップＡ８）。
【００２５】
これによって人物画像が抽出された場合には（ステップＡ８でＹＥＳ）、各登録レコード１１をアクセスして登録画像（キー画像）を順次読み出し、この被写体画像と登録画像との特徴比較を行う（ステップＡ９）。その際、画像の顔の向き、大きさにを補正した後、顔の輪郭、目、口、鼻、額等の形、位置、大きさ、髪型、メガネの有無と種類等を個別に比較する他、それらを総合比較することによって画像比較を行う（以下、同様）。この結果、両画像が特徴的に一致するか否かを調べるが（ステップＡ１０）、最初は、全てのキー画像は未登録の為、ステップＡ１０で不一致が検出されてステップ１４Ａ以降の処理に移る。すなわち、登録レコード１１を新規に作成する為に、被写体ＩＤを生成発行した後に（ステップＡ１４）、この被写体ＩＤを含む登録レコード１１および被写体別分類レコード１２を新規作成する（ステップＡ１５）。そして、撮影画像から抽出した被写体画像を新規作成の登録レコード１１内にキー画像として登録した後（ステップＡ１６）、新規作成の被写体別分類レコード１２内に当該「画像Ｎｏ」をセットすることにより、この撮影画像を当該被写体に対応する分類の画像として分類管理する（ステップＡ１１）。
【００２６】
その後、再度、撮影画像を解析し、他の被写体部分が含まれているかをチェックし（ステップ１２）、他の被写体部分が有れば、ステップＡ６に戻って当該被写体画像を抽出した後、以下、上述の動作を繰り返す。したがって、１枚分の撮影画像内に複数の被写体が写っている場合には、被写体数に対応した数（人数分）の登録レコード１１および被写体別分類レコード１２が新規作成される。
なお、選択メニュー項目の「限定なし」が指定されている場合には、上述のステップＡ８がキャンセルされてステップＡ９に移り、以下、上述の動作が繰り返される。
【００２７】
このようにして撮影画像１枚分の分類処理が終了すると（ステップＡ１２でＮＯ）、分類対象の撮影画像フォルダ１３から全ての画像ファイルを読み出したかを調べるが（ステップＡ１３）、最初は、１枚目の画像ファイルを読み出した場合であるからステップＡ４に戻り、次の２枚目の画像ファイルを読み出して画像解析を行い（ステップＡ５）、その中に写っている被写体部分の画像を抽出した後（ステップＡ６）、キー画像（登録画像）との比較を行う（ステップＡ９）。
いま、１枚目に写っていた被写体が２枚目にも写っている場合には、当該被写体に対応する登録レコード１１は、既に存在している為、ステップＡ１０での画像比較の結果、特徴一致する登録画像の有りが検出される。この場合、ステップＡ１１に移り、２枚目の画像Ｎｏが当該被写体別分類レコード１２内にセットされて分類管理される。
【００２８】
以下、全ての画像ファイルを分類対象の撮影画像フォルダ１３から読み出して分類し終わるまで上述の動作が繰り返される。ここで、全ての画像分類が終わった場合には（ステップＡ１３でＹＥＳ）、各撮影画像を被写体別に出力する処理に移る。先ず、分類終了のメッセージを表示させた後（図５のステップＡ１７）、画像表示がユーザ指示されたかをチェックし（ステップＡ１８）、画像表示が指示されなければ、画像出力を行わずに、このフローの終了となるが、画像表示が指示された場合には、各登録レコード１１から登録画像を読み出して一覧表示させた後（ステップＡ１９）、この一覧表示の中から所望する登録画像（被写体）がユーザ指定されたかをチェックする（ステップＡ２０）。
【００２９】
いま、被写体が指定されると、指定された被写体対応の登録レコード１１をアクセスし、この「被写体ＩＤ」をキーとして対応する被写体別分類レコード１２を出力対象としてアクセスした後に、この被写体別分類レコード１２内から読み出した各「画像Ｎｏ」に基づいて撮影画像フォルダ１３から該当する画像ファイルを取得し、指定被写体対応の分類別画像を一覧表示させる（ステップＡ２１）。
一方、被写体指定が無ければ、全ての被写体別分類レコード１２を出力対象としてアクセスし、分類対象の撮影画像フォルダ１３から全画像ファイルを取得し、被写体別に一覧表示させる（ステップＡ２２）。そして、印刷指示／送信指示の有無をチェックし（ステップＡ２３）、印刷指示／送信指示が有れば、画像一覧の中から任意の画像が印刷／送信対象として選択されたかを調べ（ステップＡ２４）、画像指定が有れば、指定画像のみを印刷／送信させ（ステップＡ２５）、画像指定が無ければ、一覧表示の各画像を印刷／送信させる（ステップＡ２６）。
【００３０】
以上のように、この第１実施形態においてＣＰＵ１は、撮影画像フォルダ１３内から撮影画像を読み出し、この撮影画像の中から抽出された被写体画像が既に分類されている何れかの被写体であれば、この撮影画像を当該既存分類の被写体に対応する画像として分類管理し、分類済みの被写体でなければ、抽出された被写体画像を新規分類の被写体として特定し、この撮影画像を当該新規分類の被写体に対応する画像として分類管理するようにしたから、撮影画像を被写体別に分類する為に用いられる特別な情報を予め入力設定しておかなくても、撮影画像を解析するだけで無秩序な撮影画像を被写体別に分類することができ、人為的な介入を不要とした自動分類の実現が可能となる。
【００３１】
この場合、撮影画像の中から抽出された被写体画像を新規分類の被写体として特定した際に、この被写体画像を分類用のキー画像として登録レコード１１内に登録しておき、この登録画像が撮影画像内に含まれている場合に、この撮影画像を当該分類の被写体に対応する画像として被写体別分類レコード１２内に分類するようにしたから、撮影画像の中から抽出された被写体画像をそのまま分類情報とすることができる。
【００３２】
また、被写体別に分類された各撮影画像を分類毎に出力するようにしたから、被写体別に撮影画像を表示／印刷／送信することができ、撮影画像の仕分け作業が不要となる。その際、任意の被写体が出力対象として指定された場合には、この指定被写体に対応して分類されている各撮影画像を読み出して出力するようにしたから、所望する撮影画像のみを入手することが可能となる。
【００３３】
なお、上述した第１実施形態においては、被写体別に分類管理されている撮影画像を出力した後においても、登録レコード１１および被写体別分類レコード１２を保存するようにしたが、画像出力後においては、不要となった登録レコード１１、被写体別分類レコード１２を全て消去したり、不要となった登録レコード１１、被写体別分類レコード１２を選択的に指定して消去するようにしてもよい。すなわち、登録レコード１１内に分類情報として登録された画像を固定化せず、例えば、撮影日毎、旅行毎に、その撮影画像の中から被写体画像を抽出して新規登録するようにすれば、最新の画像とすることができ、撮影画像内に登録されている被写体画像が含まれているか否かを認識する際に、その認識率を大幅に向上させることが可能となる。
【００３４】
一方、コンピュータに対して、上述した各手段を実行させるためのプログラムコードをそれぞれ記録した記録媒体（例えば、ＣＤ−ＲＯＭ、フロッピィデスク、ＲＡＭカード等）を提供するようにしてもよい。
すなわち、コンピュータが読み取り可能なプログラムコードを有する記録媒体であって、複数の撮影画像を解析して各撮影画像の中から被写体部分の画像を抽出すると共に、この被写体画像を含む撮影画像を被写体別に分類する機能と、前記撮影画像の中から抽出された被写体画像が既に分類されている何れかの被写体であるか否かを判別する機能と、分類済みの被写体であることが判別された場合には、この撮影画像を当該既存分類の被写体に対応する画像として分類し、分類済みの被写体でないことが判別された場合には、前記抽出された被写体画像を新規分類の被写体として特定し、この撮影画像を当該新規分類の被写体に対応する画像として分類する機能とを実現させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体を提供するようにしてもよい。
【００３５】
（第２実施形態）
以下、この発明の第２実施形態について図６〜図１１を参照して説明する。なお、上述した第１実施形態においては、複数の撮影画像を解析して各撮影画像の中から被写体部分の画像を抽出すると共に、この被写体画像を含む撮影画像を被写体別に分類管理するようにしたが、この第２実施形態においては、複数の撮影画像の中から特定の撮影画像を抽出する処理を実行する前に、所定の撮影画像内に含まれている被写体部分の画像を抽出キーとして事前取得した後において、複数の撮影画像を解析しながら抽出キーの被写体画像が撮影画像内に含まれているか否かを認識し、当該被写体画像が含まれている場合には、複数の撮影画像の中から当該撮影画像を抽出して出力するようにしたものである。なお、第２実施形態は、被写体を人物に特定した場合を例示している。ここで、両実施形態において基本的に同一のものは、同一符号を付して示し、その説明を省略する他、以下、第２実施形態の特徴部分を中心に説明するものとする。
【００３６】
この第２実施形態においても、上述した登録レコード１１、被写体別分類レコード１２、撮影画像フォルダ１３を有する他、図６に示すグループ別分類レコード１４を有している。なお、登録レコード１１、被写体別分類レコード１２の使い方は、上述した第１実施形態と異なる。
すなわち、登録レコード１１は、被写体に対応してその「被写体ＩＤ」および「登録画像」を記憶する点は、上述した第１実施形態と同様であるが、上述した第１実施形態では、複数の撮影画像を被写体別に分類する為の分類情報（キー情報）を記憶管理するのに対し、この第２実施形態の登録レコード１１は、複数の撮影画像の中から特定の撮影画像を検索・抽出する為に用いられるキー情報を一時的に記憶するものである。すなわち、この第２実施形態においては、複数の撮影画像の中から特定の撮影画像を抽出する処理を実行する前に、所定の撮影画像内に含まれている被写体部分の画像を抽出キーとして事前取得し、この被写体画像と「被写体ＩＤ」とを対応付けて登録レコード１１内にセットするようにしている。
【００３７】
被写体別分類レコード１２は、被写体に対応してその「被写体ＩＤ」および「画像Ｎｏ」を記憶する点は、上述した第１実施形態と同様であるが、この第２実施形態においては、被写体別に分類抽出された撮影画像の「画像Ｎｏ」を「被写体ＩＤ」に対応付けて一時記憶するものである。
グループ別分類レコード１４は、この第２実施形態固有のもので、上述の被写体別分類レコード１２は、被写体別に分類抽出された撮影画像の「画像Ｎｏ」を「被写体ＩＤ」に対応付けて記憶するのに対し、このグループ別分類レコード１４は、複数の被写体がグループとして指定されている場合に、この複数の被写体が全て写っている撮影画像がグループ別に分類抽出された撮影画像の「画像Ｎｏ」を「グループＩＤ」に対応付けて記憶するものである。
【００３８】
図７〜図１１は、画像自動抽出処理を示したフローチャートである。
先ず、ＣＰＵ１は、抽出対象として予め任意に指定された撮影画像フォルダ１３内から各画像ファイルを読み出して画像一覧を表示させる（ステップＢ１）。この状態において、所望する被写体が写っている１枚の撮影画像が選択指定されると（ステップＢ２）、撮影画像フォルダ１３からそれを読み出して（ステップＢ３）、画像全体を解析し（ステップＢ４）、その中から人物の顔を中心とした人物部分を抽出取得する（ステップＢ５）。そして、複数の人物画像を抽出したかを調べ（ステップＢ６）、その取得数が１人であれば、被写体ＩＤを生成発行した後に（ステップＢ７）、この被写体ＩＤを含む登録レコード１１を作成し（ステップＢ８）、この登録レコード１１内に抽出画像（人物画像）をキー画像として登録しておく（ステップＢ８）。
【００３９】
また、１枚の撮影画像から複数の人物画像を抽出取得した場合には（ステップＢ６でＹＥＳ）、この撮影画像（選択画像）を表示出力させると共に、全ての人物を選択するか否かを問うメッセージを表示出力させる（ステップＢ１０）。ここで、全選択がユーザ指示されない場合には（ステップＢ１１でＮＯ）、つまり、撮影画像内に写っている複数の人物の中から任意の人物をユーザ指定する場合には、ユーザ指定された人物部分の画像のみを選択する（ステップＢ１２）。この場合、複数の人物が選択指定された場合には、指定人数分の人物画像を選択する。ここで、選択人物数が複数であるか否かを調べ（ステップＢ１４）、１人であれば、上述と同様、１人分の登録レコード１１を作成して人物画像をキー画像として登録する（ステップＢ７〜Ｂ９）。
【００４０】
また、選択人物数が複数であれば、その人数分の登録レコード１１を個々に作成して人物画像を登録する処理に移る（ステップＢ１５〜Ｂ１７）。すなわち、人数分の被写体ＩＤをそれぞれ生成発行した後に（ステップＢ１５）、被写体毎に、その被写体ＩＤを含む登録レコード１１を個々作成し（ステップＢ１６）、対応する抽出画像（被写体画像）を該当する登録レコード１１内にキー画像として登録する（ステップＢ１７）。
一方、全選択がユーザ指示された場合には（ステップＢ１１でＹＥＳ）、この撮影画像（選択画像）から抽出された全ての人物画像を選択し（ステップＢ１３）、その人数分の登録レコード１１を個々に作成して人物画像をキー画像として登録する（ステップＢ１５〜Ｂ１７）。
【００４１】
次に、図８のステップＢ１８に移り、登録レコード１１の数を計数し、それが１つかを調べ、１つであれば、単一の抽出方法メニュー画面を表示出力させる（ステップＢ１９）。このメニュー画面は、「１：単独抽出」、「２：１人部分抽出」のメニュー項目を有し、「単独抽出」は、登録レコード１１内に登録されている登録人物のみが写っている撮影画像を抽出する為の処理メニューであり、「１人部分抽出」は、登録人物を含む撮影画像をを抽出する為の処理メニューである。
また、複数の登録レコード１１があれば（ステップＢ１８でＮＯ）、グループの抽出方法メニュー画面を表示出力させる（ステップＢ２０）。このメニュー画面は、「１：グループ一致抽出」、「２：グループ部分抽出」のメニュー項目を有し、「グループ一致抽出」は、複数の登録人物のみが写っている撮影画像を抽出する為の処理メニューであり、「グループ部分抽出」は、複数の登録人物を含む撮影画像をを抽出する為の処理メニューである。ここで、任意のメニュー項目が選択指定されると、この選択メニュー項目を一時記憶しておく（ステップＢ２１）。
【００４２】
いま、「単独抽出」が選択されている場合には（ステップＢ２２）、撮影画像フォルダ１３をアクセスしてその中から１画像分の画像ファイルを読み出し（ステップＢ２３）、この撮影画像の全体を解析し（ステップＢ２４）、その中に写っている人物部分（人物の顔を中心とした部分）の画像を全て抽出する（ステップＢ２５）。ここで、撮影画像から抽出した人物は、１人か否かを調べ（ステップＢ２６）、複数人であれば、この撮影画像を抽出対象外とする為にステップＢ２７に移るが、１人であれば、登録レコード１１から登録画像（抽出キー）を読み出し、このキー画像と抽出画像（被写体画像）との特徴比較を行い（ステップＢ２８）、両画像は特徴的に一致するか否かを調べる（ステップＢ２９）。この結果、不一致であれば、この撮影画像を抽出対象外とする為にステップＢ２７に移るが、一致する場合には、この被写体ＩＤに対応付けてその撮影画像の「画像Ｎｏ」を被写体別分類レコード１２内にセットする（ステップＢ３０）。
【００４３】
そして、ステップＢ２７に移り、撮影画像フォルダ１３から全ての画像ファイルを読み出したかを調べるが、最初は、１枚目の画像ファイルを読み出した場合であるからステップＢ２３に戻り、次の２枚目の画像ファイルを読み出して画像解析を行い（ステップＢ２４）、その中に写っている人物部分の画像を抽出する（ステップＢ２５）。以下、撮影画像フォルダ１３から全ての画像ファイルを読み出すまで上述の動作を繰り返す（ステップＢ２３〜Ｂ３０）。このように単独抽出によって登録人物のみが写っている撮影画像が抽出され、その「画像Ｎｏ」が対応する被写体別分類レコード１２内にセットされる。そして、ステップＢ３１に移り、この被写体別分類レコード１２から各「画像Ｎｏ」を読み出すと共に、この「画像Ｎｏ」対応の画像ファイルを撮影画像フォルダ１３から読み出して印刷出力させる（ステップＢ３２）。その後、登録レコード１１および被写体別分類レコード１２を削除する（ステップＢ３３）。
【００４４】
また、「１人部分抽出」が選択されている場合には（図９のステップＢ３４）、撮影画像フォルダ１３をアクセスしてその中から１画像分の画像ファイルを読み出し（ステップＢ３５）、この撮影画像を解析し（ステップＢ３６）、その中に写っている人物部分の画像を抽出する（ステップＢ３７）。そして、登録レコード１１からキー画像を読み出し、このキー画像と抽出画像（被写体画像）とを比較し（ステップＢ３８）、両画像は特徴的に一致するか否かを調べる（ステップＢ３９）。この結果、不一致であれば、撮影画像を解析して他の人物部分が含まれているかを調べ（ステップＢ４０）、他の人物含まれている場合には、ステップＢ３７に戻り、その人物画像とキー画像との比較を行う。
【００４５】
ここで、両画像が特徴的に一致する場合には、この被写体ＩＤに対応付けてその撮影画像の「画像Ｎｏ」を被写体別分類レコード１２内にセットする（ステップＢ４１）。このように１人部分抽出によって登録人物を含む撮影画像が抽出され、その「画像Ｎｏ」が対応する被写体別分類レコード１２内にセットされる。そして、図８のステップＢ３１以降に移り、この被写体別分類レコード１２を参照することによって読み出された各撮影画像を印刷出力させた後（ステップＢ３１、Ｂ３２）、登録レコード１１および被写体別分類レコード１２を削除する（ステップＢ３３）。
【００４６】
また、「グループ一致抽出」が選択されている場合には（図１０のステップＢ４３）、撮影画像フォルダ１３をアクセスしてその中から１画像分の画像ファイルを読み出し（ステップＢ４４）、この撮影画像の全体を解析し（ステップＢ４５）、その中に写っている人物部分の画像を全て抽出する（ステップＢ４６）。ここで、撮影画像から抽出した人物数を計数すると共に、登録レコード１１の数を計数して、それらを比較し（ステップＢ４７）、それらが一致するか否かを調べる（ステップＢ４８）。人数不一致が検出された場合には、この撮影画像を抽出対象外とする為にステップＢ５５に移るが、人数一致が検出された場合には、何れかの登録レコード１１を指定した後（ステップＢ４９）、その中からキー画像を読み出し、このキー画像と各抽出画像（抽出した全ての人物画像）との特徴比較を行い（ステップＢ５０）、このキー画像が何れかの抽出画像と一致するかを調べる（ステップＢ５１）。
【００４７】
ここで、何れの抽出画像にも不一致であれば、この撮影画像を抽出対象外とする為にステップＢ５５に移るが、何れの抽出画像に一致していれば、次のステップＢ５２に移り、複数の登録レコード１１を全て指定し終わったかを調べ、その全てを指定し終わるまでステップＢ４９に戻り、登録レコード１１を順次指定しながら画像比較を繰り返す（ステップＢ４９〜Ｂ５２）。このようにして複数のレコード分の画像比較を行う毎に一致し続けた場合には、グループＩＤを生成発行して（ステップＢ５３）、このグループＩＤに対応付けてその「画像Ｎｏ」をグループ別分類レコード１４内にセットする（ステップＢ５４）。そして、撮影画像フォルダ１３から全ての画像ファイルを読み出したかを調べ（ステップＢ５５）、全読み出が終了していなければ、ステップＢ４４に戻り、以下、上述の動作を繰り返す。
【００４８】
このようにグループ一致抽出によって複数の登録人物のみが写っている撮影画像が抽出され、その「画像Ｎｏ」が対応するグループ別分類レコード１４内にセットされる。その後、図８のステップＢ３１以降に移り、このグループ別分類レコード１４から各「画像Ｎｏ」を読み出すと共に（ステップＢ３１）、この「画像Ｎｏ」に対応する画像ファイルを撮影画像フォルダ１３から読み出して印刷出力させた後（ステップＢ３２）、各登録レコード１１およびグループ別分類レコード１４を削除する（ステップＢ３３）。
【００４９】
また、「グループ部分抽出」が選択されている場合には（図１１のステップＢ５６）、撮影画像フォルダ１３をアクセスしてその中から１画像分の画像ファイルを読み出し（ステップＢ５７）、この撮影画像の全体を解析し（ステップＢ５８）、その中に写っている人物部分の画像を全て抽出する（ステップＢ５９）。そして、何れかの登録レコードを指定した後（ステップＢ６０）、その中からキー画像を読み出し、このキー画像と各抽出画像（抽出した全ての人物画像）との特徴比較を行い（ステップＢ６１）、このキー画像が何れかの抽出画像と一致するかを調べる（ステップＢ６２）。ここで、何れの抽出画像にも不一致であれば、この撮影画像を抽出対象外とする為にステップＢ６６に移るが、何れの抽出画像に一致していれば、複数の登録レコード１１を全て指定し終わったかを調べ（ステップＢ６３）、その全てを指定し終わるまでステップＢ６０に戻り、画像比較を繰り返す。
【００５０】
このようにして複数のレコード分の画像比較を行う毎に一致し続けた場合には、グループＩＤを生成発行して（ステップＢ６４）、このグループＩＤに対応付けてその「画像Ｎｏ」をグループ別分類レコード１４内にセットする（ステップＢ６５）。そして、撮影画像フォルダ１３から全ての画像ファイルを読み出したかを調べ（ステップＢ６６）、全読み出が終了していなければ、ステップＢ５７に戻り、以下、上述の動作を繰り返す。このようにグループ部分抽出によって複数の登録人物を含む撮影画像が抽出され、その「画像Ｎｏ」が対応するグループ別分類レコード１４内にセットされる。その後、図８のステップＢ３１以降に移り、このグループ別分類レコード１４を参照することによって読み出された各撮影画像を印刷出力させた後（ステップＢ３１、Ｂ３２）、各登録レコード１１およびグループ別分類レコード１４を削除する（ステップＢ３３）。
【００５１】
以上のように、この第２実施形態においてＣＰＵ１は、複数の撮影画像の中から特定の撮影画像を抽出する処理を実行する前に、所定の撮影画像内に含まれている人物部分の画像を抽出用のキー画像として事前取得して登録レコード１１内に登録した後において、撮影画像フォルダ１３内の複数の撮影画像を順次解析しながらキー画像が撮影画像内に含まれているか否かを認識し、当該キー画像が含まれている場合には、複数の撮影画像の中から当該撮影画像を抽出して印刷出力するようにしたから、撮影画像を検索・抽出する為に用いられる特別な情報を予め入力設定しておかなくても、撮影画像を解析するだけで複数の撮影画像の中から特定の画像だけを抽出して出力することができ、複雑な画像管理を必要とせず、無秩序な状態でも特定の撮影画像だけを確実に抽出することが可能となる他、撮影画像から取得した被写体部分の画像を抽出用のキー画像としたから、画像認識時の認識率を大幅に向上させることが可能となる。
【００５２】
この場合、撮影画像内に含まれている人物部分が任意に指定された際に、指定された人物画像をキー画像として取得するようにしたから、撮影画像内に多数の人物が写っている場合でも、その中から所望する人物のみをキー画像として取得することができる。この場合、複数の人物が指定された場合には、指定数分の人物画像を取得することもできる。
【００５３】
また、所望する人物が写っている撮影画像が任意に選択された際に、この撮影画像を解析することによってその中から人物部分の画像をキー画像として取得するようにしたから、人物を直接指定しなくても、撮影画像のみを指定するだけで、所望する人物画像を取得することができる。
更に、所望する人物が写っている撮影画像が任意に選択された際に、この撮影画像内に含まれている全ての人物部分の画像を取得するようにしたから、複数の人物を個別に直接指定しなくても、撮影画像のみを指定するだけで、所望する複数の人物を一括して取得することができる。
【００５４】
「単独抽出」が指示された場合には、撮影画像内の人数が１人であり、かつ、この人物がキー画像と一致することを条件として当該撮影画像を抽出するようにしたから、所望する人物が単独で写っている撮影画像のみを抽出することができる。「１人部分抽出」が指示された場合には、この人物画像を含む撮影画像を抽出するようにしたから、所望する人物が単独で写っている撮影画像の抽出の他に、所望する人物が他の人物と共に写っている場合でも、この撮影画像も合わせて抽出することができる。
【００５５】
「グループ一致抽出」が指示された場合には、撮影画像内の人物の数がキー画像数と同一であり、かつ、これらの人物画像がキー画像と一致することを条件として当該撮影画像を抽出するにしたから、複数の登録人物だけを集合撮影した撮影画像のみを抽出することができる。「グループ部分抽出」が指示された場合には、複数のキー画像を含む撮影画像を抽出するようにしたから、複数の登録人物だけが写っている撮影画像の他に、他の人物が写っている場合でも、この撮影画像も合わせて抽出することができる。
【００５６】
なお、第２実施形態においては、被写体を人物とした場合を例示したが、ペット、物品を被写体としてもよい。また、第２実施形態においては、被写体別分類画像やグループ別分類画像を印刷するようにしたが、その他に、通信ネットワークを介して送信するようにしてもよい。また、第２実施形態においては、画像出力後に登録レコード１１および被写体別分類レコード１２／グループ別分類レコード１４を自動消去するようにしたが、ユーザ指示によって消去するようにしてもよい。
【００５７】
撮影画像処理装置は、スタンド・アローン・タイプに限らず、その各構成要素が２以上の筐体に物理的に分離され、通信回線やケーブル等の有線伝送路あるいは電波、マイクロウエーブ、赤外線等の無線伝送路を介してデータを送受信する分散型のコンピュータシステムを構成するものであってもよい。
【００５８】
一方、コンピュータに対して、上述した各手段を実行させるためのプログラムコードをそれぞれ記録した記録媒体（例えば、ＣＤ−ＲＯＭ、フロッピィデスク、ＲＡＭカード等）を提供するようにしてもよい。
すなわち、コンピュータが読み取り可能なプログラムコードを有する記録媒体であって、複数の撮影画像の中から特定の撮影画像を抽出する処理を実行する前に、所定の撮影画像内に含まれている被写体部分の画像を抽出用のキー画像として事前取得する機能と、複数の撮影画像を解析しながら前記取得の被写体画像が撮影画像内に含まれているか否かを認識し、当該被写体画像が含まれている場合には、複数の撮影画像の中から当該撮影画像を抽出する機能と、抽出された撮影画像を出力する機能とを実現させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体を提供するようにしてもよい。
【００５９】
【発明の効果】
第１の発明（請求項１記載の発明）によれば、撮影画像の中から抽出された被写体画像が既に分類されている何れかの被写体であれば、この撮影画像を当該既存分類の被写体に対応する画像として分類し、分類済みの被写体でなければ、抽出された被写体画像を新規分類の被写体として特定し、この撮影画像を当該新規分類の被写体に対応する画像として分類するようにしたから、撮影画像を被写体別に分類する為に用いられる特別な情報を予め入力設定しておかなくても、撮影画像を解析するだけで無秩序な撮影画像を被写体別に分類することができ、人為的な介入を不要とした自動分類の実現が可能となる。
第２の発明（請求項５記載の発明）によれば、複数の撮影画像の中から特定の撮影画像を抽出する処理を実行する前に、所定の撮影画像内に含まれている被写体部分の画像を抽出用のキー画像として事前取得した後に、複数の撮影画像を解析しながら抽出キーの被写体画像が撮影画像内に含まれているか否かを認識し、当該被写体画像が含まれている場合には、複数の撮影画像の中から当該撮影画像を抽出して出力するようにしたから、撮影画像を検索・抽出する為に用いられる特別な情報を予め入力設定しておかなくても、撮影画像を解析するだけで複数の撮影画像の中から特定の画像だけを抽出して出力することができ、複雑な画像管理を必要とせず、無秩序な状態でも特定の撮影画像だけを確実に抽出することが可能となる他、撮影画像から取得した被写体部分の画像を抽出用のキー画像としたから、画像認識時の認識率を大幅に向上させることが可能となる。
【図面の簡単な説明】
【図１】撮影画像処理装置の基本的構成要素を示したブロック図。
【図２】（Ａ）は、登録レコード１１の内容を示し、（Ｂ）は、被写体別分類レコード１２の内容を示した図。
【図３】撮影画像を保存する撮影画像フォルダ１３を説明する為の図。
【図４】画像自動分類処理を示したフローチャート。
【図５】図４に続く、画像自動分類処理を示したフローチャート。
【図６】第２実施形態において、グループ別分類レコード１４の内容を示した図。
【図７】画像自動抽出処理を示したフローチャート。
【図８】図７に続く、画像自動抽出処理を示したフローチャート。
【図９】図７、図８に続く、画像自動抽出処理を示したフローチャート。
【図１０】図７、図９に続く、画像自動抽出処理を示したフローチャート。
【図１１】図７、図１０に続く、画像自動抽出処理を示したフローチャート。
【符号の説明】
１ ＣＰＵ
２ 記憶装置
４ 通信装置
５ 入力装置
６ 表示装置
７ 印字装置
１１ 登録レコード
１２ 被写体別画像分類レコード
１３ 撮影画像フォルダ
１４ グループ別画像分類レコード
Claims (14)
- 複数の撮影画像を解析して各撮影画像の中から被写体部分の画像を抽出すると共に、この被写体画像を含む撮影画像を被写体別に分類する撮影画像処理装置であって、
前記撮影画像の中から抽出された被写体画像が既に分類されている何れかの被写体であるか否かを判別する判別手段と、
この判別手段によって分類済みの被写体であることが判別された場合には、この撮影画像を当該既存分類の被写体に対応する画像として分類し、分類済みの被写体でないことが判別された場合には、前記抽出された被写体画像を新規分類の被写体として特定し、この撮影画像を当該新規分類の被写体に対応する画像として分類する分類手段と、
を具備したことを特徴とする撮影画像処理装置。 - 前記撮影画像の中から抽出された被写体画像を新規分類の被写体として特定した際に、この被写体画像を分類用のキー画像として登録する登録手段を設け、
前記分類手段は、前記分類情報として登録された被写体画像が撮影画像内に含まれている場合に、この撮影画像を当該分類の被写体に対応する画像として分類する、
ようにしたことを特徴とする請求項１記載の撮影画像処理装置。 - 前記分類手段によって被写体別に分類された各撮影画像を分類毎に出力する出力手段を設けた、
ことを特徴とする請求項１記載の撮影画像処理装置。 - 前記出力手段は、任意の被写体が出力対象として指定された場合に、この指定被写体に対応して分類されている各撮影画像を読み出して出力する、
ようにしたことを特徴とする請求項３記載の撮影画像処理装置。 - 複数の撮影画像の中から特定の撮影画像を抽出して出力する撮影画像処理装置であって、
複数の撮影画像の中から特定の撮影画像を抽出する処理を実行する前に、所定の撮影画像内に含まれている被写体部分の画像を抽出用のキー画像として事前取得する取得手段と、
複数の撮影画像を解析しながら前記取得の被写体画像が撮影画像内に含まれているか否かを認識し、当該被写体画像が含まれている場合には、複数の撮影画像の中から当該撮影画像を抽出する抽出手段と、
この抽出手段によって抽出された撮影画像を出力する出力手段と、
を具備したことを特徴とする撮影画像処理装置。 - 前記取得手段は、撮影画像内に含まれている被写体部分が任意に指定された際に、指定された被写体画像を取得する、
ようにしたことを特徴とする請求項５記載の撮影画像処理装置。 - 前記取得手段は、所望する被写体が写っている撮影画像が任意に選択された際に、この撮影画像を解析することによってその中から被写体部分の画像を取得する、
ようにしたことを特徴とする請求項５記載の撮影画像処理装置。 - 前記取得手段は、所望する被写体が写っている撮影画像が任意に選択された際に、この撮影画像内に含まれている全ての被写体部分の画像を取得する、
ようにしたことを特徴とする請求項７記載の撮影画像処理装置。 - 前記取得手段によって単一の被写体画像が取得された場合に、前記抽出手段は、撮影画像内の被写体の数が１つであり、かつ、この被写体画像が前記取得の被写体画像と一致することを条件として当該撮影画像を抽出する、
ようにしたことを特徴とする請求項５記載の撮影画像処理装置。 - 前記取得手段によって単一の被写体画像が取得された場合に、前記抽出手段は、この被写体画像を含む撮影画像を抽出する、
ようにしたことを特徴とする請求項５記載の撮影画像処理装置。 - 前記取得手段によって複数の被写体画像が一括取得された場合に、前記抽出手段は、撮影画像内の被写体の数が前記一括取得された被写体の数と同一であり、かつ、これらの被写体画像が前記一括取得の被写体画像と一致することを条件として当該撮影画像を抽出する、
ようにしたことを特徴とする請求項５記載の撮影画像処理装置。 - 前記取得手段によって複数の被写体画像が一括取得された場合に、前記抽出手段は、前記一括取得の各被写体画像を含む撮影画像を抽出する、
ようにしたことを特徴とする請求項５記載の撮影画像処理装置。 - コンピュータに対して、
複数の撮影画像を解析して各撮影画像の中から被写体部分の画像を抽出すると共に、この被写体画像を含む撮影画像を被写体別に分類する機能と、
前記撮影画像の中から抽出された被写体画像が既に分類されている何れかの被写体であるか否かを判別する機能と、
分類済みの被写体であることが判別された場合には、この撮影画像を当該既存分類の被写体に対応する画像として分類し、分類済みの被写体でないことが判別された場合には、前記抽出された被写体画像を新規分類の被写体として特定し、この撮影画像を当該新規分類の被写体に対応する画像として分類する機能と、
を実現させるためのプログラム。 - コンピュータに対して、
複数の撮影画像の中から特定の撮影画像を抽出する処理を実行する前に、所定の撮影画像内に含まれている被写体部分の画像を抽出用のキー画像として事前取得する機能と、
複数の撮影画像を解析しながら前記取得の被写体画像が撮影画像内に含まれているか否かを認識し、当該被写体画像が含まれている場合には、複数の撮影画像の中から当該撮影画像を抽出する機能と、
抽出された撮影画像を出力する機能と、
を実現させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003152581A JP2004356984A (ja) | 2003-05-29 | 2003-05-29 | 撮影画像処理装置およびプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003152581A JP2004356984A (ja) | 2003-05-29 | 2003-05-29 | 撮影画像処理装置およびプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004356984A true JP2004356984A (ja) | 2004-12-16 |
Family
ID=34047759
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003152581A Abandoned JP2004356984A (ja) | 2003-05-29 | 2003-05-29 | 撮影画像処理装置およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004356984A (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006261711A (ja) * | 2005-03-15 | 2006-09-28 | Seiko Epson Corp | 画像生成装置 |
| WO2006129664A1 (ja) | 2005-05-30 | 2006-12-07 | Matsushita Electric Industrial Co., Ltd. | メタデータ付与装置及びメタデータ付与方法 |
| JP2007010898A (ja) * | 2005-06-29 | 2007-01-18 | Casio Comput Co Ltd | 撮像装置及びそのプログラム |
| JP2007287014A (ja) * | 2006-04-19 | 2007-11-01 | Seiko Epson Corp | 画像処理装置、画像処理方法 |
| JP2008532180A (ja) * | 2005-03-04 | 2008-08-14 | イーストマン コダック カンパニー | 時間情報が欠落した画像の追加的クラスタリング |
| JP2009219144A (ja) * | 2009-05-19 | 2009-09-24 | Casio Comput Co Ltd | 撮像装置、画像記録方法、および、プログラム |
| JP2009288507A (ja) * | 2008-05-29 | 2009-12-10 | Casio Hitachi Mobile Communications Co Ltd | 画像表示装置及びプログラム |
| JP2011044044A (ja) * | 2009-08-21 | 2011-03-03 | Sony Ericsson Mobile Communications Ab | 情報端末、情報端末の情報制御方法及び情報制御プログラム |
| WO2013111278A1 (ja) * | 2012-01-25 | 2013-08-01 | SHIROTO Hisanori | 画像記録装置、画像記録方法、画像記録用プログラム及び情報記録媒体 |
-
2003
- 2003-05-29 JP JP2003152581A patent/JP2004356984A/ja not_active Abandoned
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008532180A (ja) * | 2005-03-04 | 2008-08-14 | イーストマン コダック カンパニー | 時間情報が欠落した画像の追加的クラスタリング |
| JP2006261711A (ja) * | 2005-03-15 | 2006-09-28 | Seiko Epson Corp | 画像生成装置 |
| WO2006129664A1 (ja) | 2005-05-30 | 2006-12-07 | Matsushita Electric Industrial Co., Ltd. | メタデータ付与装置及びメタデータ付与方法 |
| JP2007010898A (ja) * | 2005-06-29 | 2007-01-18 | Casio Comput Co Ltd | 撮像装置及びそのプログラム |
| JP2007287014A (ja) * | 2006-04-19 | 2007-11-01 | Seiko Epson Corp | 画像処理装置、画像処理方法 |
| JP2009288507A (ja) * | 2008-05-29 | 2009-12-10 | Casio Hitachi Mobile Communications Co Ltd | 画像表示装置及びプログラム |
| JP2009219144A (ja) * | 2009-05-19 | 2009-09-24 | Casio Comput Co Ltd | 撮像装置、画像記録方法、および、プログラム |
| JP4577445B2 (ja) * | 2009-05-19 | 2010-11-10 | カシオ計算機株式会社 | 撮像装置、画像記録方法、および、プログラム |
| JP2011044044A (ja) * | 2009-08-21 | 2011-03-03 | Sony Ericsson Mobile Communications Ab | 情報端末、情報端末の情報制御方法及び情報制御プログラム |
| US20120148120A1 (en) * | 2009-08-21 | 2012-06-14 | Sony Ericsson Mobile Communications Ab | Information terminal, information control method for an information terminal, and information control program |
| US9449237B2 (en) | 2009-08-21 | 2016-09-20 | Sony Corporation | Information terminal, information control method for an information terminal, and information control program |
| WO2013111278A1 (ja) * | 2012-01-25 | 2013-08-01 | SHIROTO Hisanori | 画像記録装置、画像記録方法、画像記録用プログラム及び情報記録媒体 |
| JPWO2013111278A1 (ja) * | 2012-01-25 | 2015-05-11 | ピタフォー モバイル エルエルシー | 画像記録装置、画像記録方法、画像記録用プログラム及び情報記録媒体 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8724908B2 (en) | System and method for labeling a collection of images | |
| JP6176257B2 (ja) | 商品情報処理装置、そのデータ処理方法、およびプログラム | |
| US10055640B2 (en) | Classification of feature information into groups based upon similarity, and apparatus, image processing method, and computer-readable storage medium thereof | |
| US9449031B2 (en) | Sorting and filtering a table with image data and symbolic data in a single cell | |
| WO2021012494A1 (zh) | 基于深度学习的人脸识别方法、装置及计算机可读存储介质 | |
| JP6080409B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| US9030502B2 (en) | System and method for organizing documents | |
| US9298716B2 (en) | Information processing apparatus, method for controlling the same, and storage medium storing program for displaying a tag added to a content file | |
| JP2010092455A (ja) | ファイル管理システム及びプログラム | |
| JP2017117404A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| WO2016106966A1 (zh) | 人物标注方法和终端、存储介质 | |
| JP2004356984A (ja) | 撮影画像処理装置およびプログラム | |
| EP2701082A1 (en) | File search apparatus, file search method, image search apparatus, and non-transitory computer readable storage medium | |
| US9516089B1 (en) | Identifying and processing a number of features identified in a document to determine a type of the document | |
| JPWO2016006090A1 (ja) | 電子機器、方法及びプログラム | |
| CN110263830B (zh) | 图像处理方法、装置和系统及存储介质 | |
| US11775618B2 (en) | Image processing device, image processing method, and image processing program for deciding a similarity between a captured image and a sample image | |
| JP2002215643A (ja) | 画像分類プログラム、画像分類プログラムを記録したコンピュータ読み取り可能な記録媒体、画像分類方法および画像分類装置 | |
| US10606884B1 (en) | Techniques for generating representative images | |
| JP2003150617A (ja) | 画像処理装置およびプログラム | |
| JP2016122404A (ja) | 情報処理装置、情報処理方法、プログラムおよび記憶媒体 | |
| JP4556739B2 (ja) | 画像管理装置、画像管理方法、および画像管理プログラム | |
| US20230196769A1 (en) | Posting support apparatus, and posting support method | |
| US10437888B2 (en) | Information processing apparatus | |
| JP4542013B2 (ja) | プリント注文システム、プログラム、プログラム記憶媒体、およびプリント注文サーバ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051205 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20060208 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060405 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080410 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080519 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080701 |
|
| A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20080730 |