[第1実施例]
図1は,この発明の実施例を示すもので,画像判別装置1の電気的構成を示すブロック図である。
画像判別装置1の全体の動作は,CPU(Central Processing Unit)2によって統括される。
画像判別装置1には,画像その他の情報を表示画面に表示する表示装置3およびインターネットその他のネットワークに接続して画像判別装置1以外の装置等と通信する通信装置4が含まれている。また,画像判別装置1には,ハード・ディスク5,ハード・ディスク5にアクセスするハード・ディスク・ドライブ6,データ等を記憶するメモリ7,コマンド等を入力するキーボード8およびマウス9も含まれている。さらに,画像判別装置1には,コンパクト・ディスク11にアクセスするコンパクト・ディスク・ドライブ10ならびにメモリ・カード13へのデータの書き込みおよびメモリ・カード13に記録されているデータの読み取りを行うメモリ・カード・リーダ・ライタ12も含まれている。
後述する画像判別装置1の動作プログラムは,インターネットを介して通信装置4において受信される。受信された動作プログラムが画像判別装置1にインストールされる。動作プログラムはインターネットなどのようなネットワークを介して画像判別装置1に受信されて画像判別装置1にインストールされずに,コンパクト・ディスク11などの可搬型記録媒体に記録され,その可搬型記録媒体から読み取られてもよい。その場合には,可搬型記録媒体から読み取られた動作プログラムが画像判別装置1にインストールされる。動作プログラムは,画像判別装置1のCPU2(コンピュータ)が読み取り可能であることは言うまでもない。
図2は,画像判別装置1と通信可能な人工知能装置20の電気的構成を示すブロック図である。図2においては,ハードウエアによって構成されているように記載されているが,一部がソフトウエアによって構成されていてもよいのはいうまでもない。
人工知能装置20にはデータベース21が含まれている。
図3は,データベース21に格納されている多数の画像ファイルによって表されるサンプル画像Iを示している。
サンプル画像Iには,基準項目ごとに,あらかじめ人物度の点数が付与されている。この実施例では,サンプル画像Iにおける人物と「モノ・アイテム」(非人物の部分の一例である)との比率にもとづく人物度の点数(たとえば,人物の割合が大きければ点数が高い),サンプル画像Iにおける人物(人物の部分)と「風景」(非人物の部分の一例である)との比率にもとづく人物度の点数(たとえば,人物の割合が高ければ点数が高い),サンプル画像Iにおける人物の顔の向きにもとづく人物度の点数(たとえば,人物の顔の向きが正面を向いているほど点数が高い)が,サンプル画像Iのそれぞれに付与されている。点数を表すデータは,たとえば,サンプル画像Iを表す画像ファイルのヘッダに格納されている。人物度は,サンプル画像Iが人物画像であることを示す指標,程度,人物画像らしさの評価値を表すもので,点数が高い(たとえば,3点満点とするが,他の点数でもよい)ほど人物画像らしいことを示している。人物度の点数が低ければ,サンプル画像Iの画像が非人物の画像らしいということとなる。人物度の点数ではなく,非人物度(サンプル画像Iが非人物画像であることを示す指標,程度,非人物画像らしさの評価値を表す)の点数を表すデータがサンプル画像Iを表す画像ファイルのヘッダに格納されていてもよいし,人物度の点数および非人物度の点数をそれぞれ表すデータがサンプル画像Iを表す画像ファイルのヘッダに格納されていてもよい。人物度または非人物度の点数は,画像を見ながらユーザが付けることとなろう。
図2を参照して,データベース21に格納されている多数の画像ファイルが読み取られ,特徴量抽出装置22において画像の特徴量を表すデータが抽出される。抽出された特徴量を表すデータを用いて学習用アルゴリズム23にしたがって学習モデル24が生成される。
画像判別装置1の通信装置4から画像データが送信され,人工知能装置20の通信装置25から入力する。入力した画像データは学習モデル24において,画像データによって表される画像の人物度の点数(人物画像らしさを表す評価値の一例である)(非人物度の点数でもよい。非人物度の点数は非人物画像らしさを表す評価値の一例である)が算出される。算出された点数を表すデータが通信装置25から画像判別装置1に送信される。
人工知能装置20から送信された点数を表すデータが画像判別装置1において受信されると,その点数にもとづいて,画像判別装置1から送信された画像データによって表される画像が人物の画像か非人物の画像かがCPU2によって判別される。
図2に示す人工知能装置20は,図1に示す画像判別装置1とは別の装置となっているが,図1に示す画像判別装置1に接続されていてもよい。
図4は,画像判別装置1の処理手順を示すフローチャートの一例である。
画像判別装置1にキーボード8などから画像判別開始指令などの指令が与えられることにより図4に示す処理が開始する。
メモリ・カード13には,人物画像か非人物画像かを判別する対象となる多数の画像を表す画像ファイルが格納されているものとする。もちろん,メモリ・カード13以外の記録媒体,コンパクト・ディスク11,ハード・ディスク5などに人物画像か非人物画像かを判別する対象となる多数の画像を表す画像ファイルが格納されていてもよい。
メモリ・カード・リーダ・ライタ12によって,メモリ・カード13に格納されている多数の画像ファイルが読み出され,表示装置3の表示画面に多数の画像が一覧で表示される(ステップ31)。
図5は,画像表示ウインドウ40の一例である。
画像表示ウインドウ40は,表示装置3の表示画面に表示される。表示ウインドウ40には,画像表示領域41が形成されている。この画像表示領域41に,メモリ・カード13に格納されている多数の画像ファイルによって表されている多数の判別対象画像I1からI28が表示されている。画像表示領域41の右側にはスクロール・バー42が形成されている。スクロール・バー42には,ノブ43が形成されている。ノブ43は上下に移動自在であり,ユーザがノブ43を上下に移動させることにより画像表示領域41に表示されていない画像が画像表示領域41に表示される。
つづいて,ユーザは,基準値を設定する(図4ステップ32)。
図6は,基準値設定ウインドウ50の一例である。
図6に示す基準値設定ウインドウ50も表示装置3の表示画面に表示される。
この実施例では,画像が人物画像か非人物画像かを判別する処理に用いられる基準値(しきい値)を,複数の基準項目の中のいずれかの基準項目においてユーザが設定できる。たとえば,図2を参照して説明したように人工知能装置20において算出され,人工知能装置20から画像判別装置1に送信された点数が基準値以上であれば,その点数の画像は非人物画像(または人物画像)であると画像判別装置1において判別される。ユーザが基準値を設定できるので,ユーザが設定した基準値に応じて画像が非人物画像か人物画像かを判別させることができる。ユーザの意図などを反映させて画像が非人物画像か人物画像かを判別できるようになる。
基準値設定ウインドウ50には,第1のチェック・ボックス51,第2のチェック・ボックス61および第3のチェック・ボックス71が形成されている。
第1のチェック・ボックス51の右側には,『人物と「モノ・アイテム」比率』の文字列および横方向の第1のスライド・バー52(基準値設定手段の一例である)が表示されている。第1のスライド・バー52には横方向に移動自在な第1のスライダ53が形成されている。第1の基準項目が『人物と「モノ・アイテム」比率』である。第1のスライド・バー52における第1のスライダ53の位置に応じて,第1の基準項目の基準値が設定される。第1のスライダ53の位置が左側に位置決めされるほど判別対象の画像の人物らしさの点数が高い場合(判別対象の画像に含まれるモノおよびアイテムに比べて人物の割合が多い場合)に人物画像と判断され,第1のスライダ53の位置が右側に位置決めされるほど判別対象の画像に含まれる人物の割合が少なくとも人物画像と判断される。人物と「モノ・アイテム」比率は,判別対象画像に含まれる人物の部分と人物が持っている物,アイテム(品物)などとの比率のことであり,風景など人物の背景部分は除かれる。人物の背景部分に物などが含まれている場合には無視されるが,判別対象画像に含まれる物を検出し,人物と物との比率を算出してもよい。
図7は,人物と「モノ・アイテム」比率にもとづいて判別対象の画像が人物画像か非人物画像かを判断する様子を示している。
判別対象画像I31は人物の大きさに比べて物(ブーケ)の割合が小さく,判別対象画像I31の人物度の点数は3点であったとする。また,判別対象画像I32は人物の大きさに比べて物(ブーケ)の割合が比較的大きく,判別対象画像I32の人物度の点数は2点であったとする。さらに,判別対象画像I33は人物の大きさに比べて物(ブーケ)の割合が大きく,判別対象画像I33の点数は1点であったとする。
このような場合において,たとえば,第1のスライダ53が第1のスライド・バー52の位置P11に位置決めされ,点数2.5以上の画像を人物画像,点数2.5未満の画像を非人物画像と判別するように設定されると,判別対象画像I31は人物画像と判別されるが判別対象画像I32および判別対象画像I33は非人物画像と判別される。ところが,第1のスライダ53が第1のスライド・バー52の位置P12に位置決めされ,点数1.5以上の画像を人物画像,点数1.5未満の画像を非人物画像と判別するように設定されると,判別対象画像I31および判別対象画像I32が人物画像と判別され,判別対象画像I33が非人物画像と判別される。このように,ユーザの意図に応じて(第1のスライダ53の位置に応じて)判別対象画像I32を人物画像と判断させたり,非人物画像と判断させたりできる。図7の判別対象画像I31からI33のようなサンプル画像を第1のスライド・バー52に対応させて表示しておき,第1のスライダ53の位置に応じてどのような画像が人物画像と判別されるか非人物画像と判別されるかがわかるようにすることが好ましい。また,複数のサンプル画像を表示させておき,そのサンプル画像をユーザが人物画像または非人物画像と指定し,指定した人物画像または非人物画像の人物画像らしさの点数または非人物画像らしさの点数にもとづいて基準値を決定するようにしてもよい。
図6に戻って,第2のチェック・ボックス61の右側には,『人物と「風景」比率』の文字列および横方向の第2のスライド・バー62(基準値設定手段の一例である)が表示されている。第2のスライド・バー62にも横方向に移動自在な第2のスライダ63が形成されている。第2の基準項目が『人物と「風景」比率』である。第2のスライド・バー62における第2のスライダ63の位置に応じて,第2の基準項目の基準値が設定される。第2のスライダ63の位置が左側に位置決めされるほど判別対象の画像の人物らしさの点数が高い場合(判別対象の画像に含まれる風景に比べて人物の割合が多い場合)に人物画像と判断され,第2のスライダ63の位置が右側に位置決めされるほど判別対象の画像に含まれる人物の割合が少なくとも人物画像と判断される。人物と「風景」比率は,判別対象画像に含まれる人物の部分と風景(背景)との比率のことである。風景(背景)は,人物を囲んだ場合にその囲まれた領域以外の部分ととらえればよい。判別対象画像に含まれる人物がブーケなどの物を持っていたとしても,その物は無視される。風景(背景)に存在する物は風景の一部とされるが,判別対象画像の中から物を検出し,検出された物を除く風景(背景)を用いて比率を算出してもよい。
上述の実施例では,風景(背景)と物とを区別しているが,風景(背景)と物とを区別せずに対象画像の中に含まれる人物の部分と非人物の部分(人物以外の部分)とを検出し,人物の部分と非人物の部分との比率を基準項目として基準値を設定してもよい。
図8は,人物と「風景」比率にもとづいて判別対象の画像が人物画像か非人物画像かを判断する様子を示している。
判別対象画像I41は人物の大きさに比べて風景(背景)の割合が小さく,判別対象画像I41の人物度の点数は3点であったとする。また,判別対象画像I42は人物の大きさに比べて風景の割合が比較的大きく,判別対象画像I42の人物度の点数は2点であったとする。さらに,判別対象画像I43は人物の大きさに比べて風景の割合が大きく,判別対象画像I43の点数は1点であったとする。
このような場合において,たとえば,第2のスライダ63が第2のスライド・バー62の位置P21に位置決めされ,点数2.5以上の画像を人物画像,点数2.5未満の画像を非人物画像と判別するように設定されると,判別対象画像I41は人物画像と判別されるが判別対象画像I42および判別対象画像I43は非人物画像と判別される。ところが,第2のスライダ63が第2のスライド・バー62の位置P21に位置決めされ,点数1.5以上の画像を人物画像,点数1.5未満の画像を非人物画像と判別するように設定されると,判別対象画像I41および判別対象画像I42が人物画像と判別され,判別対象画像I43が非人物画像と判別される。このように,ユーザの意図に応じて(第2のスライダ63の位置に応じて)判別対象画像I42を人物画像と判断させたり,非人物画像と判断させたりできる。図8の判別対象画像I41からI43のようなサンプル画像を第2のスライド・バー62に対応させて表示しておき,第2のスライダ63の位置に応じてどのような画像が人物画像と判別されるか非人物画像と判別されるかがわかるようにすることが好ましい。また,複数のサンプル画像を表示させておき,そのサンプル画像をユーザが人物画像または非人物画像と指定し,指定した人物画像または非人物画像の人物画像らしさの点数または非人物画像らしさの点数にもとづいて基準値を決定するようにしてもよい。
図6に戻って,第3のチェック・ボックス71の右側には,『人物顔向き度』の文字列および横方向の第3のスライド・バー72(基準値設定手段の一例である)が表示されている。第3のスライド・バー72にも横方向に移動自在な第3のスライダ73が形成されている。第3の基準項目が『人物顔向き度』である。第3のスライド・バー72における第3のスライダ73の位置に応じて,第3の基準項目の基準値が設定される。第3のスライダ73の位置が左側に位置決めされるほど判別対象の画像の人物らしさの点数が高い場合(判別対象の画像に含まれる風景に比べて人物の割合が多い場合)に人物画像と判断され,第3のスライダ73の位置が右側に位置決めされるほど判別対象の画像に含まれる人物の割合が少なくとも人物画像と判断される。
図9は,人物顔向き度にもとづいて判別対象の画像が人物画像か非人物画像かを判断する様子を示している。
判別対象画像I51は人物の顔が正面を向いている割合が大きく,判別対象画像I51の人物度の点数は3点であったとする。また,判別対象画像I52は人物の顔が正面を向いている割合が比較的小さく,判別対象画像I52の人物度の点数は2点であったとする。さらに,判別対象画像I53は人物の顔が正面を向いていず,判別対象画像I53の点数は1点であったとする。
このような場合において,たとえば,第3のスライダ73が第3のスライド・バー72の位置P21に位置決めされ,点数2.5以上の画像を人物画像,点数2.5未満の画像を非人物画像と判別するように設定されると,判別対象画像I51は人物画像と判別されるが判別対象画像I52および判別対象画像I53は非人物画像と判別される。ところが,第3のスライダ73が第3のスライド・バー72の位置P21に位置決めされ,点数1.5以上の画像を人物画像,点数1.5未満の画像を非人物画像と判別するように設定されると,判別対象画像I51および判別対象画像I52が人物画像と判別され,判別対象画像I53が非人物画像と判別される。このように,ユーザの意図に応じて(第3のスライダ73の位置に応じて)判別対象画像I52を人物画像と判断させたり,非人物画像と判断させたりできる。図8の判別対象画像I51からI53のようなサンプル画像を第3のスライド・バー72に対応させて表示しておき,第3のスライダ73の位置に応じてどのような画像が人物画像と判別されるか非人物画像と判別されるかがわかるようにすることが好ましい。また,複数のサンプル画像を表示させておき,そのサンプル画像をユーザが人物画像または非人物画像と指定し,指定した人物画像または非人物画像の人物画像らしさの点数または非人物画像らしさの点数にもとづいて基準値を決定するようにしてもよい。
図6を参照して,第1のチェック・ボックス51,第2のチェック・ボックス61および第3のチェック・ボックス71のうちのいずれかのチェック・ボックスがチェックされると(後述のように複数のチェック・ボックスをチェックできるようにしてもよい),チェックされたチェック・ボックスに対応して形成されている第1のスライド・バー52,第2のスライド・バー62または第3のスライド・バー72の第1のスライダ53,第2のスライダ63または第3のスライダ73の位置が基準値として設定される。
基準値の設定後,キーボード8などにより判別開始指令が画像判別装置1に入力されると(図4ステップ33でYES),1つ目の判別対象画像を表す画像データがメモリ・カード13から読み取られる(図4ステップ34)。読み取られた画像データによって表される画像が人物画像か非人物画像かを判別する処理が,設定された基準値にもとづいてCPU2(判別手段の一例である)によって行われる(図4ステップ35)。この判別処理については後述する。判別対象画像が人物画像または非人物画像のいずれかであるかを判別せずに,判別対象画像が人物画像かどうかを判別する処理を行い,人物画像と判別されない場合には非人物画像と判別してもよいし,判別対象画像が非人物画像かどうかを判別する処理を行い,非人物画像と判別されない場合には人物画像と判別してもよい。判別結果に応じて,判別対象画像が分類して表示される(図4ステップ36)。
図10は,画像分類ウインドウ80の一例である。画像分類ウインドウ80も画像判別装置1の表示装置3の表示画面に表示される。
画像分類ウインドウ80には,人物画像ウインドウ81と非人物画像ウインドウ82とが含まれている。人物画像ウインドウ81には判別対象画像のうち人物画像と判別された判別対象画像I1,I2およびI4−I6が表示されている。非人物画像ウインドウ82には判別対象画像のうち非人物画像と判別された判別対象画像I3およびI7が表示されている。ユーザは,人物画像ウインドウ81に表示されている画像が人物画像であると分かり,非人物画像ウインドウ82に表示されている画像が非人物画像であると分かる。
つづいて,次の判別対象画像があれば(図4ステップ37でYES),ステップ34から36の処理が繰り返され,次の判別対象画像を表す画像データがメモリ・カード13から読み取られる(図4ステップ34)。
図11は,アルバムを構成する見開きページの一例である。
図11に示すアルバムを構成する見開きページ90も画像判別装置1の表示装置3の表示画面に表示されるが,画像判別装置1以外の表示装置の表示画面に表示してもよい。アルバムには見開きページ90以外のページもあるが,図11では見開きページ90のみが図示されている。
アルバムの見開きページ90には複数の画像挿入領域91−96が形成されている。ユーザは,これらの画像挿入領域91−96に人物画像と非人物画像とをアルバム・ストーリを考慮しながら配置していく。たとえば,画像挿入領域91にはケーキ・カット前の新郎,新婦の判別対象画像I6が挿入され,画像挿入領域92にはケーキの判別対象画像I7が挿入されている。そのあとに,たとえば,ケーキ・カットの場面の画像があれば,その画像が画像挿入領域93に挿入される。ユーザが画像を配置せずに人物画像と非人物画像とを自動で配置してもよい。
図12は,第1の判別処理手順(図4のステップ36の処理手順)を示すフローチャートである。
第1の判別処理手順は,上述したように人工知能装置20を用いるものである。
メモリ・カード13から読み取られた判別対象画像を表す画像データおよび第1のチェック・ボックス51,第2のチェック・ボックス61および第3のチェック・ボックス71の中から選択された基準項目を表すデータは,画像判別装置1から人工知能装置20に送信される(ステップ101)。人工知能装置20において,選択された基準項目にしたがってデータベース21に格納されている画像(サンプル画像の一例である)にそれぞれ基準項目ごとに付与されている点数を用いて,その基準項目での判別対象画像の人物画像らしさの点数が算出される。算出された点数(人物画像らしさの評価値)を表すデータが人工知能装置20から画像判別装置1に送信される。人工知能装置20から送信された点数を表すデータが画像判別装置1の通信装置4によって受信される(ステップ102)。
受信した点数を表すデータと設定されたユーザによって設定された基準項目の基準値とから判別対象画像が人物画像か非人物画像かが判別される(ステップ103)。たとえば,受信したデータによって表される点数が設定された基準値以上であれば人物画像と判別され,その点数が基準値未満であれば非人物画像とCPU2によって判別される。
図13は,第2の判別処理手順(図4ステップ35の処理手順)を示すフローチャートである。
図13に示す処理手順は,第1の基準項目または第2の基準項目が設定された場合に行われる。
判別対象画像の人物の部分と非人物の部分とが,画像判別装置1のCPU2(検出手段)によって検出される(ステップ111)。上述したように第1の基準項目が設定された場合には非人物の部分として「モノ・アイテム」の部分が検出され,第2の基準項目が設定された場合には非人物の部分として「風景」の部分(背景の部分)が検出される。
たとえば,図14に示すように判別対象画像が判別対象画像I5であり,第2の基準項目が設定された場合には,非人物の部分として「風景」の部分(背景の部分)121が検出され,人物の部分122が検出される。
図13にもどって,非人物の部分121と人物の部分122との面積比が算出される(ステップ112)。算出された面積比と設定された基準値とから判別対象画像が人物画像か非人物画像かが判別される(ステップ113)。たとえば,第2の基準項目の第2のスライド・バー62の左端の人物度大を,「人物の部分」対「非人物の部分」の面積比が1対2になるように対応させ,第2の基準項目の第2のスライド・バー62の右端の非人物度大を,「人物の部分」対「非人物の部分」の面積比が1対10(または非人物のみ)となるように対応させる。第2のスライダ63の位置において決定される「人物の部分」対「非人物の部分」の比率よりも,算出された面積比が左側の位置に対応すると判別対象画像は人物画像と判別され,算出された面積比が右側の位置に対応すると判別対象画像は非人物画像と判別される。たとえば,第2のスライダ63が第2のスライド・バー62の中央に位置決めされ,中央の位置が「人物の部分」対「非人物の部分」の面積比が1対6を示しているとすると,判別対象画像の面積比が1対6よりも人物の部分の方が多ければ人物画像と判断され,判別対象画像の面積比が1対6よりも非人物の部分の方が多ければ非人物画像と判断される。第2の基準項目でなく第1の基準項目が設定された場合も同様である。
図15および図16は,判別対象画像I5の表示態様を変えた一例である。
図15は,判別対象画像I5において風景(背景)の部分121を人物の部分122に比べて暗くした画像131の一例である。図14において説明したように検出された非人物の部分121がCPU2によって暗くされて表示される(人物の部分と非人物の部分との表示態様を変える一例である)。暗くなっている部分がハッチングで示されている。
図16は,判別対象画像I5において人物の部分122を風景(背景)の部分121に比べて暗くした画像132の一例である。図14において説明したように検出された人物の部分122がCPU2によって暗くされて表示される(人物の部分と非人物の部分との表示態様を変える一例である)。暗くなっている部分がハッチングで示されている。
このように,判別対象画像における人物の部分122と非人物の部分121との表示態様を変えてCPU2(表示制御手段)によって表示装置3の表示画面に表示してもよい。人物の部分122と非人物の部分121とを明るさを変えずに色分けして表示するようにしてもよい。
図17は,第3の判別処理手順(図4ステップ35の処理手順)を示すフローチャートである。
図17に示す処理は,図6に示す基準値設定ウインドウ50において第3のチェック・ボックス71がチェックされて第3の基準項目が選択された場合に行われる。まず,CPU2によって,判別対象画像の中から顔が検出される(ステップ141)。すると,検出された顔の向きがCPU2によって検出される(ステップ142)。顔の向きは,顔に対する目の位置,両目の離れている距離,鼻の向き,口の大きさなどから検出できる。検出された顔の向きと第3のスライド・バー72の第3のスライダ73によって設定された基準値とから判別対象画像が人物画像か非人物画像かが判別される(ステップ143)。
たとえば,図6に示す第3のスライド・バー72の左端が顔の向きが真正面の顔を示し,第3のスライド・バー72の右端が顔の向きが後ろの場合を示しているとする。第3のスライダ73が中央の位置決めされ,顔の向きが横向きの位置を指定しているものとする。そのような場合には算出された顔の向きが横向きよりも正面を向いていると判別対象画像は人物画像と判別され,算出された顔の向きが横向きよりも後ろを向いていると判別対象画像は人物画像と判別される。
顔の向きについても上述のように,判別対象画像を表すデータを人工知能装置20に送信し,人工知能装置20において判別対象画像に含まれる顔の向きに基づく点数を算出し,算出された点数と第3のスライダ73の位置によって決定される基準値とにもとづいて判別対象画像が人物画像か非人物画像かを判別してもよい。
第1実施例によると,ユーザの意図に応じて人物画像と非人物画像とを判別できるようになる。
[第2実施例]
図18から図20は,複数の基準項目にもとづいて判別対象画像が人物画像か非人物画像かを判別する実施例を示している。
図18は,第4の判別処理手順(図4ステップ35の処理手順)を示すフローチャートである。
この処理においては,基準値設定ウインドウ50に含まれる第1のチェック・ボックス51,第2のチェック・ボックス61および第3のチェック・ボックス71のうち,複数のチェック・ボックスをチェックできる。この実施例では,第1のチェック・ボックス51,第2のチェック・ボックス61および第3のチェック・ボックス71のすべてがチェックされ,第1のスライダ53により人物と「モノ・アイテム」との比率,第2のスライダ63により人物と「風景」との比率,第3のスライダ73により人物の顔向き度のそれぞれの基準項目の基準値が設定されたものとする。
判別対象画像を表す画像データが読み取られ,判別対象画像に含まれる人物の部分と非人物の部分とがCPU2によって検出される(ステップ161)。第1のチェック・ボックス51がチェックされているから非人物の部分として「モノ・アイテム」の部分が検出され,第2のチェック・ボックス61もチェックされているから非人物の部分として「風景」の部分も検出される。判別対象画像の人物の部分と非人物の部分とが検出されると,人物の部分と非人物の部分との面積比がCPU2によって算出される(ステップ162)。この面積比の算出において,人物の部分と「モノ・アイテム」の部分との第1の面積比および人物の部分と「風景」の部分との第2の面積比がそれぞれ得られる。
つづいて,判別対象画像の中からCPU2によって顔が検出される(ステップ163)。
次に,算出された第1の面積比および第2の面積比のそれぞれの面積比と設定された基準値とからCPU2によって面積比についての個別判別値が算出される(ステップ165)。面積比と設定された基準値とから算出される個別判別値は,面積比と基準値との差を示すもので,人物の部分と「モノ・アイテム」の部分との第1の面積比とスライダ53によって設定された基準値とから算出される第1の個別判別値と,人物の部分と「風景」の部分との第2の面積比とスライダ63によって設定された基準値とから算出される第2の個別判別値と,がある。また,顔の向きと設定された基準値とからCPU2によって顔の向きについての個別判別値(第3の個別判別値ということにする)が算出される(ステップ166)。顔の向きと基準値から算出される第3の個別判別値は,検出された顔の向きと基準値との差を示すものである。これらの第1から第3の個別判別値は,次のようにして算出される。
図19は,基準値設定ウインドウ50を示している。
人物の部分と「モノ・アイテム」の部分との第1の面積比の値は第1のスライド・バー52においてP51の位置に相当し(たとえば,第1の面積比を表すデータを人工知能装置20に送信し,その第1の面積比での人物度の点数がデータベース21に格納されている多数のサンプル画像Iにもとづいて算出される。その算出された人物度の点数に対応した位置がP51の位置である),第1のスライダ53はP50の位置にユーザによって設定されたものとする。位置P50と位置P51との距離はL1によって表される。第1のスライダ53の位置P50よりもP51の位置が左側にあれば,人物の部分と「モノ・アイテム」の部分との第1の面積比にもとづく判別では判別対象画像は人物画像と判別され,第1のスライダ53の位置P50よりもP51の位置が右側にあれば,人物の部分と「モノ・アイテム」の部分との第1の面積比にもとづく判別では判別対象画像は非人物画像と判別される。図19に示す例では,P51の位置は第1のスライダ53よりも左側にあるから,人物の部分と「モノ・アイテム」の部分との第1の面積比にもとづく判別では判別対象画像は人物画像と判別され(基準項目における基準値ごとの判別結果の一例である),かつ距離L1は正の距離とされる。この距離+L1の値が第1の個別判別値に相当する。
同様に,人物の部分と「風景」の部分との第2の面積比の値は第2のスライド・バー62においてP61の位置に相当し(たとえば,第2の面積比を表すデータを人工知能装置20に送信し,その第2の面積比での人物度の点数がデータベース21に格納されている多数のサンプル画像Iにもとづいて算出される。その算出された人物度の点数に対応した位置がP61の位置である),第2のスライダ63はP60の位置にユーザによって設定されたものとする。位置P60と位置P61との距離はL2によって表される。第2のスライダ63の位置P60よりもP61の位置が左側にあれば,人物の部分と「風景」の部分との第2の面積比にもとづく判別では判別対象画像は人物画像と判別され,第2のスライダ63の位置P60よりもP61の位置が右側にあれば,人物の部分と「風景」の部分との第2の面積比にもとづく判別では判別対象画像は非人物画像と判別される。P61の位置は第2のスライダ63よりも右側にあるから人物の部分と「風景」の部分との第2の面積比にもとづく判別では非人物画像と判別され(基準項目における基準値ごとの判別結果の一例である),かつ距離L2は負の距離とされる。この距離−L2の値が第2の個別判別値に相当する。
同様に,顔の向きの値は第3のスライド・バー72においてP71の位置に相当し,第3のスライダ73の位置P70に相当し,第3のスライダ73はP70の位置にユーザによって設定されたものとする。位置P70と位置P71との距離はL3によって表される。第3のスライダ73の位置P70よりもP71の位置が左側にあれば,顔の向きにもとづく判別では判別対象画像は人物画像と判別され,第3のスライダ73の位置P70よりもP71の位置が右側にあれば,顔の向きにもとづく判別では判別対象画像は非人物画像と判別される。P71の位置は第3のスライダ73よりも左側にあるから顔の向きにもとづく判別では人物画像と判別され(基準項目における基準値ごとの判別結果の一例である),かつ距離L3は正の距離とされる。この距離+L3の値が第3の個別判別値に相当する。
このようにして得られた第1の個別判別値,第2の個別判別値および第3の個別判別値から総合判別値が算出され,判別対象画像が人物画像か非人物画像かがCPU2によって判別される(ステップ167)。たとえば,第1の個別判別値,第2の個別判別値および第3の個別判別値の加算値を総合判別値(加算値が正であれば人物画像,加算値が負であれば非人物画像と判別される)としてもよいし,優先度を設定し優先度に応じて第1の個別判別値,第2個別判別値および第3の個別判別とに重みづけを行い,重みづけ後の加算値を総合判別値としてもよい。
図20は,判別結果表示ウインドウ150の一例である。
判別結果表示ウインドウ150も画像判別装置1の表示装置3の表示画面に表示される。判別結果表示ウインドウ150には,判別対象画像I5が表示されている。この判別対象画像I5の右側に,第1の個別判別値にもとづく判別結果の文章151,第2の個別判別値にもとづく判別結果の文章152,第3の個別判別値にもとづく判別結果の文章153および総合判別値にもとづく判別結果の文章154が表示(複数の基準項目における判別結果の出力の一例である)されている。ユーザは,判別対象画像I5が総合的に人物画像と判別されたのか非人物画像と判別されたのかがわかるだけでなく,第1の個別判別値,第2の個別判別値および第3の個別判別値のそれぞれにもとづく判別結果が分かる。
第2実施例によると,複数の基準項目にもとづいて判別対象画像が総合的に人物画像か,あるいは,非人物画像のいずれかが分かる。しかも複数の基準項目のそれぞれにもとづく判別結果もわかる。
[第3実施例]
図21から図23は,他の実施例を示すもので,複数の判別対象画像について人物画像か非人物画像かを示す判別結果が得られた後に基準値が変更された場合の実施例である。
図21および図22は,画像判別装置1の処理手順を示すフローチャートである。図21および図22において図4に示す処理と同一処理については同一符号を付している。
複数の判別対象画像が表示装置3の表示画面に表示され(ステップ31),図6に示す基準値設定ウインドウ50を用いてユーザによって基準値(一つでも複数でもよい)が設定される(ステップ32)。判別開始指令が入力されると(ステップ33でYES),判別対象画像が読み取られ(ステップ34),判別処理が行われる(ステップ35)。図10に示すように,判別結果に応じて判別対象画像が分類して表示される(ステップ36)。判別対象画像が存在すると(ステップ37でYES),基準値の設定が変更されたかどうかが確認される(図22ステップ171)。
基準値設定ウインドウ50に含まれる第1のチェック・ボックス51,第2のチェック・ボックス61および第3のチェック・ボックス71のうち,チェックされているボックスが変更されたり,チェックされているボックスに対応する第1のスライダ53,第2のスライダ63または第3のスライダ73のうち,いずれかのスライダの位置が変更されたりすると,基準値の設定が変更されたとCPU2によって判定される。
基準値の設定が変更されると(ステップ171でYES),すでに判別された判別対象画像を表す画像データが再び読み取られ(ステップ172),変更された基準値にもとづいて再度判別処理が行われる(ステップ173)。基準値の変更により判別結果が変わると(ステップ174でYES),判別結果が変わった判別対象画像に枠が付けられる(ステップ175)。
図23は,画像分類ウインドウ80の一例である。
画像分類ウインドウ80には,人物画像ウインドウ81と非人物画像ウインドウ82とが含まれている。人物画像ウインドウ81には,基準値の設定が変更される前に人物画像と判別された判別対象画像I1,I2,I4−I6が表示されている。非人物画像ウインドウ82には,基準値の設定が変更される前に非人物画像と判別された判別対象画像I3およびI7が表示されている。基準値の設定が変更され,再度判別処理が行われたことにより人物画像と判別されていた判別対象画像I4が非人物画像と判別されたものとする。すると,その判別対象画像I4にCPU2(報知制御手段の一例である)によって枠FLが付けられる。ユーザは,枠FLが付けられた(報知態様の変更の一例である)ことにより,基準値の変更により判別結果が変わったことが分かる。判別対象画像I4は,基準値の変更前は人物画像と判別されていたが,基準値の変更により非人物画像と判別されたことが分かる。図23においては基準値の変更前には判別対象画像I4は人物画像ウインドウ81(報知手段の一例である)に表示され,基準値が変更され,人物画像から非人物画像に判別結果が変わった場合においても人物画像ウインドウ81に表示されているが,基準値が変更されたことにより,判別対象画像I4を人物画像ウインドウ81における表示から非人物画像ウインドウ82における表示に切り替えてもよい(報知態様の変更の一例である)。その場合に判別結果が変わったことが分かりやすくなるように枠FLを付けてもよいが,付けなくともよい。
図22に戻って,基準値の設定が変更されない(ステップ171でNO),判別結果が変わらない(ステップ174でNO),あるいは判別結果に応じて判別対象画像に枠が付けられると(ステップ175),判別処理が行われていない次の判別対象画像を表す画像データが読み取られ(図21ステップ34),判別処理が行われる(ステップ35)。
図24は,変形例を示すもので,画像判別装置1の処理手順を示すフローチャートの一部を示している。
図24に示す処理は,図4に示すステップ36の処理につづいて行われる。
すべての判別対象画像について判別処理が終了すると(ステップ37でNO),人物画像と判別された判別対象画像と非人物画像と判別された判別対象画像とからアルバムへの採用の可否がCPU2(採用可否決定手段)によって決定される(ステップ181)。たとえば,非人物画像を用いずに人物画像のみを用いてアルバムを作成する場合には,人物画像と判別された画像の中からぼけの程度,明るさの程度,主要人物の位置などからアルバムに使用する人物画像が決定され,決定された人物画像の貼り付け位置がCPU2(位置決定手段)によって決定されてアルバムが作成される(ステップ182)。ユーザが貼り付け位置を決定してもよい。逆に,人物画像を用いずに非人物画像のみを用いてアルバムを作成する場合には,非人物画像と判別された画像の中からアルバムに使用する非人物画像が決定され(ステップ181),決定された非人物画像の貼り付け位置がCPU2(位置決定手段)によって決定されてアルバムが作成される(ステップ182)。このように,たとえば,人物画像と判別された画像のみのアルバム,非人物画像と判別された画像のみのアルバムを作成できる。
また,人物画像と判別された画像のみのアルバム,非人物画像と判別された画像のみのアルバムではなく,人物画像と判別された画像と非人物画像と判別された画像とからアルバムを作成してもよい。たとえば,人物画像と判別され画像と非人物画像と判別された画像との比率が所定の比率となるようにアルバムに採用する画像がCPU2(採用決定手段)によって決定され(ステップ181),決定された画像を用いて貼り付け位置がCPU2(位置決定手段)によって決定されてアルバムが作成されてもよい(ステップ182)。
第3実施例によると,基準値が変更されたことにより判別対象画像の判別結果が変更されたことが分かる。また,判別対象画像の判別結果に応じてアルバムを制作できるようになる。
上述の実施例において,判別する対象となる多数の画像を人物画像と非人物画像とに判別したが,人物画像と判別(第1段階の判別処理)した上で,人物画像を,「より人物らしい人物画像」と「非人物寄りの人物画像」とにさらに判別(第2段階の判別処理)してもよい。例えば,ある基準項目において,上述のスライダよりも人物度大の方向に寄った位置にサブスライダを設け,このサブスライダの示す人物度を基準値として,「より人物らしい人物画像」と「非人物寄りの人物画像」とを判別することとしてもよい。同様に,非人物画像を,「より非人物らしい非人物画像」と「人物寄りの非人物画像」とにさらに判別してもよい。
上述の実施例において画像判別装置1はパーソナル・コンピュータなどを利用して実現してもよいし,スマートフォンなどのような多機能携帯電話,タブレットのような板状のコンピュータを利用して実現してもよい。
上述の処理を実行する処理部には,ソフトウエアを実行して各種の処理部として機能するCPU2のほかに,FPGA(field-programmable gate array)などのように製造後に回路構成を変更可能なプログラマブル・ロジック・ディバイス,ASIC(application specific integrated circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は,これらの各種のプロセッサのうちの1つで構成されてもよいし,同種または異種の2つ以上のプロセッサの組合せ(たとえば,複数のFPGA,CPUとFPGAの組合せ)で構成されてもよい。複数の処理部を1つのプロセッサで構成する例としては,第1に,クライアント・コンピュータやサーバなどのコンピュータに代表されるように,1つ以上のCPUとソフトウエアの組合せで1つのプロセッサを構成し,このプロセッサが複数の処理部として機能する形態がある。第2に,システム・オン・チップなどに代表されるように,複数の処理部を含むシステム全体の機能を1つのIC(integrated circuit)チップで実現するプロセッサを使用する形態がある。このように,各種の処理部は,ハードウエア的な構造として各種のプロセッサを1つ以上用いて構成される。
さらに,これらの各種のプロセッサのハードウエア的な構造は,より具体的には,半導体素子などの回路素子を組合せた電気回路である。