JP2020123139A - 情報処理システム、端末装置、クライアント装置、それらの制御方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】ユーザーが所望する被写体やシーン等が含まれるコンテンツを適切に判断することができる情報処理システムを提供する。【解決手段】第１の情報処理装置は、コンテンツを取得し、第１の記憶手段に記憶された一次判定用の判定モデルを用いてコンテンツに含まれる情報を判定して、一次判定結果を出力する。第２の情報処理装置は、第１の情報処理装置から送信されたコンテンツを受信し、第２の記憶手段に記憶された二次判定用の判定モデルを用いてコンテンツに含まれる情報を判定して、二次判定結果を出力する。第１の情報処理装置は、一次判定結果と二次判定結果の少なくとも１つに基づいて最終的な判定結果を決定する。【選択図】 図２

Description

本発明は、ユーザーが所望するコンテンツを自動的に判断する情報処理システムに関するものである。

近年、静止画や動画といったコンテンツ中に存在する被写体やシーン等を判定するために、機械学習を利用した推論処理によって判定する事例が増えている。これらは、大量のコンテンツに基づいて判定モデルを作成し、その判定モデルを情報処理装置に記憶させておくことにより、情報処理装置が得たコンテンツ中に存在する被写体やシーンを効率よく判定するものである。

情報処理装置は、得られたコンテンツに含まれる被写体やシーン等の情報をユーザーに表示する。そして、ユーザーは情報処理装置が表示した、コンテンツに含まれる被写体やシーン等の判定情報を参照して、所望の被写体やシーン等が入ったコンテンツを効率的に得ることができる。

しかし、従来の情報処理装置に記憶可能な判定モデルは、情報処理装置が有する記憶容量や処理能力等の制限から、限られたサイズに限定される上に、取得したコンテンツに基づいてその判定モデルを更新することもできなかった。その結果、情報処理装置が記憶している判定モデルでは対応できない特徴的な被写体やシーン等が画像に含まれていた場合に、情報処理装置はその被写体やシーン等を判定することができず、適切な被写体やシーン等の情報をユーザーに表示することができなかった。そのため、ユーザーは所望の被写体やシーン等が入った画像を得られないことがあった。

これに対して、特許文献１では、共通な被写体やシーン等とは別に、特徴的な被写体やシーン等に対応した判定モデルを利用することが提案されている。また、特許文献２では、第１の情報処理装置と第２の情報処理装置それぞれに判定モデルを持ち、これらが連携して判定を行うことが提案されている。

特開２０１４−２２９１２４号公報 特開２０１４−１８６６３１号公報

特許文献１では、情報処理装置は、特徴的な被写体やシーン等に対応した特定の判定モデルを利用することにより、特徴的な被写体やシーン等が入ったコンテンツを判定することができる。しかし、特許文献１では、特徴的な被写体やシーン等に合致する特定の判定モデルが利用できるものの、判定結果の精度に応じて情報処理装置が記憶する判定モデルを更新する手段がない。さらに情報処理装置の処理能力や記憶容量が制限された環境では、精度の高い判定モデルを持つことができない。

一方、特許文献２では、迅速な判定が求められる第１の情報処理装置が制限された環境であっても、制限の少ない第２の情報処理装置に精度の高い判定モデルを持つことができる。そのため、第１の情報処理装置で迅速な判定を行い、その後、第２の情報処理装置で精度の高い判定を行うことができる。しかし、迅速な判定を行う第１の処理装置の判定モデルは、判定結果の精度を上げるために判定モデルを更新する手段がない。

これらの理由によって、従来の情報処理装置は、必ずしもユーザーが所望する被写体やシーン等の入ったコンテンツを判定できるわけではなかった。

本発明は上述した課題に鑑みてなされたものであり、その目的は、ユーザーが所望する被写体やシーン等が含まれるコンテンツを適切に判断することができる情報処理システムを提供することである。

本発明に係わる情報処理システムは、第１の情報処理装置と第２の情報処理装置が、有線または無線で通信可能に接続されて構成される情報処理システムであって、前記第１の情報処理装置は、コンテンツを取得するコンテンツ取得手段と、コンテンツの内容を判定するための一次判定用の判定モデルを記憶する第１の記憶手段と、前記一次判定用の判定モデルを用いて、コンテンツに含まれる情報を判定して、一次判定結果を出力する第１の判定手段と、コンテンツを前記第２の情報処理装置へ送信する第１の送信手段と、前記第２の情報処理装置から二次判定結果を受信し、前記一次判定結果と前記二次判定結果の少なくとも１つに基づいて最終的な判定結果を決定する決定手段と、を備え、前記第２の情報処理装置は、前記第１の情報処理装置から送信されたコンテンツを受信するコンテンツ受信手段と、コンテンツの内容を判定するための二次判定用の判定モデルを記憶する第２の記憶手段と、前記二次判定用の判定モデルを用いて、コンテンツに含まれる情報を判定して、二次判定結果を出力する第２の判定手段と、前記二次判定結果を前記第１の情報処理装置へ送信する第２の送信手段と、を備えることを特徴とする。

本発明によれば、ユーザーが所望する被写体やシーン等が含まれるコンテンツを適切に判断することができる情報処理システムを提供することが可能となる。

本発明の第１の実施形態に係わる情報処理装置の構成を示すブロック図。 本発明の第１の実施形態における第１及び第２の情報処理装置の構成を示すブロック図。 本発明の第１の実施形態における情報処理システム全体の構成を示す図。 第１の情報処理装置の処理手順を示すフローチャート。 第２の情報処理装置の処理手順を示すフローチャート。 通信環境によるコンテンツの送信間隔を示す図。 判定結果のスコアを示す図。 判定結果の修正について説明する図。 一次判定結果と二次判定結果が異なる場合を示す図。 一次判定の判定スコアが基準値以上で、一次判定結果と二次判定結果が異なる場合を示す図。 本発明の第２の実施形態における第１の情報処理装置の情報の管理形態を示す図。 第１の情報処理装置における画像判定結果を表示する動作を示すフローチャート。 第１の情報処理装置において、判定モデルを更新する動作を示すフローチャート。 第２の情報処理装置の情報の管理形態を示す図。 第２の情報処理装置において、画像判定結果を送信する動作を示すフローチャート。 第２の情報処理装置において、判定モデルを取得する動作を示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

＜第１の実施形態＞
図１は、本発明の第１の実施形態に係わる情報処理装置１００の構成を示すブロック図である。図１において、中央演算装置（以下、ＣＰＵと記す）１０１は情報処理装置の演算・制御を司る。ランダムアクセスメモリ（以下、ＲＡＭと記す）１０２は、ＣＰＵ１０１の主メモリとして、また実行プログラムの領域、そのプログラムの実行エリア、ならびにデータエリアとして機能する。

リードオンリーメモリ（以下、ＲＯＭと記す）１０３は、ＣＰＵ１０１の動作処理手順を示すプログラムを記憶している。ＲＯＭ１０３には、情報処理装置１００の機器制御を行うシステムプログラムである基本ソフト（ＯＳ）を記録したプログラムＲＯＭと、システムを稼働するために必要な情報等が記録されているデータＲＯＭとが設けられている。また、ＲＯＭ１０３の代わりに、後述のＨＤＤ１０９、ＮＡＮＤ型フラッシュメモリ、ＳＤカード、ソリッドステートドライブ（ＳＳＤ）等を用いることもできる。

ネットワークインターフェース（ＮＥＴＩＦ）１０４は、ネットワークを介して情報処理装置間のデータ転送を行うための制御や接続状況の診断を行う。ビデオＲＡＭ（ＶＲＡＭ）１０５は、後述する情報処理装置１００の稼働状態を示すＣＲＴ１０６の画面に表示させるためのコンテンツ情報や判定結果等を展開し、その表示の制御を行う。

ディスプレイ等の表示装置（以下、ＣＲＴと記す）１０６は、種々の情報を表示する。キーボードコントローラ（以下、ＫＢＣと記す）１０７は外部入力装置（以下、ＫＢと記す）１０８からの入力信号を制御する。ＫＢ１０８は利用者が行う操作を受付けるための装置であり、例えばキーボードやマウス等のポインティングデバイス、タッチパネルディスプレイが用いられる。

ハードディスクドライブ（以下、ＨＤＤと記す）１０９は、アプリケーションプログラムや各種データの保存用に用いられる。ＨＤＤの代わりにＮＡＮＤ型フラッシュメモリ、ＳＤカード、ソリッドステートドライブ（ＳＳＤ）等を用いてもよい。本実施形態におけるアプリケーションプログラムとは、本実施形態における各種処理を実行するソフトウェアプログラム（モジュール）等である。

外部入出力装置（以下、ＦＤＤと記す）１１０は、例えばフロッピーディスクドライブ、ＣＤ−ＲＯＭドライブ、ＳＤカード等のリムーバブルディスクを入出力する装置等であり、上述したアプリケーションプログラムの媒体からの読み出し等に用いられる。

ＦＤ１１１は、ＦＤＤ１１０によって読み出しされる磁気記録媒体（例えば、フレキシブルディスクや外付けハードディスク）である。なお、メディアは、フレキシブルディスクに限らず、光記録媒体（例えば、ＣＤ−ＲＯＭ）、光磁気記録媒体（例えば、ＭＯ）、半導体記録媒体（例えば、ＳＤカード）等の取り外し可能なデータ記録装置（リムーバブル・メディア）で構成されていてもよい。なお、ＨＤＤ１０９に格納するアプリケーションプログラムやデータをＦＤＤ１１０に格納して使用することも可能である。

図２は、情報処理装置におけるコンテンツ判定方法を実現するアプリケーションプログラムの構成を説明するブロック図である。本実施形態では、情報処理装置内で動作する処理モジュール群及び情報を格納する格納装置を備える。各処理モジュール群及び格納装置間の制御及び情報の流れを以下に説明する。

本実施形態の情報処理システムは、第１の情報処理装置２０１、第２の情報処理装置２０２、およびそれらを有線又は無線で通信可能に接続するネットワーク２０３で実現される。コンテンツ取得モジュール２０４、一次判定モジュール２０５、コンテンツ送信モジュール２０６、判定結果修正モジュール２０７、判定モデル更新モジュール２０８の各モジュールは処理モジュールであり、情報記憶装置２０９は格納装置である。これらの処理モジュール及び格納装置は、第１の情報処理装置２０１内に配置されている。同様に、コンテンツ受信モジュール２１０、二次判定モジュール２１１、判定結果送信モジュール２１２、判定モデル送信モジュール２１３の各モジュールは処理モジュールであり、情報記憶装置２１４は格納装置である。これらの処理モジュール及び格納装置は、第２の情報処理装置２０２内に配置されている。

なお、これらの処理モジュールは、図１に示したＲＯＭ１０３、ＨＤＤ１０９、又はＦＤＤ１１０から読み込まれてＲＡＭ１０２に展開され、ＣＰＵ１０１で使用されるアプリケーションプログラム、又はプログラムの一部として動作するモジュールである。各情報処理装置内の情報記憶装置２０９，２１４には、コンテンツ情報、判定モデル、判定結果が格納される。なお、第２の情報処理装置２０２の情報記憶装置２１４の記憶容量は、第１の情報処理装置２０１の情報記憶装置２０９の記憶容量よりも大きく、より規模の大きい判定モデルを格納できる。判定モデルは、例えば、畳み込みニューラルネットワーク（ＣＮＮ：コンボリューショナル・ニューラル・ネットワーク）のようなディープラーニングを用いた機械学習によって生成された学習モデルである。

情報処理装置と、その中の処理モジュール及び情報格納装置は、以下のように動作する。自動起動されるか、もしくは操作者がＫＢ１０８から入力した情報や指示は、ＫＢＣ１０７を通じて情報処理装置に入力され、必要に応じてＲＡＭ１０２に展開され、ＣＰＵ１０１へ伝えられる。ＣＰＵ１０１では、演算が行われる。演算に必要な処理モジュールと情報格納装置に格納された情報は、ＲＯＭ１０３、ＨＤＤ１０９、ＦＤＤ１１０等からＲＡＭ１０２に展開され、ＣＰＵ１０１へ伝えられる。ＣＰＵ１０１で演算した結果は、必要がある場合、ＲＡＭ１０２、ＨＤＤ１０９、ＦＤＤ１１０等に存在する情報格納装置に書き込まれる。また同時に、ＣＰＵ１０１で演算した結果は、必要がある場合、ＶＲＡＭ１０５を介してＣＲＴ１０６に表示される。ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、ＮＥＴＩＦ１０４、ＶＲＡＭ１０５、ＫＢＣ１０７、ＨＤＤ１０９、ＦＤＤ１１０間の伝送は伝送バス１１３を通じて行われる。

図３は、第１の実施形態における情報処理システム全体の構成を示す図である。撮像装置（端末装置）３０１は、ユーザーからの操作による画像や動画といったコンテンツの取得要求を検出し、撮像対象のコンテンツを表示しつつ、それらを取得する（撮像する）。撮像装置３０１は、図２の第１の情報処理装置２０１に該当する。撮像装置３０１は、取得したコンテンツを解析し、それらに含まれる被写体やシーン等を判定する。このとき、コンテンツを格納している撮像装置３０１内で被写体やシーン等を判定できるため、迅速に判定結果を得ることができる。しかし、撮像装置３０１は、記憶容量や処理能力等に制限があるため、限られた判定モデルしか持つことができない。あるいは、撮像装置３０１が第２の情報処理装置２０２と同等の記憶容量や処理能力を備えていたとしても、強化学習を行う機能を備えていないのであれば、出荷された時点における判定モデルしか持つことができない。

インターネット３０２は、図２のネットワーク２０３に該当する。コンテンツ判定処理サーバ３０３は、撮像装置３０１からのコンテンツを受信し、それらに含まれる被写体やシーン等を判定する。コンテンツ判定処理サーバ３０３は、図２の第２の情報処理装置２０２に該当する。コンテンツ判定処理サーバ３０３は、記憶容量や処理能力に制限が少ないため、精度の高い判定モデルを持つことができる。さらに、コンテンツ判定処理サーバ３０３は、定期的に教師データを収集して強化学習を行うことで、随時、判定モデルの判定精度を向上させることもできる。撮像装置３０１とコンテンツ判定処理サーバ３０３はインターネット３０２を経由して、コンテンツデータの送受信を行う。撮像装置３０１はユーザーからの撮影操作によってコンテンツを取得する。そして、それらのコンテンツに含まれる被写体やシーン等の判定は、撮像装置３０１が保持する判定モデルによる一次判定結果と、コンテンツ判定処理サーバ３０３の判定モデルによる二次判定結果とを照らし合わせて行われる。

次に、本実施形態におけるコンテンツ判定方法の処理手順について、図４、図５のフローチャートを用いて詳細に説明する。図４は、本実施形態のコンテンツ判定方法における第１の情報処理装置２０１の処理手順について説明するフローチャートである。

ステップＳ１０１では、コンテンツ取得モジュール２０４は、コンテンツの撮像処理によってコンテンツを作成してコンテンツを取得する、あるいは情報記憶装置２０９から格納されているコンテンツを取得する。

ステップＳ１０２では、一次判定モジュール２０５は、一次判定用の判定モデルを用いてコンテンツの内容を解析し、コンテンツに含まれる情報を判定する。後の処理で判定結果が修正されるまでの間に判定結果を参照する場合は、一次判定結果を用いる。

ステップＳ１０３では、コンテンツ送信モジュール２０６は、コンテンツ情報と一次判定結果を第２の情報処理装置２０２へ送信する。

ステップＳ１０４では、判定結果修正モジュール２０７は、第２の情報処理装置２０２から二次判定結果を受信し、さらにステップＳ１０５では、一次判定結果と二次判定結果が同じかどうかを比較する。一次判定結果と二次判定結果が同じ場合は、一次判定結果をそのまま判定結果として決定し、ステップＳ１０７に進む。一方、判定結果が同じでない場合は、ステップＳ１０６に進む。

ステップＳ１０６では、一次判定結果ではなく二次判定結果を採用するように、判定結果を修正する。

ステップＳ１０７では、判定モデル更新モジュール２０８は、判定モデル更新条件を満たすか否かの判定を行う。更新条件を満たす場合は、ステップＳ１０８に進み、更新条件を満たさない場合は、このフローの動作を終了する。

ステップＳ１０８では、判定モデル更新モジュール２０８は、判定モデルを更新して、このフローの動作を終了する。

図５は、本実施形態のコンテンツ判定方法における第２の情報処理装置の処理手順について説明するフローチャートである。

ステップＳ２０１では、コンテンツ受信モジュール２１０は、図４のステップＳ１０３で第１の情報処理装置２０１から送信されたコンテンツを受信する。

ステップＳ２０２では、二次判定モジュール２１１は、二次判定用の判定モデルを用いてコンテンツの内容を解析し、コンテンツに含まれる情報を判定する。

ステップＳ２０３では、判定結果送信モジュール２１２は、二次判定結果を第１の情報処理装置２０１へ送信する。

次に、第１の情報処理装置２０１で取得したコンテンツ情報と一次判定結果を第２の情報処理装置２０２へ送信するコンテンツ送信モジュール２０６について説明する。これは、図４のステップＳ１０３の処理に該当する。

コンテンツ情報の判定精度を高めるためには、第１の情報処理装置２０１で取得したコンテンツを、毎回第２の情報処理装置２０２へ送信して、コンテンツを高精度に判定可能な二次判定を行うのが望ましい。しかし、通信環境や情報処理装置の性能、コンテンツサイズ等の環境によっては、コンテンツの送信や判定処理に待ちが発生し、二次判定のための処理が滞留する問題が発生する。そのため、すべてのコンテンツを第２の情報処理装置へ送信するのではなく、環境に応じた方法で、コンテンツを送信した方がよい場合がある。

図６は、通信環境によってコンテンツを送信する間隔を変更するコンテンツ送信モジュール２０６の動作について説明する図である。ＷｉＦｉ環境の場合は、６０１で示すように１秒間隔、４Ｇ環境の場合は、６０２で示すように５秒間隔、３Ｇ環境の場合は、６０３で示すように２０秒間隔でコンテンツを送信する。こうすることにより、二次判定処理が滞留することなく、通信環境に適した時間間隔で二次判定結果が得られる。なお、ここでは通信環境を用いてコンテンツを送信する間隔を変更する方法について説明したが、コンテンツのサイズや情報処理装置の性能に応じて、コンテンツ送信間隔を変更しても構わない。

図７は、判定結果のスコアが基準値未満である場合のみコンテンツを送信する動作を説明する図である。ここでは、第１の情報処理装置２０１で取得したコンテンツを解析して、その中に含まれる主要な被写体名を判定し、その判定結果の確度を０から１００までの判定スコアとして表示している。第１の情報処理装置２０１の一次判定で、確度の高い判定スコアが得られた場合は、第２の情報処理装置２０２の二次判定を行わなくても判定結果は正しい可能性が高い。そのため、その場合は第２の情報処理装置２０２へコンテンツを送信しない。例えば、コンテンツ送信の基準となる判定スコアを５０未満とした場合、７０１、７０２、７０４、７０５の判定スコアは、５０以上であるため、一次判定の被写体判定結果をそのまま採用する。一方、７０３は、被写体判定結果がバイク、判定スコアが３０となっており、基準となる判定スコア５０よりも低いため、第２の情報処理装置２０２へコンテンツを送信し、二次判定を行う。

図８は、判定結果修正モジュールについて説明する図である。図７の７０３のコンテンツを第２の情報処理装置２０２へ送信し、二次判定を行った結果、８０１で示すように、被写体判定結果が自転車、判定スコアが８５となっている。二次判定による被写体判定結果として、一次判定とは異なる自転車という判定結果が出たので、こちらを最終的な判定結果として修正する。このように、より精度の高い二次判定で異なる判定結果が出た場合は、コンテンツの判定結果を修正する。これにより、迅速に一次判定を行った結果を採用しつつ、精度の低い結果に対しては、精度の高い二次判定結果によって、後から判定結果を修正することができる。ここでは、二次判定結果が一次判定結果と異なる場合、そのまま二次判定結果を採用しているが、二次判定の判定スコアが基準値となる５０未満であれば、判定結果を不明としてもよいし、一次判定の結果を採用してもよい。

次に、一次判定と二次判定の結果から、判定モデル更新条件を満たすかの判定を行い、判定モデルを更新する処理について説明する。これは、図４のステップＳ１０７、Ｓ１０８の処理に該当する。一次判定と二次判定の結果が異なる場合、判定精度の差から、一次判定の方が誤っている場合が多い。そのため、最終的な判定結果は、二次判定の結果を採用することになる。しかし、迅速かつ精度の高い判定を行うためには、一次判定の精度を上げる必要があるため、第１の情報処理装置２０１でも精度の高い判定を得られるよう、判定モデルの更新を行う。

図９は、一次判定の結果と二次判定の結果が異なる場合の判定モデル更新について説明する図である。図９では、一定時間内に５つのコンテンツを取得し、それぞれで被写体の判定を行っている。被写体判定結果９０１、９０２、９０３では、一次判定結果と二次判定結果の被写体が同一という判定結果となっている。一方、９０４、９０５では、一次判定結果と二次判定結果の被写体が異なる判定結果となっている。ここでは、二次判定結果は、すべて正しいものとする。

本実施形態では、一次判定結果に一定時間内に所定の割合（例えば３割）を超える誤りがあった場合、第１の情報処理装置の判定モデルを更新する。図９の例では、４割の一次判定結果に誤りがあるため、判定モデルの更新処理を行う。この場合、第１の情報処理装置２０１が取得したコンテンツのうち、バイク、自転車の被写体について誤りがあるので、これらの判定精度が高い判定モデルに置き換える。第１の情報処理装置２０１の判定モデルが、飛行機、自動車、バス、電車、バイク、自転車等の乗り物を判定できるモデルとした場合、判定精度が上がるように使用頻度の少ない被写体判定を含まない自動車、バス、バイク、自転車に特化した判定モデルに置き換える。

このように、コンテンツに応じた判定モデルに置き換えることにより、第１の情報処理装置２０１の処理能力や記憶容量が制限された環境であっても、精度の高い判定結果を得ることができる。

図１０は、一次判定の判定スコアが基準値以上で、一次判定結果と二次判定結果が異なる場合の判定モデル更新について説明する図である。被写体判定結果１００１では、一次判定結果の判定スコアが基準値である５０を超えているにも関わらず、二次判定結果の被写体とは異なり、結果として誤りとなっている。この場合、一次判定モデルがコンテンツの判定に適していないと考えられるため、第１の情報処理装置２０１の判定モデルを更新する。このように、一次判定結果のスコアが信頼できるものであるにもかかわらず、判定結果に誤りが発生している場合は、一次判定に用いる判定モデルを更新することにより判定精度の向上を図る。

本実施形態では、コンテンツとして画像を用いて説明したが、動画や音声といった他のコンテンツを用いてもよい。判定内容についても、コンテンツに映っている被写体の判定（被写体解析）を用いて説明したが、海、山、ホール内等の撮像シーンの検出（シーン解析）や、コンテンツの審美性評価（審美性解析）のように、ある特徴量を判定するものであってもよい。

以上説明したように、第１の実施形態によれば、ユーザーが所望する被写体やシーン等が含まれるコンテンツを適切に判断することが可能となる。

＜第２の実施形態＞
この第２の実施形態では、情報処理装置の構成及びシステム全体の構成は、図１乃至図３に示した第１の実施形態の構成と同様である。そのため、それらについての詳細な説明は省略する。

本実施形態では、これも第１の実施形態と同様であるが、コンテンツに含まれる被写体やシーン等の判定は、撮像装置３０１（第１の情報処理装置２０１）が保持する判定モデルによる一次判定結果と、コンテンツ判定処理サーバ３０３（第２の情報処理装置２０２）の判定モデルによる二次判定結果とを照らし合わせて行われる。

例えば、第１の情報処理装置２０１が画像に含まれる被写体Ａを判定し、被写体Ｂは判定できなかったとする。一方で、第２の情報処理装置２０２は第１の情報処理装置２０１からの画像に含まれる被写体Ｂを判定して、その結果を第１の情報処理装置２０１に送信していたとする。この場合、第１の情報処理装置２０１はユーザーの撮影操作による画像に対して、被写体Ａだけではなく被写体Ｂも判定したものとして、判定結果を表示する。

第１の情報処理装置２０１は、特定の被写体について、判定が失敗し、第２の情報処理装置２０２の判定結果を受け取ることが所定回数に達すると、この特定の被写体についての判定モデルの取得要求を第２の情報処理装置２０２に対して行う。第２の情報処理装置２０２に判定モデルの取得要求（判定モデル取得要求）を送信すると、第２の情報処理装置２０２から更新用判定モデルが送信され、その更新用判定モデルに基づいて、第１の情報処理装置２０１が保持する判定モデルを更新する。

第２の情報処理装置２０２は第１の情報処理装置２０１からの画像を受信して、その画像に含まれる被写体やシーン等の判定を行う。その際、使用されたモデルの使用頻度を記憶しておき、その使用頻度の情報を判定結果とともに第１の情報処理装置２０１に返信する。

このようにして、第１の情報処理装置２０１はユーザーが撮影する画像の判定に適した判定モデルを得ることができる。その結果、第１の情報処理装置２０１のユーザーは、更新された判定モデルを記憶した第１の情報処理装置２０１を利用して、所望する被写体やシーン等が含まれる画像を効率的に得ることができる。

図１１は、第２の実施形態における第１の情報処理装置２０１が管理する情報を格納する管理形態の一例を示す図である。

図１１において、テーブル１３００は、第１の情報処理装置２０１が記憶する判定モデルを管理するためのテーブルである。判定モデル情報１３０１は、第１の情報処理装置２０１が記憶する判定モデルを判別するための情報である。使用頻度情報１３０２は、判定モデル情報１３０１の各判定モデルの使用頻度に関する情報である。

テーブル１３００には、もともと第１の情報処理装置２０１が保持している判定モデルおよびその使用頻度の情報が含まれる。ただし、それだけでなく、第２の情報処理装置２０２に判定を行ってもらった際に第２の情報処理装置２０２が使用した判定モデルと、第２の情報処理装置２０２にその判定モデルを用いて判定を行ってもらった頻度についての情報も含まれる。第１の情報処理装置２０１は、第１の情報処理装置２０１の記憶容量や処理能力等の制限から、一般的に撮影対象として好ましいものとされる被写体やシーンを判定するための判定モデルのみを備えている。これに対し、第２の情報処理装置２０２は、一般的に撮影対象として好ましいものとされる被写体やシーンを判定するための判定モデルに加え、一般的でない特殊な被写体のシーンを判定するための判定モデルを複数備えている。

テーブル１３１０は、判定モデル情報１３０１で示した各判定モデルを更新する更新基準を管理するためのテーブルである。更新基準情報１３１１は、判定モデル情報１３０１で示した各判定モデルを更新する更新基準に関する情報である。テーブル１３２０は、判定モデル情報１３０１で示した各判定モデルが画像を判定した時の判定結果の信頼度の基準を管理するためのテーブルである。信頼度基準情報１３２１は、判定モデル情報１３０１で示した各判定モデルが画像を判定した時の判定結果の信頼度の基準に関する情報である。

第１の情報処理装置２０１は画像を取得して、画像の被写体やシーン等を判定する場合には、テーブル１３００の判定モデル情報１３０１を参照する。そして、取得画像に対して、判定モデル情報１３０１に登録されている判定モデルのうち、第１の情報処理装置２０１が備える判定モデルを順に適用して、被写体やシーン等を判定し、その結果を表示する。

第１の情報処理装置２０１は、第１の情報処理装置２０１が備える判定モデルだけでは判定に成功しなかった場合には、第２の情報処理装置２０２にその取得画像を送信し、第２の情報処理装置２０２による判定結果と、そこで用いた判定モデルの情報を受け取る。第１の情報処理装置２０１は、受け取った判定モデルの情報が新規であればテーブル１３００に新たな判定モデルの情報を追加し、既にある判定モデルに相当するものであれば、その使用頻度を更新する。

第１の情報処理装置２０１は、判定モデル情報１３０１に登録されている判定モデルに対応する使用頻度情報１３０２の値と、更新基準に関するテーブル１３１０の更新基準情報１３１１の値を取得する。そして、使用頻度情報１３０２の値が更新基準情報１３１１の値に達した場合、その判定モデルを更新するための更新用判定モデルを第２の情報処理装置２０２から取得する。そして、第１の情報処理装置２０１は第２の情報処理装置２０２から取得した更新用判定モデルに基づいて一定の使用頻度に達した判定モデルを更新する。

第１の情報処理装置２０１は、第２の情報処理装置２０２に画像を送信して、第２の情報処理装置２０２での判定結果を取得する。しかし、あえて、第２の情報処理装置２０２に画像を送信しなくても、第１の情報処理装置２０１が保持する判定モデルで信頼度の高い判定結果が得られる場合がある。この場合、第１の情報処理装置２０１は、信頼度の高い判定結果かどうかを判断するための基準として、テーブル１３２０の信頼度基準情報１３２１の値を取得する。つまり、第１の情報処理装置２０１は、判定モデル情報１３０１に対応する判定モデルから得られた取得画像の判定結果の信頼度の値と、信頼度基準情報１３２１の値とを比較する。そして、判定モデル情報１３０１に対応する判定モデルから得られた信頼度の値が信頼度基準情報１３２１の値よりも小さい場合には、第２の情報処理装置２０２から画像の判定結果を取得する。ここで、判定モデルに対応する使用頻度情報１３０２は、その判定モデルが画像を判定した結果の正答率を使用しても良い。

図１２は、第２の実施形態における、第１の情報処理装置２０１で画像判定結果を表示する動作を示すフローチャートである。

ステップＳ４０１では、第１の情報処理装置２０１は、画像の取得要求を検出したか否かを判定する。そして、画像の取得要求を検出した場合（判定でＹＥＳの場合）には、ステップＳ４０２に進み、検出していない場合（判定でＮＯの場合）には、そのまま待機する。

ステップＳ４０２では、第１の情報処理装置２０１は、画像を取得する（撮像を行う）。

ステップＳ４０３では、第１の情報処理装置２０１は、ステップＳ４０２において取得した画像に基づいて、画像の判定方法を取得する。画像の判定方法とは、例えば以下のようなものである。第１の情報処理装置２０１が、テーブル１３００に登録されている判定モデル情報１３０１を参照して、人物、動物、風景等の判定モデルに基づいて取得した画像を判定する。その結果、信頼度の高い判定結果が得られた場合には、その判定結果を利用する。一方、信頼度の高い判定結果が得られなかった場合には、第２の情報処理装置２０２に取得した画像を送信して判定結果を取得するといった内容である。

ステップＳ４０４では、第１の情報処理装置２０１は、ステップＳ４０３において取得した情報に基づいて、第２の情報処理装置２０２から画像の判定結果を取得するか否かを判定する。第２の情報処理装置２０２から画像の判定結果を取得すると判定した場合（判定でＹＥＳの場合）には、ステップＳ４０５に進み、取得すると判定しなかった場合（判定でＮＯの場合）には、ステップＳ４０６に進む。

ステップＳ４０５では、第１の情報処理装置２０１は、画像、画像を撮影したレンズ、機器、撮影位置等の情報（メタ情報）に基づいて、第２の情報処理装置２０２から画像の判定結果を取得する。

ステップＳ４０６では、前段のステップＳ４０５を実行している場合には、第１の情報処理装置２０１は、自身が保持する判定モデルによる画像の判定結果を、第２の情報処理装置２０２の画像の判定結果で上書き更新し、画像の判定結果を確定する。一方、ステップＳ４０５をスキップしている場合は、第１の情報処理装置２０１は、自身が保持する判定モデルによる画像の判定結果に基づいて、画像の判定結果を確定する。

ステップＳ４０７では、第１の情報処理装置２０１は、画像判定結果を表示する。

図１３は、第１の情報処理装置２０１において、判定モデルを更新する動作を示すフローチャートである。

ステップＳ５０１において、第１の情報処理装置２０１は、更新用判定モデルの取得要求を検出したか否かを判定する。更新用判定モデルの取得要求を検出した場合（判定でＹＥＳの場合）には、ステップＳ５０２に進み、検出していない場合（判定でＮＯの場合）には、そのまま待機する。

例えば、第１の情報処理装置２０１は、図１２のステップＳ４０３を実行することにより、画像の判定に使用した判定モデルの使用頻度情報１３０２をカウントアップすることになる。第１の情報処理装置２０１は、ステップＳ５０１において、その使用頻度情報１３０２の値とテーブル１３１０の更新基準情報３１１の値とを比較する。そして、使用頻度情報１３０２の値が更新基準情報１３１１の値に達していた場合に、更新用判定モデルの取得要求があったと判定する。

ステップＳ５０２では、第１の情報処理装置２０１は、使用頻度が更新基準情報１３１１の値に達した判定モデルを更新するために、更新用判定モデルの取得要求を第２の情報処理装置２０２に送信し、更新用判定モデルを取得する。

ステップＳ５０３では、第１の情報処理装置２０１は、ステップＳ５０２において取得した更新用判定モデルに基づいて、新たな判定モデルを記憶する。あるいは、すでに備えているいずれかの判定モデルを、取得した更新用判定モデルを用いて、新たな判定モデルに更新する。

図１４は、第２の実施形態における第２の情報処理装置２０２が管理する情報を格納する管理形態の一例を示す図である。

テーブル１６００は、第２の情報処理装置２０２が記憶する判定モデルを管理するためのテーブルである。判定モデル情報１６０１は、第２の情報処理装置２０２が記憶する判定モデルを判別するための情報である。機器情報１６０２は、第２の情報処理装置２０２が記憶する判定モデルに関連するレンズ、機器、撮影位置等の情報である。使用頻度情報１６０３は、各判定モデルの使用頻度に関する情報である。テーブル１６１０は、判定モデル情報１６０１で示した各判定モデルを更新する更新基準を管理するためのテーブルである。更新基準情報１６１１は、判定モデル情報１６０１で示した各判定モデルを更新する更新基準に関する情報である。

第２の情報処理装置２０２は、第１の情報処理装置２０１から画像を取得して、テーブル１６００の判定モデル情報１６０１を参照し、取得画像に対して、画像を撮影したレンズ、機器、撮影位置等に基づいて、登録されている判定モデルを順に適用する。そして、被写体やシーン等を判定し、その結果を表示する。なお、第２の情報処理装置２０２に備えられている判定モデルも、第１の情報処理装置２０１から送信されている画像データに基づいて更新するようにしてもよい。

図１５は、第２の情報処理装置２０２において、画像判定結果を取得する動作を示すフローチャートである。

ステップＳ７０１において、第２の情報処理装置２０２は、画像の受信を検出したか否かを判定する。画像の受信を検出した場合（判定でＹＥＳの場合）には、ステップＳ７０２に進み、検出していない場合（判定でＮＯの場合）には、そのまま待機する。ステップＳ７０２では、第２の情報処理装置２０２は、画像を取得する。

ステップＳ７０３では、第２の情報処理装置２０２は、ステップＳ７０２において取得した画像に基づいて、画像判定を実行する。例えば、第２の情報処理装置２０２は、テーブル１６００に登録されている判定モデル情報１６０１に基づいて、人物、動物、風景等の判定モデルを用いて、取得した画像を判定する。

ステップＳ７０４では、第２の情報処理装置２０２は、ステップＳ７０３において取得した画像の判定結果と、その際に用いた判定モデルの情報を第１の情報処理装置２０１に送信する。

図１６は、第２の情報処理装置２０２において、判定モデルを第１の情報処理装置２０１に送信する方法を示すフローチャートである。

ステップＳ８０１において、第２の情報処理装置２０２は、更新用判定モデルの取得要求を検出したか否かを判定する。更新用判定モデルの取得要求を検出した場合（判定でＹＥＳの場合）には、ステップＳ８０２に進み、検出していない場合（判定でＮＯの場合）には、そのまま待機する。

ステップＳ８０２では、第２の情報処理装置２０２は、第１の情報処理装置２０１に送信するべき更新用判定モデルを取得する。具体的には、第２の情報処理装置２０２は、判定対象の画像、画像を撮影したレンズ、機器、撮影位置等の情報に基づいて、テーブル１６００を参照して、取得対象の判定モデルを取得する。

ステップＳ８０３では、第２の情報処理装置２０２は、第１の情報処理装置２０１に更新用判定モデルを送信する。この際、第１の情報処理装置２０１に向けて更新用判定モデルをカスタマイズして送信してもよい。

以上説明したように、第２の実施形態においても、ユーザーが所望する被写体やシーン等が含まれるコンテンツを適切に判断することが可能となる。

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００：情報処理装置、１０１：ＣＰＵ（中央制御装置）、１０２：ＲＡＭ、１０３：ＲＯＭ、１０４：ＮＥＴＩＦ（ネットワークインターフェース）、１０５：ＶＲＡＭ（ビデオＲＡＭ）、１０６：ＣＲＴ（ディスプレイ）、１０７：ＫＢＣ（キーボードコントローラ）、１０８：ＫＢ（キーボード）、１０９：ＨＤＤ（ハードディスクドライブ）、１１０：ＦＤＤ、１１１：ＦＤ

Claims (26)

1. 第１の情報処理装置と第２の情報処理装置が、有線または無線で通信可能に接続されて構成される情報処理システムであって、
   前記第１の情報処理装置は、
   コンテンツを取得するコンテンツ取得手段と、
   コンテンツの内容を判定するための一次判定用の判定モデルを記憶する第１の記憶手段と、
   前記一次判定用の判定モデルを用いて、コンテンツに含まれる情報を判定して、一次判定結果を出力する第１の判定手段と、
   コンテンツを前記第２の情報処理装置へ送信する第１の送信手段と、
   前記第２の情報処理装置から二次判定結果を受信し、前記一次判定結果と前記二次判定結果の少なくとも１つに基づいて最終的な判定結果を決定する決定手段と、を備え、
   前記第２の情報処理装置は、
   前記第１の情報処理装置から送信されたコンテンツを受信するコンテンツ受信手段と、
   コンテンツの内容を判定するための二次判定用の判定モデルを記憶する第２の記憶手段と、
   前記二次判定用の判定モデルを用いて、コンテンツに含まれる情報を判定して、二次判定結果を出力する第２の判定手段と、
   前記二次判定結果を前記第１の情報処理装置へ送信する第２の送信手段と、を備えることを特徴とする情報処理システム。
2. 前記二次判定用の判定モデルは、前記一次判定用の判定モデルよりも高い精度でコンテンツに含まれる情報を判定可能であることを特徴とする請求項１に記載の情報処理システム。
3. 前記第２の記憶手段は、前記第１の記憶手段よりも記憶容量が大きいことを特徴とする請求項１または２に記載の情報処理システム。
4. 前記第１の情報処理装置は端末装置であり、前記第２の情報処理装置はサーバ装置であることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理システム。
5. 前記決定手段は、前記一次判定結果と前記二次判定結果を比較し、判定結果が同じである場合には、前記一次判定結果を最終的な判定結果とし、判定結果が異なる場合には、前記二次判定結果を最終的な判定結果とすることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理システム。
6. 前記第１の送信手段は、前記第１の情報処理装置と前記第２の情報処理装置の通信環境、第１及び第２の情報処理装置の処理能力、記憶容量の少なくとも１つに応じて、前記第２の情報処理装置へのコンテンツの送信間隔を変更することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理システム。
7. 前記第１の送信手段は、前記一次判定結果のスコアが基準値未満である場合に、コンテンツを前記第２の情報処理装置に送信することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理システム。
8. 前記第１の情報処理装置は、前記一次判定結果に、一定時間内に所定の割合の誤りがあった場合に、前記一次判定用の判定モデルを更新することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理システム。
9. 前記第１の情報処理装置は、前記一次判定結果のスコアが基準値以上であるにもかかわらず、前記一次判定結果と前記二次判定結果が異なる場合に、前記一次判定用の判定モデルを更新することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理システム。
10. 前記コンテンツは、画像または動画であることを特徴とする請求項１乃至９のいずれか１項に記載の情報処理システム。
11. 前記コンテンツ取得手段は、撮像装置であることを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理システム。
12. 前記第１及び第２の判定手段は、被写体解析を行うことにより、コンテンツに含まれる情報を判定することを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理システム。
13. 前記第１及び第２の判定手段は、シーン解析を行うことにより、コンテンツに含まれる情報を判定することを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理システム。
14. 前記第１及び第２の判定手段は、審美性解析を行うことにより、コンテンツに含まれる情報を判定することを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理システム。
15. 前記第１の情報処理装置は、前記第２の情報処理装置から、前記一次判定用の判定モデルを更新するための更新用判定モデルを取得する判定モデル取得手段をさらに備えることを特徴とする請求項１に記載の情報処理システム。
16. 前記第１の送信手段は、前記一次判定結果の信頼度が所定の基準値よりも小さい場合に、コンテンツを前記第２の情報処理装置に送信することを特徴とする請求項１５に記載の情報処理システム。
17. 前記第２の情報処理装置は、前記第２の判定手段により得られた前記二次判定結果を前記第１の情報処理装置に送信する場合に、前記第２の判定手段で用いられた判定モデルの使用頻度の情報を併せて送信することを特徴とする請求項１６に記載の情報処理システム。
18. 前記判定モデル取得手段は、前記一次判定用の判定モデルの使用頻度が所定の頻度を超えた場合に、前記第２の情報処理装置から、前記更新用判定モデルを取得することを特徴とする請求項１５に記載の情報処理システム。
19. 前記第２の情報処理装置は、前記第１の情報処理装置から取得した画像のメタ情報に基づいて、前記第２の判定手段で用いる判定モデルを切り替えることを特徴とする請求項１５に記載の情報処理システム。
20. 前記メタ情報は、画像を撮影したレンズの情報、画像を撮影した機器の情報、画像を撮影した位置の情報の少なくとも１つを含むことを特徴とする請求項１９に記載の情報処理システム。
21. 端末装置とサーバ装置が、有線または無線で通信可能に接続されて構成される情報処理システムに用いられる前記端末装置であって、
    コンテンツを取得するコンテンツ取得手段と、
    コンテンツの内容を判定するための一次判定用の判定モデルを記憶する記憶手段と、
    前記一次判定用の判定モデルを用いて、コンテンツに含まれる情報を判定して、一次判定結果を出力する判定手段と、
    コンテンツを前記サーバ装置へ送信する送信手段と、
    前記サーバ装置から、前記サーバ装置で前記コンテンツに含まれる情報を判定した二次判定結果を受信し、前記一次判定結果と前記二次判定結果の少なくとも１つに基づいて最終的な判定結果を決定する決定手段と、
    を備えることを特徴とする端末装置。
22. 端末装置とサーバ装置が、有線または無線で通信可能に接続されて構成される情報処理システムに用いられる前記サーバ装置であって、
    前記端末装置から送信されたコンテンツを受信するコンテンツ受信手段と、
    コンテンツの内容を判定するための二次判定用の判定モデルを記憶する記憶手段と、
    前記二次判定用の判定モデルを用いて、コンテンツに含まれる情報を判定して、二次判定結果を出力する判定手段と、
    前記二次判定結果を前記端末装置へ送信する送信手段と、
    を備えることを特徴とするサーバ装置。
23. 端末装置とサーバ装置が、有線または無線で通信可能に接続されて構成される情報処理システムに用いられる前記端末装置を制御する方法であって、
    コンテンツを取得するコンテンツ取得工程と、
    コンテンツの内容を判定するための一次判定用の判定モデルを記憶する記憶工程と、
    前記一次判定用の判定モデルを用いて、コンテンツに含まれる情報を判定して、一次判定結果を出力する判定工程と、
    コンテンツを前記サーバ装置へ送信する送信工程と、
    前記サーバ装置から、前記サーバ装置で前記コンテンツに含まれる情報を判定した二次判定結果を受信し、前記一次判定結果と前記二次判定結果の少なくとも１つに基づいて最終的な判定結果を決定する決定工程と、
    を有することを特徴とする端末装置の制御方法。
24. 端末装置とサーバ装置が、有線または無線で通信可能に接続されて構成される情報処理システムに用いられる前記サーバ装置を制御する方法であって、
    前記端末装置から送信されたコンテンツを受信するコンテンツ受信工程と、
    コンテンツの内容を判定するための二次判定用の判定モデルを記憶する記憶工程と、
    前記二次判定用の判定モデルを用いて、コンテンツに含まれる情報を判定して、二次判定結果を出力する判定工程と、
    前記二次判定結果を前記端末装置へ送信する送信工程と、
    を有することを特徴とするサーバ装置の制御方法。
25. 請求項２３または２４に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
26. 請求項２３または２４に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images