JP2014521175A

JP2014521175A - ヒューマン・マシン対話におけるマシン側での対象オブジェクト認識の方法および装置

Info

Publication number: JP2014521175A
Application number: JP2014520504A
Authority: JP
Inventors: ▲瑩▼ 王; 爽秦; 超林; 柳成 ▲張▼; 昊 ▲呉▼
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2011-07-21
Filing date: 2012-06-07
Publication date: 2014-08-25
Anticipated expiration: 2032-06-07
Also published as: CN102890604A; BR112014001165B1; KR20140051334A; CN102890604B; WO2013010411A1; KR101643678B1; BR112014001165A2; JP5791799B2; US20140132634A1

Abstract

ヒューマン・マシン対話におけるマシン側で対象オブジェクトを認識するための方法と装置を提供する。当該装置は、ユーザが送信した命令に従って、グラフィック・タグを対象画像内の対象オブジェクトに重ね合わせ、当該グラフィック・タグの表示パラメータを決定するように構成されたグラフィック・タグ重ね合せモジュールと、グラフィック・タグの識別子情報を追加するように構成された識別子情報追加モジュールと、グラフィック・タグの表示パラメータとグラフィック・タグの識別子情報とを対象画像に関連する記憶媒体に格納するように構成された格納制御モジュールと、対象画像を表示するための第１の表示モジュールと、グラフィック・タグの表示パラメータと当該グラフィック・タグの識別子情報とを対象画像に関連する記憶媒体から取得し、当該グラフィック・タグの当該表示パラメータに従って当該グラフィック・タグを当該対象画像内の当該対象オブジェクトに表示し、当該グラフィック・タグの当該識別子情報を表示するように構成された第２の表示モジュールと、を備える。当該解決策を利用することによって、ユーザが対象オブジェクトを画像から認識し、マシン側のリソース占有を減らすことが好都合になる。

Description

本願は、発明の名称を「ヒューマン・マシン対話におけるマシン側での対象オブジェクト認識の方法および装置」とした２０１１年７月２１出願の中国特許出願第２０１１１０２０４９６６．３号に対する優先権を主張する２０１２年６月７日出願の国際特許出願第ＰＣＴ／ＣＮ２０１２／０７６５９６号の継続出願であり、それらの全ては全ての目的で引用により全体として本明細書に組み込まれる。

本発明は、ヒューマン・マシン対話技術に関し、特に、ヒューマン・マシン対話におけるマシン側での対象オブジェクト認識の方法および装置に関する。

今日、ヒューマン・マシン対話サービス、例えば仮想コミュニティ・サービスを提供する様々なインターネット・サービスにおいて、対象オブジェクトは常にマシン側の純粋な文字を用いることによって特定されている。当該対象オブジェクトは、特定の人または特定の物であることがあり、当該特定の人を以下の説明では例として用いる。例えば、特定の人を、特定の記号を名前または称号と組み合わせることによって特定して、人の情報ページを迅速に発見するかまたは他のヒューマン・マシン対話動作を提供することができる。しかし、マシン側で提供されるインターネットは、テキストや大量の画像データを含む。特定の人または特定の物はますます、画像を利用することによって表現されている。以下の課題は、対象オブジェクトが依然として純粋な文字を用いることによって特定されるときに生ずる。

対象オブジェクトを認識するための文字を、対象オブジェクトを含む画像に関連付けることはできない。例えば、ユーザがマシン側の画像から人を認識したいとき、ユーザは当該画像に関連するテキスト紹介ページを検索し、次いで画像内の人は誰かを判定または推定する必要がある。他方、マシン側で提供される情報は一元的であり、ユーザが特定の対象オブジェクトを極めて大量のテキスト・データや画像データからマシン側で認識するのには都合が悪い。多くの場合、ユーザは画像から対象オブジェクトを上手く認識することができず、したがって、ユーザのヒューマン・マシン対話エクスペリエンスは悪い。他方、ユーザは多くのヒューマン・マシン対話動作を実施して多くのテキスト情報を取得し、対象オブジェクトを画像から認識しなければならない。各ヒューマン・マシン対話動作は、要求情報を送信するステップと、計算手続きをトリガするステップと、応答情報を生成するステップとを含み、したがって、マシン側で大量のリソース、例えば、クライアント・リソース、サーバ・リソース、およびネットワーク帯域幅リソースが占有される。特に、１つの画像が複数の対象オブジェクトを含むとき、例えば、画像が複数人を含むとき、純粋な文字を用いることによって人を認識する手続きはより複雑になり、多くのヒューマン・マシン対話動作が必要となり、より多くのリソースがマシン側で占有される。

本発明の例では、ヒューマン・マシン対話におけるマシン側での対象オブジェクト認識の方法および装置を提供する。その結果、ユーザが対象オブジェクトを画像から認識するのが好都合になり、マシン側でのリソースの占有が減る。本発明の技術的解決策は以下のように実現される。

ヒューマン・マシン対話におけるマシン側での対象オブジェクト認識方法は、マシン側での対象画像の中の対象オブジェクトの認識に提供され、認識処理と表示処理を含む。

当該認識処理は、ユーザが送信した命令に従って対象画像内の対象オブジェクトにグラフィック・タグを重ね合わせ、当該グラフィック・タグの表示パラメータを決定するステップと、当該グラフィック・タグの識別子情報を追加するステップと、当該グラフィック・タグの当該表示パラメータと当該グラフィック・タグの当該識別子情報とを当該対象画像に関連する記憶媒体に格納するステップと、を含む。

当該表示処理は、当該対象画像を表示するステップと、当該グラフィック・タグの当該表示パラメータと当該グラフィック・タグの当該識別子情報とを当該対象画像に関連する当該記憶媒体から取得するステップと、当該グラフィック・タグの当該表示パラメータに従って、当該対象画像内の当該対象オブジェクトに当該グラフィック・タグを表示するステップと、当該グラフィック・タグの当該識別子情報を表示するステップと、を含む。

ヒューマン・マシン対話におけるマシン側での対象オブジェクト認識装置は、ユーザが送信した命令に従って、グラフィック・タグを対象画像内の対象オブジェクトに重ね合わせ、当該グラフィック・タグの表示パラメータを決定するように構成されたグラフィック・タグ重ね合せモジュールと、グラフィック・タグの識別子情報を追加するように構成された識別子情報追加モジュールと、グラフィック・タグの表示パラメータとグラフィック・タグの識別子情報とを対象画像に関連する記憶媒体に格納するように構成された格納制御モジュールと、対象画像を表示するための第１の表示モジュールと、グラフィック・タグの表示パラメータとグラフィック・タグの識別子情報とを対象画像に関連する記憶媒体から取得し、グラフィック・タグの表示パラメータに従ってグラフィック・タグを対象画像内の対象オブジェクトに表示し、当該グラフィック・タグの識別子情報を表示するように構成された第２の表示モジュールと、を備える。記憶媒体が、上述の方法を実行するためのコンピュータ・プログラムを格納する。

本発明の解決策によれば、マシン側で表示された対象画像上のグラフィック・タグを用いることによって対象オブジェクトが認識され、識別子情報が追加され、その結果、対象オブジェクトの識別子情報が対象オブジェクトを含む画像に関連付けられ、ユーザが画像から対象オブジェクトを好都合に認識し、ヒューマン・マシン対話動作の数が削減される。それにより、マシン側でのリソースの占有が減り、ユーザの動作が促進される。

本発明の様々な例に従う方法を示す略流れ図である。本発明の様々な例に従う「人を囲む」インタフェースを示す略図である。本発明の様々な例に従う「人を囲む」インタフェースを示す略図である。本発明の様々な例に従う「人を囲む」インタフェースを示す略図である。本発明の様々な例に従う「人を囲む」インタフェースを示す略図である。本発明の様々な例に従う「人を囲む」インタフェースを示す略図である。本発明の様々な例に従う「人を囲む」インタフェースを示す略図である。本発明の様々な例に従う「人を囲む」インタフェースを示す略図である。本発明の様々な例に従う「人を囲む」インタフェースを示す略図である。本発明の様々な例に従う「人を囲む」インタフェースを示す略図である。本発明の様々な例に従う「人を囲む」インタフェースを示す略図である。本発明の様々な例に従う「人を囲む」インタフェースを示す略図である。本発明の様々な例に従う装置を示す略図である。本発明の様々な例に従う装置を示す略図である。

以下の説明は本質的に例示的なものにすぎず、決して本開示、その適用、または使用を制限しようとするものではない。本開示の広範囲な教示事項を様々な形態で実装することができる。したがって、本開示は特定の例を含むが、本開示の真の範囲はそのように限定さるべきではない。なぜならば、他の修正は、添付図面、明細書、および添付の特許請求の範囲を検討することで明らかになるからである。

図１は、本発明の様々な例に従う方法を示す略流れ図である。図１に示すように、当該方法では、対象オブジェクトがマシン側で対象画像の中で認識され、認識処理と表示処理が含まれる。当該認識処理は以下の通りである。

１０１で、ユーザが送信した命令に従って、グラフィック・タグが対象画像の中の対象オブジェクトに重ね合せられる。本例では、当該グラフィック・タグは任意の図形、例えば長方形または円であってもよい。当該グラフィック・タグの表示パラメータが決定される。本例では、当該表示パラメータには、グラフィック・タグのサイズ、対象画像上のグラフィック・タグの局所座標を含めてもよい。

１０２で、識別子情報をグラフィック・タグに追加する。当該識別子情報を、ユーザが送信した命令に従って生成してもよい。当該識別子情報が、局所コメント関数を実装するための、対象オブジェクトの識別子、例えば、名前もしくはコード・ネーム、または当該対象オブジェクトに対応するコメント情報であってもよい。

１０３で、グラフィック・タグの表示パラメータとグラフィック・タグの識別子情報を、当該対象画像に関連する記憶媒体に格納する。

上記表示処理は以下の通りである。

１０４で、当該対象画像を表示する。１０５で、グラフィック・タグの表示パラメータとグラフィック・タグの識別子情報を、対象画像に関連する記憶媒体から取得する。当該グラフィック・タグがグラフィック・タグの表示パラメータに従って対象画像の中の対象オブジェクトに表示され、グラフィック・タグの識別子情報も表示される。

対話性を改善するために、本発明の例では、以下の動作を表示処理に含める。コメント・プロンプト・ボックスを表示し、コメント権限を有するユーザが送信したコメント情報を受信する。当該コメント情報は対象画像に関連する記憶媒体に格納され、当該コメント情報が対象画像に関連するウェブ・ページに表示される。対象画像に関連するウェブ・ページは、例えば、認識された対象オブジェクトまたは対象画像の詳細ページと対話する権限を有するユーザのホーム情報センタのインタフェースであってもよい。コメント権限を有するユーザには、１０１での認識処理で命令を送信したユーザ、対象画像の所有者、対象画像において認識された対象オブジェクト、対象オブジェクトの友達等が含まれる。

人の情報に基づいて画像を取得する機能を実現するために、本発明の例では、当該方法はさらに以下の処理を含む。少なくとも２つの対象画像がグラフィック・タグに重なっており当該グラフィック・タグの識別子情報同一であるかどうかを判定する。少なくとも２つの対象画像がグラフィック・タグに重なっており当該グラフィック・タグの識別子情報同一である場合、例えば、人の同じ名前が２つの対象画像に重なっている２つのグラフィック・タグにそれぞれ追加されている場合には、当該同一の識別子情報に対応する対象画像の全てを対象画像のカテゴリとして格納するかまたは表示し、当該識別子情報を当該対象画像のカテゴリの識別子情報とする。したがって、ユーザは同一の対象画像を含む対象画像を好都合に参照することができる。

１例によれば、グラフィック・タグは幾何学パターンであり、したがって、他のグラフィック・タグと重複することがある。したがって、複数の対象オブジェクト（例えば、人）が１つの画像に含まれるとき、各対象オブジェクトを認識し、対象オブジェクトごとに識別子情報を追加してもよい。対象画像が複数の対象オブジェクトを含むとき、１０１、１０２および１０３での処理が、ユーザの命令に従って複数の対象オブジェクトに対してそれぞれ実施され、複数の対象オブジェクトのグラフィック・タグと識別子情報が対象画像に表示される。

さらに、画像とテキストの両方を用いることによって認識処理を実施するようにユーザを誘導するために、ユーザからの命令を受信する前に、顔対象オブジェクトが存在するかどうかを認識し、顔対象オブジェクトが存在する場合には、グラフィック・タグを当該顔対象オブジェクトに重ね合わせる。

以下の例では、当該方法をマシン側のインターネット仮想コミュニティにおいて実装する。本例では、対象画像を、マシン側のインターネット仮想コミュニティにおいて画像を表示できる任意のウェブ・ページ、例えば、アルバム・ページ、「トーク」ページ、共有ページ、ブログ内の画像コンテンツ等に格納してもよい。１例によれば、「トーク」ページは、ユーザの雰囲気を記述するウェブ・ページであり、テキスト、画像、ビデオ等を含んでもよい。対象画像内の対象オブジェクトは、人、例えば、現在のユーザの友達もしくはクラスメート、または、現在のユーザがフォローしている有名人であってもよい。対象オブジェクトは物、例えば、認証空間であってもよい。認証空間とは、有名ブランド、代理店、媒体、および有名人に対してより具体的な機能を提供するネットワーク空間であってもよい。本例では、対象画像において人を認識し、対象画像において人を認識する動作を「人を囲む」と称する。

図２Ａ乃至２Ｋは、本発明の様々な例に従う「人を囲む」インタフェースを示す略図である。先ず、「人を丸で囲む」動作には、（１１）から（１４）までの処理が含まれる。

（１１）で、図２Ａに示すように、仮想コミュニティ・アルバムの情報センタ・ページまたは写真詳細ページ上で、「人を囲む」ボタン２０１がユーザによりクリックされ、命令がマシン側に送信され、対象画像２００内の人に対して「人を囲む」動作を実施するように動作インタフェースに要求する。１例によれば、「人を囲む」動作を実施する権限を、具体的な権限構成ページで構成してもよい。ユーザは、「人を囲む」動作をアルバムに対して実施できるかどうか、「人を囲む」動作が二次的な確認を必要とするかどうか、対象画像に表示される人、等を構成してもよい。

（１２）で、図２Ｂに示すように、対象画像がグレーな状態にあるとき、ユーザは対象画像上をマウスでドラッグするか、または、対象画像において丸で囲む必要がある位置をクリックして、グラフィック・タグを重ね合わせることにより特定の対象オブジェクトを認識するための認識命令をマシン側に送信してもよい。図２Ｃに示すように、長方形のグラフィック・タグ２０２が対称画像２００に重なっており、対象オブジェクトが認識されている。即ち、対象オブジェクトは画像の中央にある人である。他の形状、例えば円形、楕円形等のグラフィック・タグ２０２を使用してもよい。グラフィック・タグ２０２のサイズと位置を、ユーザの動作命令に従って調節してもよい。当該調節を完了し確認した後、グラフィック・タグ２０２の表示パラメータを決定してもよい。１例によれば、当該表示パラメータが、グラフィック・タグ２０２のサイズとグラフィック・タグ２０２の対象画像２０２上の座標を含んでもよい。

（１３）で、図２Ｃに示すように、グラフィック・タグ２０２の表示パラメータを決定した後、グラフィック・タグの識別子情報を追加する。例えば、当該識別子情報がオブジェクト識別子情報、例えば、人の名前であってもよく、友達セレクタを用いることによってこれらを構成してもよい。図２Ｃでは、認識命令を送信するユーザの友達セレクタ２０３を示す。友達セレクタ２０３は、認識命令を送信したユーザと対話する権限を有するユーザ、例えば、友達、クラスメート、フォローしている有名人または認証空間ユーザの情報を表示する。友達セレクタ２０３は、これらのユーザの識別子情報、例えばアバタ、名前、学校名または企業名を表示して、特定のユーザの選択を容易にしてもよい。選択したユーザの識別子情報を、対象オブジェクトに対応するグラフィック・タグの識別子情報としてもよい。

さらに、１例によれば、友達を追加するための誘導機能が実装される。友達セレクタに入力された名前がどの友達、クラスメート、フォローしている有名人にも対応しないとき、ユーザに当該ユーザのアカウントを入力するように促す。ユーザのアカウントをマシン側のシステムで検証した後、ユーザは友達を追加する動作を実施してもよい。

（１４）で、図２Ｄに示すように、識別子情報２０４、例えば友達の名前を追加した後、「人を丸で囲む」動作が完了する。ユーザが完了命令を送信してもよい。マシン側で、グラフィック・タグ２０２の表示パラメータと識別子情報２０４が、対象画像２００に関連する記憶媒体に格納される。対象画像２００に関連する記憶媒体が、対象画像を格納するための記憶媒体、例えばローカル記憶サーバであってもよく、または、ネットワーク側に配置した記憶媒体であってもよい。ネットワーク側に配置した記憶媒体は、対象画像に関連付けられる必要がある。

さらに、対象画像を表示する手続きが存在し、「人を囲む」動作を通知する手続きが含まれる。１例によれば、次の処理（２１）と（２２）のうち少なくとも１つを含めてもよい。

（２１）で、認識された対象オブジェクトの名前の中で動的情報を生成して認識処理を示す。当該動的情報は、対象オブジェクトと対話する権限を有するユーザ、例えば友達、クラスメートおよびフォローしているユーザのウェブ・ページに表示される。例えば、動的情報を情報センタ・ページに表示してもよい。対象オブジェクトと対話する権限を有するユーザが、特定された対象オブジェクトに対応する動的情報を参照してもよい。

図２Ｅに示すように、動的情報は、「人を囲む」動作２０５を実施するユーザの名前、対象オブジェクト２０６の名前、対象画像２０７のサムネイルを含む。図２Ｆに示すように、サムネイルがクリックされると通常の画像が表示される。１例によれば、先ず対象画像２００が表示される。グラフィック・タグの表示パラメータとグラフィック・タグの識別子情報が、対象画像に関連する記憶媒体から取得され、グラフィック・タグ２０２がグラフィック・タグの表示パラメータに従って対象画像の中の対象オブジェクトに表示され、グラフィック・タグの識別子情報２０４も表示される。１例では、図２Ｄに示すように、識別子情報２０４を対象画像上のグラフィック・タグ２０２の近く、例えば、識別子情報２０４の位置に配置してもよい。

（２２）で、認識された対象オブジェクト、例えば、丸で囲まれた人、対象画像の所有者、例えば、写真の所有者に動的通知が送信される。図２Ｇに示すように、当該動的通知は、受信者に直接送信される通知であり、当該受信者が当該通知を受信したいか否かに関わらずページのウィンドウに表示される。当該動的通知を使用して認識処理を示す。図２Ｆに示すように、動的通知の参照ボタン２０８がクリックされると、通常の画像が表示される。本例によれば、最初に対象画像２００が表示される。グラフィック・タグの表示パラメータとグラフィック・タグの識別子情報は、対象画像に関連する記憶媒体から取得され、グラフィック・タグ２０２がグラフィック・タグの表示パラメータに従って対象画像の中の対象オブジェクトに表示され、グラフィック・タグの識別子情報２０４も表示される。最後に、対話コメントを、対象画像の中の認識された対象オブジェクトに提供してもよい。

コメント・プロンプト・ボックスが表示される。コメント権限を有するユーザが送信したコメント情報が受信される。コメント期限を有するユーザが、「人を囲む」動作を実施したユーザ、写真の所有者、対象オブジェクトまたは対象オブジェクトの友達であってもよい。当該コメント情報は、対象画像に関連する記憶媒体に格納され、対象画像に関連するウェブ・ページに表示される。対象画像に関連するウェブ・ページは、例えば、対象の人と対話する権限を有するユーザのホーム情報センタインタフェース、または、対象画像の詳細ページであってもよい。

別の例によれば、特定のユーザがコメント情報を送信したときメッセージが「トーク」ページでトリガされ、コメント情報の全ての項目が対象画像の詳細ページに格納される。

さらに、対象画像２００が複数の対象オブジェクト、即ち、３人の人を含むので、ユーザは、（１１）乃至（１４）で説明した「人を囲む」動作を繰り返し実施し、２人または３人の人を認識することができる。図２Ｈに示すように、表示処理では、複数の対象オブジェクトに対応するグラフィック・タグとグラフィック・タグの各々の識別子情報が対象画像２００に表示される。

さらに、図２Ｅに示すように、ユーザの複数の友達が同一の写真で認識されるとき、最後に認識されたユーザの名前で動的情報が送信され、図２Ｉに示すように、他の認識された友達に対応するオブジェクト識別子情報が共に表示される。

さらに、ユーザが人を認識するたびに、システムは同一のオブジェクト識別子情報に対応する対象画像を共に格納してもよい。即ち、同じユーザが認識された写真の全てが共に表示され、その結果、人の情報に基づいて画像を取得する機能が実現され、コミュニティ・ベースの対話の良好な拡張可能性が実現される。

本例によれば、「人を囲む」動作を多数のシーンに適用してもよい。ユーザのアルバムとユーザの友達のアルバム以外に、ユーザは「人を囲む」動作を「トーク」ページ、ブログページ、または共有画像で実施してもよい。

１例によれば、「人を囲む」動作を多数のオブジェクトに対して適用してもよい。ユーザの友達とクラスメート以外に、「人を囲む」動作を、ユーザがフォローしている有名人または認証空間に対して実施してもよい。ユーザが人を認識する権限を有さない場合には、ユーザはその人を友達として追加する要求を送信してもよい。

さらに、１例によれば、ユーザが写真をアップロードするかまたは写真を参照するとき、ユーザが「人を囲む」動作を直接トリガしなかった場合には、顔認識技術に従って人の顔を認識することによって、顔対象オブジェクトが存在するかどうかを判定してもよい。写真が顔対象オブジェクトを含む場合には、グラフィック・タグを写真の中の当該顔対象オブジェクトに重ね合わせて、「人を囲む」動作を実施するようにユーザを誘導する。当該顔認識技術は任意の従来技術であってもよい。

以上の例では、グラフィック・タグに追加される識別子情報は、オブジェクト識別子情報、例えば人の名前である。

別の例によれば、図２Ｊに示すように、識別子情報がコメント情報であってもよい。グラフィック・タグ２０２を対象オブジェクトに重ね合わせた後、コメント入力ボックス２０９をグラフィック・タグ２０２のそばに直接表示し、コメント情報を入力することができる。図２Ｋに示すように、コメント情報を入力し確認命令を受信した後、表示手続きで、コメント情報２１０を識別子情報としてグラフィック・タグ２０２のそばに表示するか、または、コメント情報２１０をウェブ・ページの別の位置に表示してもよい。本例によれば、対象画像の一部にコメントを提供する機能が実装される。

ユーザが特定の対象画像にコメントを提供した後、（２２）での動的通知と同様な動的通知が対象画像の所有者に送信される。当該動的通知は、受信者に１対１モードで直接送信される。当該動的通知は、認識プロセスの動作、即ち、対象画像の一部に対する共通動作を示すために使用される。当該動的通知は、対象画像の一部のサムネイルとコメント情報を含む。当該サムネイルをクリックした後、通常の画像が表示される。

１例によれば、ヒューマン・マシン対話におけるマシン側で対象オブジェクトを認識するための装置が提供される。図３は、本発明の様々な例に従う装置を示す略図である。図３に示すように、当該装置は、グラフィック・タグ重ね合せモジュール３０１、識別子情報追加モジュール３０２、格納制御モジュール３０３、第１の表示モジュール３０４、および第２の表示モジュール３０５を備える。

グラフィック・タグ重ね合せモジュール３０１は、ユーザが送信した命令に従って対象画像の中の対象オブジェクトにグラフィック・タグを重ね合わせ、グラフィック・タグの表示パラメータを決定する。識別子情報追加モジュール３０２は、識別子情報をグラフィック・タグに追加する。

格納制御モジュール３０３は、グラフィック・タグの表示パラメータとグラフィック・タグの識別子情報を対象画像に関連する記憶媒体に格納する。第１の表示モジュール３０４は当該対象画像を表示する。

第２の表示モジュール３０５は、グラフィック・タグの表示パラメータとグラフィック・タグの識別子情報を対象画像に関連する記憶媒体から取得し、グラフィック・タグの表示パラメータに従って対象画像の中の対象オブジェクトにグラフィック・タグを表示し、グラフィック・タグの識別子情報を表示する。

図４は、本発明の様々な例に従う装置を示す略図である。図３に示した例の構成要素以外に、当該装置はさらにコメント・モジュール３０６を備える。コメント・モジュール３０６は、コメント・プロンプト・ボックスを表示し、コメント権限を有するユーザが送信したコメント情報を受信し、当該コメント情報を対象画像に関連する記憶媒体に格納し、当該コメント情報を対象画像に関連するウェブ・ページに表示する。

当該装置はさらに画像集約モジュール３０７を備えてもよい。画像集約モジュール３０７は、少なくとも２つの対象画像がグラフィック・タグに重なっており当該グラフィック・タグの識別子情報が同一であるかどうかを判定する。少なくとも２つの対象画像がグラフィック・タグに重なっており当該グラフィック・タグの識別子情報が同一である場合には、画像集約モジュール３０７は、当該少なくとも２つの対象画像を対象画像のカテゴリとして格納または表示し、当該識別子情報を対象画像のカテゴリの識別子情報とする。

グラフィック・タグ重ね合せモジュール３０１はさらに、顔認識モジュール３０８を備える。顔認識モジュール３０８は、ユーザが送信した命令を受信する前に顔対象オブジェクトが存在するかどうかを認識し、顔対象オブジェクトが存在する場合には、グラフィック・タグを顔対象オブジェクトに重ね合わせる。

本発明の各例を、データ処理装置、例えばコンピュータによって実行されるデータ処理プログラムによって実装してもよい。当該データ処理プログラムは本発明の例に含まれる。一般に、記憶媒体に格納されたデータ処理プログラムが、プログラムを記憶媒体から直接読み取ってもよく、または、当該プログラムをデータ処理装置の記憶装置（例えば、ハード・ディスクまたはメモリ）にインストールまたはコピーしてもよい。したがって、当該記憶媒体は本発明の例に含まれる。当該記憶媒体が、任意の記録モード、例えば、ページ記憶媒体（例えば、テープ）、磁気記憶媒体（例えば、フロッピ・ディスク、ハード・ディスク、フラッシュ）、光記憶媒体（例えば、ＣＤ−ＲＯＭ）、または光磁気記憶媒体（例えば、ＭＯ）を使用してもよい。

１例によれば、マシンに本明細書で説明した方法を実行させるデータ処理プログラムを格納する記憶媒体を提供してもよい。

本発明の解決策によれば、マシン側に表示された対象画像上のグラフィック・タグを用いることによって対象オブジェクトが認識され、識別子情報が追加され、その結果、対象オブジェクトの識別子情報が対象オブジェクトを含む画像に関連付けられ、ユーザが画像から対象オブジェクトを好都合に認識することができ、ヒューマン・マシン対話動作の数が減る。それにより、マシン側でのリソースの占有が減りユーザの動作が促進される。

さらに、グラフィック・タグを用いることによって対象画像の対象オブジェクトを認識した後にコメントを提供することができる。関連するユーザが入力したコメント情報を格納し表示してもよい。さらに、グラフィック・タグに追加した識別子情報がコメント情報であってもよく、その結果、対象オブジェクトに対する複数のユーザからの複数のコメントが収集される。したがって、ユーザは画像の一部にコメント情報を提供することができ、対話性が改善し、対象オブジェクトの関連情報が豊富になり、ユーザは対象オブジェクトの多くの情報を同一のウェブ・ページから取得することができる。さらに、同一の識別子情報に対応する対象画像の全てが共に格納、表示され、ユーザは同一の対象オブジェクトに対応する対象画像を好都合に参照する。以上の解決策によれば、対象オブジェクトの関連情報を求めるヒューマン・マシン対話動作の数が減り、マシン側のリソースの占有が減る。

さらに、グラフィック・タグが他のグラフィック・タグと重複してもよいので、画像が複数の対象オブジェクトを含むとき、各対象オブジェクトを認識することができ説明がそれぞれ追加され、その結果、ユーザは複数の対象オブジェクトを含む画像から特定の対象オブジェクトを容易に認識することができる。その結果、ユーザの動作がさらに促進される。

本発明の解決策が複数のヒューマン・マシン・サービス、例えば、仮想コミュニティ・サービスを提供するインターネット・サービスに適用されると、人々の間での対話性が改善し、ユーザはより直感的な情報を容易に取得でき、純粋なテキスト対話が並列なテキスト・グラフィック対話で置き換えられ、多くの情報を交換するために占有されるリソースは少ない。

以上は本発明の好適な例に過ぎず、本発明の保護範囲を限定するためには使用されない。任意の修正、均等な置換えと改良は本発明の保護範囲に入る。

３０１グラフィック・マーク重ね合せモジュール
３０２識別子情報追加モジュール
３０３格納制御モジュール
３０４第１の表示モジュール
３０５第２の表示モジュール
３０６コメント・モジュール
３０７画像集約モジュール
３０８顔認識モジュール

当該認識処理は、ユーザが送信した命令に従って表示された対象画像内の対象オブジェクトにグラフィック・タグを重ね合わせ、当該グラフィック・タグの表示パラメータを決定するステップと、当該グラフィック・タグの識別子情報を追加するステップと、当該グラフィック・タグの当該表示パラメータと当該グラフィック・タグの当該識別子情報とを当該対象画像に関連する記憶媒体に格納するステップと、を含む。

当該表示処理は、当該グラフィック・タグの当該表示パラメータと当該グラフィック・タグの当該識別子情報とを当該対象画像に関連する当該記憶媒体から取得するステップと、当該グラフィック・タグの当該表示パラメータに従って、当該対象画像内の当該対象オブジェクトに当該グラフィック・タグを表示するステップと、当該グラフィック・タグの当該識別子情報を表示するステップと、を含む。

ヒューマン・マシン対話におけるマシン側での対象オブジェクト認識装置は、対象画像を表示するように構成された第１の表示モジュールと、ユーザが送信した命令に従って、グラフィック・タグを当該対象画像内の対象オブジェクトに重ね合わせ、当該グラフィック・タグの表示パラメータを決定するように構成されたグラフィック・タグ重ね合せモジュールと、グラフィック・タグの識別子情報を追加するように構成された識別子情報追加モジュールと、グラフィック・タグの表示パラメータとグラフィック・タグの識別子情報とを対象画像に関連する記憶媒体に格納するように構成された格納制御モジュールと、グラフィック・タグの表示パラメータとグラフィック・タグの識別子情報とを対象画像に関連する記憶媒体から取得し、グラフィック・タグの表示パラメータに従ってグラフィック・タグを対象画像内の対象オブジェクトに表示し、当該グラフィック・タグの識別子情報を表示するように構成された第２の表示モジュールと、を備える。非一時的なコンピュータ読取可能記憶媒体が、上述の方法を実行するためのコンピュータ・プログラムを格納する。

１０４で、当該対象画像を表示する。１例によれば、１０４での処理を認識処理の前に実施してもよい。１０５で、グラフィック・タグの表示パラメータとグラフィック・タグの識別子情報を、対象画像に関連する記憶媒体から取得する。当該グラフィック・タグがグラフィック・タグの表示パラメータに従って対象画像の中の対象オブジェクトに表示され、グラフィック・タグの識別子情報も表示される。

Claims

マシン側で対象画像内の対象オブジェクトを認識するために適用される、ヒューマン・マシン対話においてマシン側で対象オブジェクトを認識するための方法であって、認識処理と表示処理を含み、
前記認識処理は、
ユーザが送信した命令に従って対象画像内の対象オブジェクトにグラフィック・タグを重ね合わせ、前記グラフィック・タグの表示パラメータを決定するステップと、
前記グラフィック・タグの識別子情報を追加するステップと、
前記グラフィック・タグの前記表示パラメータと前記グラフィック・タグの前記識別子情報とを前記対象画像に関連する記憶媒体に格納するステップと、
を含み、
前記表示処理は、
前記対象画像を表示するステップと、
前記グラフィック・タグの前記表示パラメータと前記グラフィック・タグの前記識別子情報とを前記対象画像に関連する前記記憶媒体から取得するステップと、
前記グラフィック・タグの前記表示パラメータに従って、前記対象画像内の前記対象オブジェクトに前記グラフィック・タグを表示するステップと、
前記グラフィック・タグの前記識別子情報を表示するステップと、
を含む、方法。
前記表示処理はさらに、
コメント・プロンプト・ボックスを表示するステップと、
コメント権限を有するユーザが送信したコメント情報を受信するステップと、
前記コメント情報を、前記対象画像に関連する前記記憶媒体に格納するステップと、
前記コメント情報を、前記対象画像に関連するウェブ・ページに表示するステップと、
を含む、請求項１に記載の方法。
前記コメント権限を有する前記ユーザは、前記認識処理において前記命令を送信したユーザ、前記対象画像の所有者、前記対象画像内の前記対象オブジェクト、および前記対象オブジェクトの友達を含む、請求項２に記載の方法。
少なくとも２つの対象画像がグラフィック・タグに重なっており、かつ、前記グラフィック・タグの識別情報が同一かどうかを判定するステップと、
少なくとも２つの対象画像が前記グラフィック・タグに重なっており、かつ、前記グラフィック・タグの前記識別子情報が同一である場合には、前記少なくとも２つの対象画像を対象画像のカテゴリとして格納するかまたは表示し、前記識別子情報を前記対象画像の前記カテゴリの識別子情報とするステップと、
をさらに含む、請求項１に記載の方法。
前記対象画像が少なくとも２つの対象オブジェクトを含むとき、
前記ユーザの命令に従って、前記少なくとも２つの対象オブジェクトの各々に対して前記認識処理をそれぞれ実施するステップと、
前記表示処理において、前記少なくとも２つの対象オブジェクトに対応するグラフィック・タグと、前記グラフィック・タグの識別子情報を前記対象画像に表示するステップと、
をさらに含む、請求項１に記載の方法。
前記ユーザにより送信された前記命令を前記認識処理において受信する前に、
顔対象オブジェクトがあるかどうかを認識するステップと、
前記顔対象オブジェクトがある場合には、グラフィック・タグを前記顔対象オブジェクトに重ね合わせるステップと、
をさらに含む、請求項１に記載の方法。
前記識別子情報がオブジェクト識別子情報またはコメント情報を含む、請求項１乃至６の何れか１項に記載の方法。
前記識別子情報はオブジェクト識別子情報であり、前記方法はさらに、
前記認識処理の後、かつ、前記表示処理の前に、前記認識処理を示すための動的情報を前記対象オブジェクトの名前の中に生成するステップを含み、
前記動的情報は、前記対象オブジェクトと対話する権限を有するユーザのウェブ・ページに表示され、前記対象画像のサムネイルを含み、
前記表示処理は、前記サムネイルがクリックされた後に実施される、
請求項１に記載の方法。
前記識別子情報はオブジェクト識別子情報であり、前記方法はさらに、
前記認識処理の後、かつ、前記表示処理の前に、前記認識処理を示す動的通知を前記対象オブジェクトと前記対象画像の所有者に送信するステップを含み、
前記表示処理は、前記動的通知が参照された後に実施される、
請求項１に記載の方法。
前記識別子情報はコメント情報であり、前記方法はさらに、
前記認識処理の後、かつ、前記表示処理の後に、前記認識処理を示す動的通知を前記認識処理のトリガの名前において前記対象画像の所有者に送信するステップを含み、
前記動的通知は前記対象画像のサムネイルと前記コメント情報を含み、
前記表示処理は、前記サムネイルがクリックされた後に実施される、
請求項１に記載の方法。
ヒューマン・マシン対話においてマシン側で対象オブジェクトを認識するための装置であって、
ユーザが送信した命令に従って、グラフィック・タグを対象画像内の対象オブジェクトに重ね合わせ、前記グラフィック・タグの表示パラメータを決定するように構成されたグラフィック・タグ重ね合せモジュールと、
前記グラフィック・タグの識別子情報を追加するように構成された識別子情報追加モジュールと、
前記グラフィック・タグの前記表示パラメータと前記グラフィック・タグの前記識別子情報とを前記対象画像に関連する記憶媒体に格納するように構成された格納制御モジュールと、
前記対象画像を表示するための第１の表示モジュールと、
前記グラフィック・タグの前記表示パラメータと前記グラフィック・タグの前記識別子情報とを前記対象画像に関連する前記記憶媒体から取得し、前記グラフィック・タグの前記表示パラメータに従って前記グラフィック・タグを前記対象画像内の前記対象オブジェクトに表示し、前記グラフィック・タグの前記識別子情報を表示するように構成された第２の表示モジュールと、
を備える、装置。
コメント・プロンプト・ボックスを表示し、コメント権限を有するユーザが送信したコメント情報を受信し、前記コメント情報を前記対象画像に関連する前記記憶媒体に格納し、前記コメント情報を前記対象画像に関連するウェブ・ページに表示するように構成されたコメント・モジュールをさらに備える、請求項１１に記載の装置。
少なくとも２つの対象画像が前記グラフィック・タグに重なっており、かつ、前記グラフィック・タグの識別子情報が同一であるかどうかを判定し、少なくとも２つの対象画像が前記グラフィック・タグに重なっており、かつ、前記グラフィック・タグの識別子情報が同一である場合には、前記少なくとも２つの対象画像を対象画像のカテゴリとして格納するかまたは表示し、前記識別子情報を前記対象画像の前記カテゴリの識別子情報とするように構成された、画像集約モジュールをさらに備える、請求項１１に記載の装置。
前記グラフィック・タグ重ね合せモジュールはさらに、前記ユーザが送信した前記命令を受信する前に顔対象オブジェクトがあるかどうかを認識し、前記顔対象オブジェクトがある場合には、グラフィック・タグを前記顔対象オブジェクトに重ね合せるように構成された顔認識モジュールをさらに備える、請求項１１に記載の装置。
請求項１乃至１０の何れか１項に記載の方法を実行するためのコンピュータ・プログラムを格納した記憶媒体。