JP2021022355A - 電子装置、対話型情報表示方法およびコンピュータ可読記録媒体 - Google Patents

Abstract

【課題】ユーザが電子装置を介して表示装置上の情報およびオプションを操作可能にすることで電子装置上の情報と表示装置上の情報が互いに対話することができる対話型情報表示方法およびその電子装置を提供する。【解決手段】電子装置は、通信装置、カメラ、入力装置、プロセッサ、およびディスプレイを含む。カメラは表示装置の画像を含む入力画像を取得するＳ２１０。プロセッサは、表示装置に表示されるデフォルト対話オプションを含む対話型画像に従って仮想オプションを生成し、その仮想オプションを入力画像に重畳するＳ２２０。プロセッサは、入力装置が入力操作を受信すると、デフォルト対話オプションまたは仮想オプションが有効であるかどうかを判定し、有効なデフォルトの対話オプションまたは仮想オプションに対応する指定の装置に指定のサービスを提供するＳ２３０。【選択図】図２

Description

本発明は、一般に、情報表示技術に関し、特に、対話型情報表示方法およびその電子装置に関する。

多くの交差点、ビジネス地区、レストランなどがある地域では、広告主は、広告または案内情報を提供する主要な手段としてビデオウォールを使用することが多い。一般に公開されている装置として、一般的に、ビデオウォールは主に一方向プッシュ方式を使用してユーザに情報を表示する。また、一部のビデオウォールは双方向の対話方式を使用して情報を表示するが、ユーザのあらゆるタイプの操作はビデオウォールに直接フィードバックされる。この方法では、ユーザの操作に対するプライバシーは存在しない。ユーザがビデオウォールに表示された情報を記録したい場合、ユーザはそれを自分で記憶するか、媒体などで記録することができるのみである。また、ユーザは自分の携帯電話でビデオウォールの情報を照会し、携帯電話で対応するビデオウォールの派生情報を取得することもできる。ただし、携帯電話上の派生情報は接続なしでビデオウォールから独立している。

本発明の実施形態は、ユーザが電子装置を介して表示装置上の情報およびオプションを操作可能にすることで電子装置上の情報と表示装置上の情報が互いに対話することができる対話型情報表示方法およびその電子装置を提供する。

本発明の実施形態は、対話型情報を表示するための電子装置を提供し、該電子装置は、通信装置、カメラ、入力装置、プロセッサ、およびディスプレイを含む。通信装置は、情報を送受信するように構成される。カメラは入力画像を取得し、入力画像は表示装置の画像を含む。該表示装置は、デフォルト対話オプションを含む対話型画像を表示する。入力装置は入力操作を受け取る。プロセッサは、通信装置、カメラ、および入力装置に接続され、対話型画像に従って仮想オプションを生成し、入力画像に仮想オプションを重畳する。デフォルト対話オプションと仮想オプションは、それぞれ指定の装置と指定のサービスに対応する。ディスプレイはプロセッサに接続され、入力画像と仮想オプションを表示するように構成される。入力装置が入力操作を受け取ると、プロセッサは、デフォルト対話オプションまたは仮想オプションが有効であるかどうかを判定し、有効なデフォルトの対話オプションまたは仮想オプションに対応する指定の装置で指定のサービスを提供する。

本発明の実施形態は、対話型情報表示方法を提供し、該方法は以下のステップ：入力画像を取得するステップであり、前記入力画像は表示装置の画像を含み、該表示装置はデフォルト対話オプションを含む対話型画像を表示する、ステップ；前記対話型画像に従って仮想オプションを生成し、該仮想オプションを前記入力画像に重畳するステップであり、前記デフォルト対話オプションと前記仮想オプションは、それぞれ指定の装置と指定のサービスに対応する、ステップと；入力操作を受信し、該入力操作に従って、前記デフォル対話オプションまたは前記仮想オプションが有効であるかどうかを判定するステップ；および有効なデフォルトの対話オプションまたは仮想オプションに対応する指定の装置で指定のサービスを提供するステップ；を備える。

本発明の実施形態は、プログラムを格納するコンピュータ可読記録媒体を提供する。このプログラムがコンピュータに読み込まれて実行されると、対話型情報表示方法が完了する。

以上を踏まえて、上記の対話型情報表示方法、電子装置およびコンピュータ可読記録媒体によれば、ユーザは表示装置と電子装置上で対話することができる。よって、ユーザは、電子装置を介して表示装置の情報を操作するだけでなく、追加のより多くの個人情報を表示するように表示装置上の情報を電子装置に拡張することができる。

上記をより理解しやすくするために、いくつかの実施形態を図面とともに以下で詳細に説明する。

添付の図面は、本開示のさらなる理解を提供するために含まれ、本明細書に組み込まれ、その一部を構成する。図面は、本開示のいくつかの例示的な実施形態を示し、その説明とともに、本開示の原理を説明するのに役立つ。

本発明の一実施形態による電子装置の概略図を示す。 本発明の一実施形態による対話型情報表示方法のフローチャートを示す。 図２の対話型情報表示方法の詳細なフローチャートを示す。 図２の対話型情報表示方法の詳細なフローチャートを示す。 本発明の別の実施形態による電子装置の概略図を示す。 本発明の一実施形態によるプラットフォームサーバ５６０の構造概略図を示す。 本発明の一実施形態によるＲｅｓＮｅｔモデルの概略図を示す。

図１は、本発明の一実施形態による電子装置の概略図を示す。図１を参照すると、本発明の一実施形態では、電子装置１００は、通信装置１１０、カメラ１２０、入力装置１３０、プロセッサ１４０、およびディスプレイ１５０を備える。

通信装置１１０は、様々なタイプの情報を送信および受信するように構成されている。本発明の実施形態では、通信装置は通信チップを使用して実装され、通信チップは、モバイル通信用グローバルシステム（ＧＳＭ）、パーソナルハンディフォンシステム（ＰＨＳ）、符号分割多元接続（ＣＤＭＡ）システム、広帯域符号分割多元接続（ＷＣＤＭＡ）システム、ロングタームエボリューション（ＬＴＥ）システム、マイクロ波アクセス用世界相互運用性（ＷｉＭＡＸ）システム、無線フィデリティ（Ｗｉ−Ｆｉ）システムまたはＢｌｕｅｔｏｏｔｈの信号伝送をサポートするコンポーネントである。

カメラ１２０は、様々な種類の画像を取り込むように構成され、例えば、電子装置１００の外部ハウジングに取り付けられたフロントレンズまたはリアレンズであるか、または接続ポート（例えば、ユニバーサルシリアルバス）または通信装置１１０（例えば、ブルートゥース通信装置）を介して直列に接続されたカメラであるが、本発明はこれに限定されない。

入力装置１３０は、入力操作を受けるように構成される。本発明の一実施形態では、入力装置１３０は、例えば、タッチパネル、マウス、およびディスプレイ１５０と組み合わされたタッチスクリーンであり、本発明はこれに限定されない。

プロセッサ１４０は、通信装置１１０、カメラ１２０、および入力装置１３０に接続される。プロセッサ１４０は、電子装置１００に必要な様々なタイプの動作を実行するように構成される。本発明の一実施形態では、プロセッサ１４０は、例えば、中央処理装置（ＣＰＵ）、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジック装置（ＰＬＤ）または他の同様の装置である。

ディスプレイ１５０は、ユーザが読むための様々なタイプの画像および情報を表示するように構成される。ディスプレイ１５０は、例えば、有機発光ダイオードディスプレイ、発光ダイオードディスプレイ、入力装置１３０と組み合わされた抵抗タッチスクリーン、静電容量タッチスクリーン、およびウェーブタッチスクリーンがあるが、本発明はこれらに限定されない。

本実施形態において、電子装置１００は、例えば、携帯電話、タブレットコンピュータ、ノートブックコンピュータ、およびウェアラブル装置であるが、これらに限定されない。上述の通信装置１１０、カメラ１２０、入力装置１３０、プロセッサ１４０およびディスプレイ１５０を備えた様々なタイプの電子装置のいずれかが本発明に適用される。さらに、対話型仮想情報表示プログラムをロードして実行する場合には、電子装置１００は、最初に対話型情報表示プログラムをインストールする必要があり、プロセッサ１４０は、通信装置１１０、カメラ１２０、入力装置１３０、プロセッサ１４０およびディスプレイ１５０の協働により対話型仮想情報を表示する。

図２は、本発明の一実施形態による対話型情報表示方法のフローチャートを示す。本実施形態の対話型情報表示方法は、少なくとも図１に示す電子装置に適用可能である。本発明の一実施形態を図１および図２を同時に参照して説明する。この対話型情報表示方法は電子装置１００が対話型仮想情報の詳細を表示して完了する。

ステップＳ２１０において、カメラ１２０は、入力画像を取得する。本発明の一実施形態では、入力画像は動画像である。入力画像は、例えば、カメラ１２０によって取得されるが、これに限定されない。しかし、カメラ１２０は、入力画像をキャプチャしハードディスクに写真として保存しないで、各レンズの１画像のみをキャプチャする。入力画像は表示装置の画像を含み、表示装置はデフォルト対話オプションを含む対話型画像を表示する。本実施形態では、表示装置はビデオウォールによって示される。ビデオウォールに表示される対話型画像は、映画の予告編、コマーシャル、おすすめのケータリング、ファッションショーなどである。デフォルト対話オプションは、例えば、映画の予告編、コマーシャル、おすすめのケータリング、ファッションショーを切り替える、またはもっと多くの写真を見る、携帯電話を購入する、誤りをフィードバックする、などのオプションであるが、本発明はこれに限定されない。つまり、ビデオウォールで再生されている対話型画像の画像が入力画像で見られる。他の実施形態では、表示装置は、ユーザをすべての階のブランドに案内し、道標を示すための対話型マシンでもあることは言及する価値があるが、本発明はそれに限定されない。

ステップＳ２２０において、プロセッサ１４０は、対話型画像に対応する仮想オプションを取得し、仮想オプションは入力画像に重畳される。具体的には、仮想オプションは、例えば、予約リンク、購入リンク、経路案内などであるが、本発明はこれらに限定されない。

具体的には、プロセッサ１４０は、まず、入力画像を用いて入力画像内の表示装置に属する画像を分割し、該表示装置の画像に従って該表示装置に対応する装置識別タグを識別し、それによって、該表示装置に属する装置情報、出力画像情報及び仮想オプションを取得する。装置情報は、例えば、表示装置の位置情報、モデル番号、サイズである。出力画像情報は、例えば、指定の出力画像、出力画像の解像度およびレイアウト構成であるが、本発明はこれに限定されない。仮想オプションは、「モデル代理店」、「服地」、「購入情報」など、指定の出力画像の仮想のオブジェクトに対応する複数の事前設定された種々のオプションである。本発明の一実施形態では、入力画像は表示装置全体の完全な画像を含み、プロセッサ１４０は表示装置の画像に従って表示装置に属する特徴を見つけ、それによって表示装置に対応する装置識別タグを識別することは言及する価値がある。本発明の他の実施形態では、開発者は、プロセッサ１４０が表示装置の画像を通じて表示装置に対応する装置識別タグを識別することができるように、表示装置のランダムな位置または固定位置にマーク（例えば、二次元バーコード）を追加しても、対話型ビデオにマークを重畳してもよいが、本発明はこれに限定されない。

表示装置の装置識別タグを識別した後、プロセッサ１４０は、表示装置の装置識別タグに従って、表示装置の装置情報、出力画像情報、および仮想オプションを取得する。具体的には、プロセッサ１４０は外部サーバに接続して表示装置の装置識別タグに対応する装置情報、出力画像情報および仮想オプションを取得する。あるいは、プロセッサ１４０は、複数の装置識別タグに対応する装置情報、出力画像情報および仮想オプションも電子装置１００に事前に保存し、表示装置に対応する装置識別タグを取得する際に、プロセッサ１４０は、電子装置１００に保存された装置識別タグを比較することにより、表示装置の装置情報、出力画像情報および仮想オプションを取得するが、本発明はこれに限定されない。

デフォルト対話オプションおよび仮想オプションは、それぞれ指定の装置および指定のサービスにそれぞれ対応する。指定の装置および指定のサービスは、デフォルト対話オプションまたは仮想オプションが有効になっていることおよび装置によって提供される機能を反映するように構成された装置を指す。たとえば、デフォルト対話オプションが「もっと写真を見る」の場合、指定の装置は「表示装置」であり、指定のサービスは「＃２０１９ファッションショーのすべての写真を表示する」である。「もっと写真を見る」を有効にすると、表示装置には＃２０１９ファッションショーのすべての写真が表示される。仮想オプションが「オブジェクトの拡大」の場合、指定の装置は「表示装置」であり、指定のサービスは「表示装置内のこの仮想オプションに対応するオブジェクトの拡大」である。そして、商品Ａに対応する「オブジェクトを拡大する」が有効にされると、表示装置内の商品Ａが拡大されて表示される。仮想オプションが「オブジェクトの移動」である場合、指定の装置は「表示装置」であり、指定のサービスは「この仮想オプションに対応するオブジェクトの移動」である。そして、商品Ｂに対応する「オブジェクトの移動」が有効にされると、プロセッサ１４０は、入力装置１３０によって受信されたドラッグトラックを記録し、商品Ｂを表示装置内でドラッグトラックに従って移動させることができる。仮想オプションが「価格を表示する」の場合、指定の装置は「電子装置」であり、指定のサービスは「この仮想オプションに対応するオブジェクトの価格を表示する」である。本実施形態では、デフォルト対話オプションの各々および仮想オプションの各々に対応する指定の装置および指定のサービスは、開発者のニーズに応じて変更される。一般に、デフォルト対話オプションはユーザがビデオウォールを操作できるようにビデオウォールに表示されるため、デフォルト対話オプションを選択した指定の装置はビデオウォールでもあるが、本発明はこれに限定されない。さらに、本発明は、デフォルト対話オプションおよび仮想オプションの内容も制限しない。たとえば、開発者がオプション「もっと写真を見る」が仮想オプションで現れるほうがより適切であると考える場合、開発者は「もっと写真を見る」というオプションを仮想オプションに配置する。

本発明の別の実施形態では、デフォルト対話オプションに対応する指定の装置は表示装置であり、仮想オプションに対応する指定の装置は電子装置１００であることは言及する価値がある。また、本発明の別の実施形態では、開発者はまず、各対話オプションおよび各仮想オプションのプライバシーも規定する。プライバシーが低いオプションはデフォルト対話オプションであり、ビデオウォールに直接表示され、ビデオウォール上でユーザにより操作される。プライバシーが高いオプションは仮想オプションであり、電子装置１００上でユーザにより操作される。

仮想オプションに加えて、プロセッサ１４０は他の仮想タグも生成する。たとえば、服の価格がファッションショーのすべてのモデルの横に表示される。さらに、通貨の切り替えなど、対話タグと相互作用するオプションが仮想オプションに追加される。

本発明は上述の方法に限定されるものではなく、開発者が必要に応じてデフォルト対話オプションを仮想オプションからさらに分離することが可能な区別方法が本開示の範囲を超えることなく本発明に適用される。本明細書に記載されているデフォルト対話オプションと仮想オプションは両方とも単数で記載されていることに留意されたい。しかし、実際のアプリケーションでは、複数のデフォルト対話オプションおよび仮想オプションがあり、本発明はそれに限定されない。

本実施形態では、プロセッサ１４０は、入力画像内の対話型画像に属する一部分を特定して、対話型画像内の一つのオブジェクトに対応する仮想オプションを生成し、対応する仮想オプションを入力画像に重畳する。詳細は後述する。

仮想オプションが入力画像に重畳された後、ディスプレイ１５０は、入力画像と仮想オプションの両方を表示する。つまり、ユーザが表示装置を直接見ると、ユーザはデフォルト対話オプションを含む対話型画像を見ることができる。入力画像が電子装置１００によって取得される場合（すなわち、環境画像および表示装置の画像を含む）には、ユーザは、ディスプレイ１５０を見ているときに、入力画像内の、表示装置により表示される対話型画像に含まれる、対話型画像に重畳された仮想オプションを見るので、拡張現実（ＡＲ）効果が達成される。

ステップＳ２３０において、入力装置１３０は入力操作を受け取り、プロセッサ１４０は、入力操作に従って、デフォルト対話オプションまたは仮想オプションが有効にされるかどうかを判定し、有効にされたデフォルト対話オプションまたは仮想オプションに対応する指定の装置で指定のサービスを提供する。具体的には、本発明の実施形態では、この入力操作は、例えば、入力装置がユーザのタッチ操作を検出できるように、ユーザが入力装置１３０とディスプレイ１５０を組み合わせて成るタッチスクリーン内の任意の位置をクリックした後、またはユーザがマウスなどでディスプレイ１５０の任意の位置をクリックした後に入力信号を発生するが、本発明はこれに限定されない。デフォルト対話オプションと仮想オプションのいずれかが有効にされた後、有効にされたデフォルト対話オプションまたは仮想オプションに対応する指定の装置がさらに指定のサービスを提供する。入力操作に応じて、デフォルト対話オプションまたは仮想オプションが有効にされているかどうかを判定する方法の詳細を以下に説明する。

図３は、図２の対話型情報表示方法の詳細なフローチャートを示す。図３を参照して、対話型画像に従って仮想オプションを生成する方法の詳細を、図１〜３を参照して以下に説明する。

ステップＳ３１０において、プロセッサ１４０は、対話型画像内のオブジェクトを検出する。本発明の一実施形態では、オブジェクト検出は、Ｙｏｌｏｖ３のアルゴリズムを使用して実行されるが、本発明はそれに限定されない。例えば、対話型画像に少なくとも１つの花瓶がある場合、プロセッサ１４０は、検出結果として花瓶を検出フレームとしてフレーミングするが、本発明はこれに限定されない。

ステップＳ３２０において、プロセッサ１４０は、オブジェクトの輪郭を抽出する。すなわち、プロセッサ１４０は、ステップＳ３１０で設定された検出フレームから花瓶の実際の輪郭を切り出す。したがって、プロセッサ１４０は、オブジェクトの背景を効果的に除去し、ノイズを除去して、識別精度を向上させる。本発明の一実施形態では、オブジェクトの輪郭を抽出するためのセマンティックセグメンテーションモデルは、例えば、ＤｅｎｓｅＮｅｔであるが、本発明はそれに限定されない。

ステップＳ３３０において、プロセッサ１４０は、オブジェクトの特徴に従ってオブジェクトを識別する。具体的には、本実施形態では、各オブジェクトは少なくとも１つのオブジェクト識別タグに対応し、オブジェクト識別タグは、例えば、オブジェクトのコードである。サービスプロバイダは、オブジェクト識別タグに従って、各オブジェクトに対応するタグとオプションをそれぞれ設定する。例えば、各オブジェクトに対応する価格、購入リンク、実体店頭ナビゲーションなどが設定される。さらに、サービスプロバイダは、オブジェクトに対応するタグと、オブジェクトに対するオプションの表示位置も設定するが、本発明はこれに限定されない。プロセッサ１４０は、花瓶の模様、口の大きさ、高さなどのオブジェクトの内部特徴を識別し、オブジェクトの特徴に従って対応するオブジェクト識別特徴を見つける。本発明の一実施形態では、オブジェクトを識別するためのモデルは、例えば、ＲｅｓＮｅｔであるが、本発明はそれに限定されない。ＲｅｓＮｅｔを使用してオブジェクトを識別する詳細については、以下で説明する。

ステップＳ３４０において、プロセッサ１４０は、対応する仮想オプションを対応するオブジェクトの相対位置に重畳し、入力画像内のオブジェクトを追跡する。すなわち、プロセッサ１４０は、オブジェクト識別タグに対応するオプション（例えば、オブジェクトに対する表示位置）を仮想オプションとしてオブジェクトに重畳する。さらに、ディスプレイ１５０上の動入力画像に仮想オプションを継続的に重畳するために、プロセッサ１４０はすべてのオブジェクトを継続的に追跡する。これに基づいて、オブジェクトが移動しても、仮想オプションも対応するオブジェクトの相対位置に継続的に表示される。プロセッサ１４０が追跡プロセスでオブジェクトを見失った場合、プロセッサ１４０はステップＳ３１０〜Ｓ３４０を再実行する。

図４は、図２の対話型情報表示方法の詳細なフローチャートを示す。図４を参照するに、入力操作に応じてデフォルト対話オプションまたは仮想オプションが有効になっているかどうかを決定する方法の詳細が図１〜図４を参照して以下で説明される。図４では、仮想オプションに対応する指定の装置は電子装置であり、デフォルト対話オプションに対応する指定の装置は表示装置であるが、本発明はこれに限定されないことに留意されたい。

ステップＳ４１０において、プロセッサ１４０は、入力操作の位置が仮想オプションに対応するかどうかを判定する。仮想オプションに対応する入力位置に応じて、ステップＳ４２０において、プロセッサ１４０は仮想オプションを有効化する。さらに、ステップＳ４２５において、プロセッサ１４０は、仮想オプションに対応する指定のサービスを提供し、その指定のサービスをディスプレイ１５０に表示させる。

しかし、ステップＳ４１０において、入力操作の位置が仮想オプションに対応しないとプロセッサ１４０が判定した場合、ステップＳ４３０において、プロセッサ１４０は、表示装置に対応する入力操作の表示位置を取得する。本実施形態では、プロセッサ１４０は、表示装置の画像と表示装置の装置情報に基づいて、表示装置の画像と表示装置との間の位置対応関係を取得することにより、入力操作の位置と位置対応関係に基づいて表示装置上の入力操作の表示位置を取得する。具体的には、長方形の表示装置が例として挙げられる。表示装置本体の外枠は４つの直角からなる。ただし、カメラ１２０によって取得された入力画像では、ユーザの立ち位置は水平方向および垂直方向にずれがあり、カメラ１２０のコンポーネントは本質的に物理的特性および構造に制限があり、表示装置に対応する入力画像内の画像はさまざまな程度に変形し、たとえば、入力画像内の表示装置の画像は台形として表示される。したがって、プロセッサ１４０は、最初に位置対応関係を取得する。一実施形態では、プロセッサ１４０は、表示装置の画像内の表示装置の４つの角度に対応する座標を取得し、次に、装置情報内の表示装置の長さおよび幅の情報ならびに解像度情報に従って位置対応関係を取得する。しかし、本発明はこれに限定されない。

ステップＳ４３２において、プロセッサ１４０は、表示位置がデフォルト対話オプションに対応するかどうかを判定する。表示位置がデフォルト対話オプションに対応していない場合、プロセスは終了し、プロセッサ１４０は入力操作に応じて何の動作も実行しない。

プロセッサ１４０が、ステップＳ４３２において、表示位置がデフォルト対話オプションに対応すると判定すると、ステップＳ４３４において、デフォルト対話オプションに対応する表示位置に応答して、プロセッサ１４０はデフォルト対話オプションを有効にする。さらに、ステップＳ４３６において、プロセッサ１４０は、デフォルト対話オプションに対応する指定のサービスを提供し、その指定のサービスを表示装置に表示させる。

図５は、本発明の別の実施形態による電子装置の概略図を示す。図５を参照すると、本発明の一実施形態では、電子装置５００は、通信装置５１０、カメラ５２０、入力装置５３０、プロセッサ５４０およびディスプレイ５５０を含み、これらの構成要素は図１の電子装置１００の通信装置１１０、カメラ１２０、入力装置１３０、プロセッサ１４０およびディスプレイ１５０と同じであり、これらの構成要素の説明はここでは省略する。電子装置５００には、上記の構成要素に加えて、プラットフォームサーバ５６０および表示装置５７０が設けられている。

プラットフォームサーバ５６０は、通信装置５１０と通信接続している。図６を参照すると、図６は本発明の一実施形態によるプラットフォームサーバ５６０の構造概略図を示している。本発明のプラットフォームサーバ５６０のアーキテクチャは、プラットフォームのインターフェース定義言語、プラットフォーム抽象化層、プラットフォームのマイクロサービス、オペレーティングシステム、ファイルシステム、ファームウェア、ハードウェアインターフェース定義言語、ハードウェア抽象化層、ハードウェアドライバ、およびシステムおよび周辺ハードウェアを含む。

具体的には、サードパーティのマイクロサービスは、インディペンデントソフトウェアベンダー（ＩＳＶ）によって提供される。本発明の一実施形態では、サードパーティのマイクロサービスはプラットフォームサーバ５６０に組み込まれるか、またはサードパーティのマイクロサービスはＩＳＶによって自身のサーバにも組み込まれるが、本発明はそれに限定されない。

プラットフォームのマイクロサービスは、複数の異なるサービスカテゴリを提供する。サードパーティのマイクロサービスがプラットフォームのマイクロサービスにリクエストを送信すると、対応するサービスカテゴリがサードパーティのマイクロサービスに提供される。本実施形態では、プラットフォームマイクロサービスのサービスカテゴリは、例えば、装置管理コンポーネント、アカウント管理コンポーネント、表示装置カットコンポーネント、シェルフプラットフォームコンポーネント、および付加価値コンポーネントであるが、これらに限定されない。

装置管理コンポーネントは、表示装置５７０を設定するように構成される。表示装置５７０を初期化する必要がある場合、表示装置５７０は、サードパーティのマイクロサービスを通じて装置管理コンポーネントのサービスを申請する。装置管理コンポーネントは、それに応じて表示装置を設定するためのアセンブル可能なスタイルを提供する。

アカウント管理コンポーネントは、ユーザの権限を管理し、プラットフォーム管理およびカスタマイズされたサービスコンテンツに対するアクセス権限を提供する。本実施形態では、アカウント管理コンポーネントは、少なくとも２つの異なる権限、すなわち管理側に属する一般管理者と消費者側に属するユーザ権限を提供するが、これに限定されない。

表示装置カットコンポーネントは、画像のレイアウトを提供するように構成される。具体的には、表示装置５７０の表示レイアウトは、インストール中の設計に従って調整される。例えば、表示装置５７０は、ひし形、平行四辺形または円などの表示モードで配置される。このとき、表示装置カットコンポーネントは、表示レイアウトに対応するツールとテンプレートを提供するため、ユーザは画像を簡単にカットし、各ブロックの表示状況を決定することができる。

シェルフプラットフォームコンポーネントは、サードパーティのマイクロサービスを開発するためのＩＳＶ用ツールを提供するように構成される。具体的には、シェルフプラットフォームコンポーネントは、例えば、デザイン画カット機能、広告棚機能、マーケティング活動設計機能、およびソフトウェア開発ツールを提供する。

付加価値コンポーネントは、オンライン生放送サービスなどの他の追加のサービスカテゴリを提供し、ＩＳＶは、開発中に追加料金でこれらのサービスを使用できるが、本発明はそれに限定されない。

プラットフォームマイクロサービスによって提供されるサービスカテゴリは上記に限定されず、レイアウト層、ドメインノウハウ層、および装置層における表示装置５７０の設定および付加価値を高めることができる如何なるサービスカテゴリもすべて本発明に適用可能である。以下で、レイアウト層、ドメインノウハウ層、装置層について、表示装置５７０とともに説明する。

プラットフォームインターフェース定義言語およびプラットフォーム抽象化層は、サードパーティのマイクロサービスとプラットフォームのマイクロサービスとの間の通信ブリッジとして機能する。具体的には、サードパーティのマイクロサービスとプラットフォームのマイクロサービスは異なるプログラム言語とコンパイル法を使用するため、プラットフォームのインターフェース定義言語とプラットフォームの抽象化層は、サードパーティのマイクロサービスに適用可能な言語をプラットフォームのマイクロサービスに適用可能な言語に変換して、開発の柔軟性を高めることができる。

加えて、プラットフォームサーバ５６０は、オペレーティングシステム、ファイルシステム、およびファームウェアも備えており、それらのシステムおよび周辺ハードウェアを駆動し、ハードウェアインターフェース定義言語を介してハードウェア抽象化層およびハードウェアドライバを動作させて上記のすべてのサービスカテゴリを提供することができる。

表示装置５７０は、プラットフォームサーバ５６０に接続され、プラットフォームサーバ５６０によって提供されるサービスおよび画像を受信し表示するように構成される。表示装置５７０は、例えば、ビデオウォール、フロア案内またはさまざまな種類の情報を提供する対話装置等であるが、これらに限定されない。本発明の一実施形態では、表示装置５７０は、複数のディスプレイパネルを継ぎ合わせることによって形成され、継ぎ合わせたディスプレイパネルが一緒に１つの画像を再生することができる。従来のビデオウォールと比較して、このビデオウォールは、プラットフォームサーバ５６０により提供されるプラットフォームマイクロサービスがサードパーティのマイクロサービスを介して使用される場合、表示装置５７０がレイアウト層、ドメインノウハウ層、装置層の設定を提供し、付加価値サービスカテゴリを表示することができ、それによって、表示装置５７０の商業的価値が高まるという利点を有する。

具体的には、レイアウト層は、表示装置５５０が様々なタイプの継ぎ合わせ方法を有することを意味し、したがって、ユーザは、表示装置カットコンポーネントを介して画像をカットする、または画像をズームインおよびズームアウトすることができる。カット調整を受けた画像をレイアウト層に適用することもできる。

ドメインノウハウ層は、表示装置５７０は広告会社、履物産業、衣料品産業およびホテル産業などの複数の異なるドメインに適用されることを意味する。別の実施形態では、ドメインノウハウ層は、特定のドメインに対応する表示設定または特定のオブジェクトに対応する再生設定をさらに格納する。すなわち、様々なドメインの人達は、シェルフプラットフォームコンポーネントおよび付加価値コンポーネントの助けによってドメイン関連コンテンツを棚上げし、ドメイン関連コンテンツを表示装置５７０に表示することができる。

装置層は、様々なタイプの装置（携帯電話やタブレットコンピュータなど）はすべてディスプレイ５５０を介して電子装置５００上に対話型情報を表示することを意味する。

本実施形態では、表示装置５７０は、表示装置５７０に適用可能な対話型情報アプリケーションプログラムを事前配備して、表示装置５７０をサードパーティのマイクロサービスと連携させることができる。

本実施形態では、電子装置５００は、図２〜図４に示される対話型情報表示方法を、通信装置５１０、カメラ５２０、入力装置５３０、プロセッサ５４０、ディスプレイ５５０、プラットフォームサーバ５６０、および表示装置５７０の協働により達成する。電子装置５００の動作の詳細は図２〜図５を同時に参照して以下で説明される。

まず、図２および図５を参照すると、ステップＳ２１０において、カメラ５２０は入力画像を取得する。プロセッサ５４０は、最初に入力画像から表示装置の画像を分割し、入力画像内の表示装置の画像を通信装置５１０を介してプラットフォームサーバ５６０に送信する。

ステップＳ２２０において、プラットフォームサーバ５６０は、対話型画像に対応する仮想オプションを取得し、仮想オプションは入力画像に重畳され、重畳された仮想オプションおよび入力画像はフィードバックされてディスプレイ５５０に表示される。

具体的には、プラットフォームサーバ５６０は、入力画像から分割された表示装置の画像と表示装置の画像とに基づいて、表示装置に対応する装置識別タグを特定し、表示装置に属する装置情報、出力画像情報および仮想オプションを取得する。プラットフォームサーバ５６０は、入力画像内の対話型画像に属する部分を識別し、入力画像内の対話型画像中のオブジェクトに対する相対位置に、対応する仮想オプションを重畳する。プラットフォームサーバ５６０は、ディスプレイ５５０に入力画像を表示するために、通信装置５１０に仮想オプションが重畳された入力画像をフィードバックする。

ステップＳ２３０において、入力装置５３０は入力操作を受信し、プロセッサ５４０は、入力操作に従って、デフォルト対話オプションまたは仮想オプションが有効かどうかを判定し、有効なデフォルト対話オプションまたは仮想オプションに対応する指定の装置に指定のサービスを提供する。入力操作に従ってデフォルト対話オプションまたは仮想オプションが有効になっているかどうかを判定する方法の詳細については、以下で説明する。

続けて図３および図５を参照すると、図５の実施形態では、プラットフォームサーバ５６０が対話型画像に基づいて仮想オプションを生成する。すなわち、ステップＳ３１０において、プラットフォームサーバ５６０が対話型画像内のオブジェクトを検出する。ステップＳ３２０において、プラットフォームサーバ５６０がオブジェクトの輪郭を抽出する。ステップＳ３３０において、プラットフォームサーバ５６０がオブジェクトの特徴に従ってオブジェクトを識別する。ステップＳ３４０において、プラットフォームサーバ５６０がオブジェクトに従って対応する仮想オプションを生成し、オブジェクトを追跡する。仮想オプションに加えて、プラットフォームサーバ５６０は同様に対話型画像内のオブジェクトも追跡し、対話型画像内のオブジェクトにデフォルト対話オプションを重畳することは言及する価値がある。電子装置５００のステップＳ３１０からステップＳ３４０までの動作の詳細は、電子装置１００のステップＳ３１０からステップＳ３４０までの動作の詳細と同じであるため、ここでは説明を省略する。

続けて図４および図５を参照して、電子装置５００が、入力操作に従ってデフォルトの対話オプションまたは仮想オプションが有効にされているかどうかを決定する方法の詳細を以下に説明する。

ステップＳ４１０において、プロセッサ５４０は、入力操作の位置が仮想オプションに対応するかどうかを判定する。入力位置が仮想オプションに対応する場合、ステップＳ４２０において、プロセッサ５４０は、仮想オプションに対応する入力位置に応じて仮想オプションを有効化する。このとき、プロセッサ５４０は、仮想オプションに対応する指定のサービスを提供するか、またはプロセッサ５４０は、通信装置５１０を介してプラットフォームサーバ５６０にサービス要求を送信し、プラットフォームサーバ５６０に仮想オプションに対応する指定のサービスを提供するように依頼する。ステップＳ４２５において、プラットフォームサーバ５６０は、仮想オプションに対応する指定のサービスを通信装置５１０に提供および送信し、指定のサービスをディスプレイ５５０に表示する。

しかし、ステップＳ４１０において、プロセッサ５４０は、入力操作の位置が仮想オプションに対応しないと判定した場合、ディスプレイに対応する入力操作の入力位置および入力画像をプラットフォームに送信する。ステップＳ４３０において、プラットフォームサーバ５６０は、入力画像における表示装置の画像と表示装置５７０との位置対応関係を取得し、表示装置５７０における入力操作の表示位置を取得する。具体的には、プロセッサ５４０は、ディスプレイの表示領域に座標を設定し、ディスプレイ５５０に対する入力操作の座標点を入力操作の表示位置として決定する。さらに、プロセッサ５４０は、入力操作の位置および入力画像をプラットフォームサーバ５６０に送信する。前述の実施形態と同様に、入力画像内の表示装置に対応する画像は、異なる程度に変形する。したがって、表示装置の画像と表示装置５７０との間の位置対応関係を知る必要がある。違いは、本実施形態ではプラットフォームサーバ５６０が位置対応関係を取得することである。表示装置５７０は、最初にログインしてプラットフォームサーバ５６０に登録する必要があるため、プラットフォームサーバ５６０は、表示装置５７０の装置情報を記憶し、その装置情報と入力画像に基づいて位置対応関係を取得する。装置情報および入力画像に基づいて対応関係を取得する詳細は、前述の実施形態と同様であるため、ここでは説明を省略する。

位置対応関係により、プラットフォームサーバ５６０は、ディスプレイ５５０に対する入力操作の座標点を対応する表示装置５７０の表示位置に変換し、それによって入力操作がデフォルトの対話オプションに対応するかどうかを判定することができる。

ステップＳ４３２において、プラットフォームサーバ５６０は、表示位置がデフォルトの対話オプションに対応するかどうかを判定する。表示場所がデフォルトの対話オプションに対応しない場合、プロセスは終了し、プラットフォームサーバ５６０は入力操作に応じて何の動作も実行しない。

プラットフォームサーバ５６０が、ステップＳ４３２において、表示位置がデフォルトの対話オプションに対応すると判定した場合、プラットフォームサーバ５６０は、ステップＳ４３４において、デフォルトの対話オプションに対応する入力位置に応じて、デフォルトの対話オプションを有効にする。さらに、ステップＳ４３６において、プラットフォームサーバ５６０は、デフォルトの対話オプションに対応する指定のサービスを提供し、指定のサービスを表示装置５７０に表示する。

図７は、本発明の一実施形態によるＲｅｓＮｅｔモデルの概略図を示す。図７を参照すると、ＲｅｓＮｅｔモデルでは、メタ学習Ｍｅｔａ−Ｃｒｉｔｉｃ（メタクリティック）法を使用して学習が実行される。メタ学習Ｍｅｔａ−Ｃｒｉｔｉｃ法では、入力はアクターである。各アクターは、ハイパーパラメータａを入力し、ハイパーパラメータaを使用してタスクＴａｓｋ／Ｅｎｖを完了させ、対応する評価結果（s、r）を発生させる。各アクターに対応するハイパーパラメータaと評価結果（s、r）をメタ学習Ｍｅｔａ−Ｃｒｉｔｉｃに入力することにより、メタ学習Ｍｅｔａ−Ｃｒｉｔｉｃは各種タイプのハイパーパラメータの従来の使用によって取得された評価結果（s、r）に基づいて学習モデルに適用可能なハイパーパラメータを見つけ出す。つまり、メタ学習Ｍｅｔａ−Ｃｒｉｔｉｃは学習モデルの設計方法を学習する方法である。言い換えれば、メタ学習Ｍｅｔａ−Ｃｒｉｔｉｃは、プレデセサーの学習経験を通じて自分で学習する方法を推測する方法と見なされる。メタ学習Ｍｅｔａ−Ｃｒｉｔｉｃ法によって取得されたハイパーパラメータは、オブジェクトの識別に適用される。すなわち、オブジェクトの識別中に、識別すべきオブジェクトに適用可能なＲｅｓＮｅｔモデルのハイパーパラメータが最初にメタ学習Ｍｅｔａ−Ｃｒｉｔｉｃを通じて取得され、そのハイパーパラメータに従って学習モデルを設定し、次に設定された学習モデルに従って識別すべきオブジェクトを識別する。

本発明の一実施形態では、コンピュータ可読記録媒体も提供される。コンピュータ可読記録媒体はプログラムを格納し、コンピュータがプログラムをロードして実行すると、請求項１４から１８のいずれか１項に記載の方法が完了する。例えば、コンピュータがプログラムをロードして実行すると、上記実施形態の技術的内容が完了する。

実際の電子装置５００の可能な適用状況を以下に説明する。

［第１の適用状況］
台湾は面積が狭く、家賃が非常に高い。したがって、実在ストアには、商品を表示するのに十分なスペースがない。このとき、電子装置５００を介して表示装置５７０に複数の商品が同時に表示され、消費者は自身の携帯電話を介して表示装置５７０を見て直接商品を購入する。例えば、表示装置５７０の画像は、商品１〜９に対応する９つの区分に分割され、「もっと見る」、「商品を拡大する」、「左に回転する」などのオプション（デフォルト対話オプション）が同時に各区分に表示される。加えて、消費者が自身の携帯電話を通して表示装置５７０を見る場合、携帯電話は商品１〜９の隣にそれぞれ価格および「購入」（仮想対話オプション）を表示する。消費者は携帯電話の商品１の区分で「商品を拡大する」をクリックすることができる。このとき、商品１が、プラットフォームサーバ５６０を介して、表示装置５７０上の商品１に対応する区分で拡大される。消費者が携帯電話上の商品１の位置で「購入」をクリックすると、このとき、携帯電話が購入リクエストをプラットフォームサーバ５６０に送信し、プラットフォームサーバ５６０は二次元バーコードを返送し、携帯電話上にその二次元バーコードを表示する。消費者は、表示装置５７０または他の特定のマシンを介してその二次元バーコードをスキャンするだけで支払うことができ、商品１はロジスティクスを通じて配達される。または、消費者が「購入」をクリックした後、携帯電話が購入ウェブサイトへの入力要求をプラットフォームサーバ５６０に送信し、携帯電話に商品1の購入ウェブサイトを表示する。このように、店舗はショッピング媒体に変換され、支払いが完了した後、実物が倉庫から直接配送されるため、店舗を開設する費用が節約される。

［第２の適用状況］
表示装置５７０は、上部区域、中間区域、下部区域に分けられる。

表示装置５７０は、上部区域に地図を表示し、その地図が携帯電話を介して読み取られると、各店舗の消費者の流れ状態が携帯電話に表示される。たとえば、店舗が赤色の場合、人が多いことを示す。

表示装置５７０は、群衆属性に基づいて、広告看板、クーポン、またはプロモーションなどを中央区域に表示する。さらに、広告看板が携帯電話を介して読み取られると、ダウンロードリンク、金額、コメント、デザイナー名、またはユーザの最終訪問時間などの対応する情報が、異なる広告タイプに従って表示される。

表示装置５７０は、上部区域または中間区域の操作に応じて下部区域に情報を表示する。たとえば、ユーザが上部区域の地図内の店舗をクリックすると、店舗情報が下部区域に表示される。または、ユーザが中間区域の広告をクリックすると、対応する広告情報が下部区域に表示される。下部区域には、例えばナビゲーションや予約などの、より多くのデフォルト対話オプションと仮想対話オプションが表示される。

このようにして、ショッピングモールの場合、このショッピングモールに適用可能な関連情報およびアクティビティがユーザに勧められ、ショッピングモール内に商品が広げられる。さらに、店舗のマーケティング活動のコストも削減される。

第１の状況であろうと、第２の状況であろうと、または本発明を使用する他の如何なるタイプの状況であろうと、複数の人々が電子装置５００を同時に使用および操作することは言及する価値がある。したがって、表示装置５７０が複数のユーザから入力操作を受信し、表示装置５７０が指定のサービスを提供するように要求されると、表示装置５７０はこの時点で対話型画像に複数の表示枠をさらに提供する。各表示枠は1つの入力操作に対応し、対応する指定のサービスを提供する。または、表示装置５７０は、最初に受け取った入力操作に対応する指定のサービスのみを提供する。または、表示装置５７０は、第２の入力操作を受信すると指定の時間（例えば、６０秒および１８０秒）のカウントダウンを開始し、表示装置５７０は、指定のサービスを複数のユーザに順番に提供する。本発明はこれに限定されない。

上記に基づいて、本発明によって提供される対話型情報表示方法、電子装置、およびコンピュータ可読記録媒体によれば、ユーザは電子装置上の表示装置と対話する。したがって、ユーザは、表示装置上の情報を操作するだけでなく、追加のよりプライベートな情報を表示するために、表示装置上の情報を電子装置に広げることができる。さらに、表示装置の正しい位置は表示装置の装置識別タグを介して取得されるため、表示装置の情報と電子装置にリンクされた対応する仮想オプションおよび仮想タグはすべてローカル案内および販売促進を提供し、情報伝達効果と広告利益を向上させることができる。さらに、プラットフォームサーバの構築後、ＩＳＶはプラットフォームサーバを介してさまざまなタイプの情報を自己開発して棚上げすることができ、且つさまざまなドメインの人々が情報表示の柔軟性を向上させるために表示装置を介して広告を作成したり、あらゆる種類のサービスを提供したりすることができる。プラットフォームサーバのプロバイダー側では、プラットフォームサーバの構築と保守に集中するだけでよい。ユーザにとって、本発明は、新しい操作体験を提供するだけでなく、ユーザは表示される様々なタイプの情報を見ながら、関心のある部分に関するより詳細な情報をさらに取得することも可能にする。

本開示の範囲または精神から逸脱することなく、開示された実施形態に対して様々な修正および変更を行うことができることは、当業者には明らかであろう。上記に鑑みて、本開示は、添付の特許請求の範囲およびそれらの均等物の範囲内にある限り、そのような修正および変形を包含することが意図されている。

本発明の電子装置および対話型情報表示方法は、テレビウォール装置、テレビ装置など、およびそれらの操作方法に適用することができる。

１００，５００ 電子装置
１１０，５１０ 通信装置
１２０，５２０ カメラ
１２０，５３０ 入力装置
１４０，５４０ プロセッサ
１５０，５５０ ディスプレイ
５６０ プラットフォームサーバ
５７０ 表示装置
Ｓ２１０〜Ｓ２３０，Ｓ３１０〜Ｓ３４０，Ｓ４１０〜Ｓ４３６ ステップ

Claims (5)

1. 対話型情報を表示するように構成された電子装置であって、
   情報を送受信するように構成された通信装置と、
   入力画像を取得するように構成されたカメラであり、前記入力画像は表示装置の画像を含み、前記表示装置はデフォルト対話オプションを含む対話型画像を表示するものである、カメラと、
   入力操作を受け取るように構成された入力装置と、
   前記通信装置、前記カメラ、および前記入力装置に接続され、前記対話型画像に対応する仮想オプションを取得し、該仮想オプションを前記入力画像に重畳するように構成されたプロセッサであり、前記デフォルト対話オプションおよび前記仮想オプションは指定の装置および指定のサービスにそれぞれ対応する、プロセッサと、
   前記プロセッサに接続され、前記入力画像と前記仮想オプションを表示するように構成されたディスプレイと、
   を備え、
   前記入力装置が前記入力操作を受信すると、前記プロセッサが、前記デフォルト対話オプションまたは前記仮想オプションが有効であるかどうかを判定し、有効なデフォルト対話オプションまたは仮想オプションに対応する指定の装置に指定のサービスを提供する、
   電子装置。
2. 請求項１に記載の電子装置において、前記プロセッサが、
   前記対話型画像内のオブジェクトを検出し、前記オブジェクトの輪郭を抽出し、前記オブジェクトの特徴に従って前記オブジェクトを識別し、前記対応する仮想オプションを前記対応するオブジェクトに対する相対位置に重畳し、前記入力画像内の前記オブジェクトを追跡すること、
   前記入力画像内の前記表示装置に属する画像を抽出し、前記表示装置の画像に従って、前記表示装置に対応する装置識別タグを識別し、前記装置識別タグに従って、前記表示装置の装置情報、出力画像情報、および仮想オプションを取得すること、
   入力位置が前記仮想オプションに対応しているかどうかを判定し、ここでこの入力位置は前記ディスプレイの入力位置であって前記入力操作に対応するものであり、前記仮想オプションに対応する入力位置に応答して、前記仮想オプションを有効にし、前記仮想オプションに対応しない入力位置に応答して、前記表示装置に対応する入力操作の表示位置を取得し、その表示位置が前記デフォルト対話オプションに対応するかどうかを判定し、前記デフォルト対話オプションに対応する前記表示位置に応答して、前記デフォルト対話オプションを有効にすること、および
   前記入力画像内の表示装置に属する画像と前記表示装置の装置情報とに基づいて、前記表示装置の画像と前記表示装置との間の位置対応関係を取得し、前記入力位置と前記位置対応関係とに基づいて、前記表示装置に対応する前記入力操作の表示位置を取得すること、
   のうちの少なくとも１つを実行するように構成されている、
   電子装置。
3. 請求項１または２に記載の電子装置において、
   プラットフォームサーバが前記通信装置と接続され、前記通信装置が前記プラットフォームサーバに対話型画像を送信し、前記プラットフォームサーバが前記対話型画像内のオブジェクトを検出し、該オブジェクトの輪郭を抽出し、該オブジェクトの特徴に従って該オブジェクトを識別し、前記プラットフォームサーバが対応する仮想オプションまたはデフォルト対話オプションを該オブジェクトに重畳し、該オブジェクトを追跡すること、および
   前記表示装置が前記プラットフォームサーバと接続され、前記プラットフォームサーバが前記対話型画像の信号を前記表示装置に送信し、前記表示装置が前記対話型画像を再生すること、
   のうちの少なくとも１つを備え、
   前記プロセッサと前記プラットフォームサーバは、
   前記仮想オプションが有効であり且つサービス要求がプロセッサによる仮想オプションの指定のサービスに対応するという判定に応じて、プラットフォームサーバにサービス要求を送信し、プラットフォームサーバによるこのサービス要求に従って、前記仮想オプションに対応する指定のサービスを提供し、その指定のサービスをプロセッサにより前記ディスプレイに表示すること、
   前記プロセッサにより、前記入力画像内の前記表示装置に属する画像を前記通信装置を介して前記プラットフォームサーバに送信し、前記プラットフォームサーバにより、前記表示装置の画像に基づいて前記表示装置に対応する装置識別タグを識別し、その装置識別タグに従って前記表示装置の装置情報、出力画像情報および仮想オプションを取得すること、
   前記プロセッサにより、入力位置が前記仮想オプションに対応するかどうかを判定し、前記仮想オプションに対応する入力位置に応答して、前記仮想オプションを有効にし、ここでこの入力位置は前記ディスプレイの入力位置であって前記入力操作に対応するものであり、前記プロセッサにより、前記仮想オプションに対応しない入力位置に応答して、その入力位置を前記プラットフォームサーバに送信し、前記プラットフォームサーバにより、前記入力位置に基づいて前記表示装置に対応する前記入力操作の表示位置を取得し、その表示位置が前記デフォルト対話オプションに対応するかどうかを判定し、前記プラットフォームサーバにより前記デフォルト対話オプションに対応する前記表示位置に応答して前記デフォルト対話オプションを有効にすること、および
   前記プラットフォームサーバにより、前記表示装置の画像と前記表示装置との位置対応関係を、前記入力画像内の前記表示装置に属する画像と前記表示装置の前記装置情報とに基づいて取得し、前記入力位置と前記位置対応関係とに基づいて、前記表示装置に対応する前記入力操作の表示位置を取得すること、
   のうちの少なくとも１つを実行するように構成され、
   前記仮想オプションが有効にされると、前記プロセッサにより前記仮想オプションに対応する指定のサービスが提供され、指定のサービスが前記ディスプレイに表示されるか、または、前記仮想オプションの指定の装置および指定のサービスに従って前記プラットフォームサーバにサービス要求が送信され、前記プラットフォームサーバにより指定のサービスが提供され、前記プロセッサにより指定のサービスが前記ディスプレイに表示され、
   前記デフォルト対話オプションが有効にされると、前記プラットフォームサーバにより、デフォルト対話オプションに対応する指定のサービスが提供され、指定のサービスが表示装置に表示される、
   電子装置。
4. 対話型情報表示方法であって、
   入力画像を取得するステップであり、その入力画像は表示装置の画像を含み、その表示装置はデフォルト対話オプションを含む対話型画像を表示するものである、ステップと、
   前記対話型画像に対応する仮想オプションを取得し、該仮想オプションを入前記力画像に重畳するステップであり、前記デフォルト対話オプションと前記仮想オプションはそれぞれ指定の装置と指定のサービスに対応する、ステップと、
   入力操作を受信し、該入力操作に従って、前記デフォルト対話オプションまたは前記仮想オプションが有効であるかどうかを判定するステップと、
   有効なデフォルト対話オプションまたは仮想オプションに対応する指定の装置で指定のサービスを提供するステップと、
   を備える対話型情報表示方法。
5. 請求項４に記載の対話型情報表示方法において、
   前記対話型画像に対応する仮想オプションを取得し、該仮想オプションを前記入力画像に重畳するステップは、
   前記入力画像内の前記表示装置に属する画像を抽出するステップと
   前記表示装置の画像に従って、前記表示装置に対応する装置識別タグを識別するステップと、
   前記装置識別タグに従って、前記表示装置の装置情報、出力画像情報、および仮想オプションを取得するステップと、
   前記対話型画像内のオブジェクトを検出するステップと、
   前記オブジェクトの輪郭を抽出するステップと、
   前記オブジェクトの特徴に従って前記オブジェクトを識別するステップと、
   前記対応する仮想オプションを前記対応するオブジェクトに対する相対位置に重畳するステップと、
   前記オブジェクトを追跡するステップとを備え、
   前記入力操作は電子装置に対応するディスプレイの入力位置に対応し、前記入力位置を受信し、前記入力操作に従ってデフォルト対話オプションまたは仮想オプションが有効であるかどうかを判定するステップは、
   前記入力位置が前記仮想オプションに対応しているかどうかを判定するステップと、
   前記仮想オプションに対応する入力位置に応答して、前記仮想オプションが有効であると判定するステップと、
   前記仮想オプションに対応しない入力位置に応答して、前記表示装置に対応する入力操作の表示位置を取得し、その表示位置が前記デフォルト対話オプションに対応するかどうかを判定するステップと、
   前記デフォルト対話オプションに対応する前記表示位置に応答して、前記デフォルト対話オプションが有効であると判定するステップとを備え、
   前記表示装置に対応する入力操作の表示位置を取得し、前記表示位置が前記デフォルト対話オプションに対応するかどうかを判定するステップは、
   前記入力画像内の表示装置に属する画像と前記表示装置の装置情報とに基づいて、前記表示装置の画像と前記表示装置との間の位置対応関係を取得するステップと、
   前記入力位置と前記位置対応関係とに基づいて、前記表示装置に対応する前記入力操作の表示位置を取得するステップとを備える、
   対話型情報表示装置。

Images