JP2021131617A - 情報処理方法、プログラム、及び情報処理装置 - Google Patents

Abstract

【課題】所定画面からユーザインタフェースを用いて設定等がされる場合に、適切なガイドを行うことを可能にする仕組みを提供する。【解決手段】情報処理方法は、情報処理装置に含まれる１又は複数のプロセッサが、撮影装置により撮影中の画像を表示制御することと、前記画像内に表示される他の情報処理装置の画面を特定することと、特定された画面内に表示される文字が認識され、当該文字の文字情報を含む認識結果を取得することと、前記認識結果に対応するガイド情報を取得することと、前記ガイド情報を、対応する文字情報に関連付けて前記撮影中の画像に重畳して表示制御することと、を実行する。【選択図】図１

Description

本開示は、情報処理方法、プログラム、及び情報処理装置に関する。

以前から、ＣｔｏＣ（Customer To Customer）マーケットプレイスなどの電子商取引プラットフォームにおいて、個人売買を仲介するシステムが公開されている（例えば、特許文献１参照）。

特開２００１−１６７１６３号公報

しかしながら、従来技術では、電子商取引などのユーザインタフェースに慣れないユーザにとって、どのように設定、登録等したら利用可能になるのかを理解することが難しい場合に、説明文などの情報しか存在せず、設定方法等を適切に理解することができなかった。

本開示は、所定画面からユーザインタフェースを用いて設定等がされる場合に、適切なガイドを行うことを可能にする仕組みを提供する情報処理方法、プログラム、及び情報処理装置を提供することを目的の一つとする。

本開示の一実施形態に係る情報処理方法は、情報処理装置に含まれる１又は複数のプロセッサが、撮影装置により撮影中の画像を表示制御することと、前記画像内に表示される他の情報処理装置の画面を特定することと、特定された画面内に表示される文字が認識され、当該文字の文字情報を含む認識結果を取得することと、前記認識結果に対応するガイド情報を取得することと、前記ガイド情報を、対応する文字情報に関連付けて前記撮影中の画像に重畳して表示制御することと、を実行する。

開示の技術によれば、所定画面からユーザインタフェースを用いて設定等がされる場合に、適切なガイドを行うことを可能にする仕組みを提供することができる。

実施形態における情報処理システム１の各構成例を示す図である。 実施形態に係るユーザ端末１０Ａの一例を示すブロック図である。 実施形態に係るサーバ２０の一例を示すブロック図である。 実施形態に係る物体データ２３３の一例を示す図である。 実施形態に係る文字認識データ２３４の一例を示す図である。 実施形態に係るガイド格納先データ２３５の一例を示す図である。 実施形態に係る情報処理システム１の登録処理の一例を示すシーケンス図である。 実施形態に係る情報処理システム１の表示処理の一例を示すシーケンス図である。 実施形態に係るユーザ端末１０Ａにおける画面遷移の一例を示す図である。

以下、本開示の実施形態について図面を参照しつつ詳細に説明する。なお、同一の要素には同一の符号を付し、重複する説明を省略する。

［実施形態］
実施形態では、情報処理装置の撮影装置により撮影中の画像を表示し、他の情報処理装置の表示部に表示された所定画面を特定し、所定画面に含まれる各項目に対してユーザが設定する場合に、各項目の入力方法をガイドするためのガイド情報を重畳表示する方法、プログラム、装置、システム等について説明する。

実施形態では、情報処理装置としてウェラブル端末のスマートグラスを例にし、他の情報処理装置としてスマートフォンを例にして説明するが、この例に限られないことはいうまでもない。例えば、情報処理装置は、撮影装置を内蔵する又は外付け可能な装置でもよく、他の情報処理装置は、画面からユーザが操作するような装置であればよい。

ユーザは、所定画面の設定方法に関するガイド情報が表示部に重畳表示されるので、適切なガイドを容易に把握することができる。また、ガイド情報が重畳表示されることにより、ユーザは、別途説明文を読んだりせずにすむ。

＜システムの適用例＞
図１は、実施形態における情報処理システム１の各構成例を示す図である。図１に示す例では、ユーザが利用する各情報処理装置１０Ａ、１０Ｂ・・・と、物体認識処理を実行したり、文字認識処理を実行したり、ガイド情報を記憶したりするサーバ２０とが、ネットワークＮを介して接続される。なお、サーバ２０は、複数のサーバやデータベースで構成されてもよく、機能ごとに１つのサーバで処理されたり、各データを１つのデータベースで保存したりしてもよい。

情報処理装置１０Ａは、例えば、ウェアラブル端末（限定でなく例として、メガネ型デバイスなど）である。ウェアラブル端末は、ユーザが装着する電子デバイスである。ウェアラブル端末は、例えば、メガネ型端末（スマートグラス）、コンタクトレンズ型端末（スマートコンタクトレンズ）、拡張現実（ＡＲ: Augmented Reality）技術を用いたヘッドマウントディスプレイ、義眼、ブレイン・マシン・インタフェース等であってもよい。また、ウェアラブル端末はスマートスピーカー、ロボット等、ユーザが装着できない端末でもよい。本実施形態においては、上述したように、ウェアラブル端末がメガネ型端末（スマートグラス）である場合を例に説明する。なお、情報処理装置１０Ａは、ウェアラブル端末に限らず、スマートフォンやタブレット端末などの情報処理端末であってもよい。また、以下、情報処理装置１０Ａは、ユーザ端末１０Ａとも呼ばれる。

情報処理装置１０Ｂは、例えば、スマートフォン、携帯電話（フィーチャーフォン）、コンピュータ、ＰＤＡ（Personal Digital Assistant）、券売機、宅配ロッカーや宅配ボックス、テレビ、家電のリモートコントローラー、スクリーンを含む表示装置などである。また、情報処理装置１０Ｂは、所定画面を用いてユーザに操作を行わせるような装置であればよい。また、以下、情報処理装置１０Ｂは、ユーザ端末１０Ｂとも呼ばれる。

情報処理装置２０は、例えばサーバであり、１又は複数の装置により構成されてもよい。また、情報処理装置２０は、物体認識処理を実行したり、文字認識処理を実行したり、ガイド情報を記憶したり、電子商取引プラットフォームを管理したりするサーバである。

図１に示す例では、ユーザ端末１０Ｂは、所定画面を表示し、例えば電子商取引プラットフォームに会員登録するための登録画面を表示するとする。ユーザ端末１０Ａは、内蔵又は外付けの撮影装置（例えばカメラ）を用いて、ユーザ端末１０Ｂの画面に表示された登録画面を撮影する。

このとき、ユーザは、表示された登録画面に対してジェスチャを行ったり、音声で登録画面が撮影されていることを指示したりすると、ユーザ端末１０Ａは、登録画面を含む画像を取得し、取得した画像をサーバ２０に送信する。

サーバ２０は、取得した画像から物体（例えばスマートフォンや、券売機など）を認識し、認識した物体を識別する物体識別情報（物体ＩＤ）と、画像内における画面の位置情報を取得する。サーバ２０は、取得した物体ＩＤと位置情報とをユーザ端末１０Ｂに送信する。

ユーザ端末１０Ｂは、サーバ２０から取得した位置情報に基づき、画像から文字認識する領域を特定し、特定した領域の画像（領域画像）から文字認識を行う。文字認識処理について、領域画像がサーバ２０に送信され、ユーザ端末１０Ｂは、サーバ２０による文字の認識結果を取得するようにしてもよい。認識結果は、例えば、「登録画面」の画面名、「氏名」、「メールアドレス」などの各入力項目である。

ユーザ端末１０Ｂは、認識結果に基づいて、「登録画面」に対応するガイド情報をサーバ２０から取得し、ガイド情報を表示部に重畳表示する。これにより、物体認識によりガイド情報を特定しつつ、適切なガイド情報を重畳表示することで、ユーザ端末１０Ｂの実際の登録画面はそのまま表示し、ユーザ端末１０Ｂとは異なるユーザ端末１０Ａを用いて、登録画面の入力や設定をアシストすることができる。

＜構成の一例＞
図２は、実施形態に係るユーザ端末１０Ａの一例を示すブロック図である。ユーザ端末１０Ａは典型的には、１つ又は複数の処理装置（ＣＰＵ）１１０、１つ又は複数のネットワーク又は他の通信インタフェース１２０、メモリ１３０、ユーザインタフェース１５０、撮影装置１６０、及びこれらの構成要素を相互接続するための１つ又は複数の通信バス１７０を含む。

ユーザインタフェース１５０は、例えば、ディスプレイ装置１５１及び入力装置（キーボード及び／又はマウス、又は他の何らかのポインティングデバイス、音を入力可能なマイク等）１５２を備えるユーザインタフェース１５０である。また、ユーザインタフェース１５０は、タッチパネルでもよい。また、ユーザ端末１０Ａがウェアラブル端末１０Ａの場合、ディスプレイ装置１５１はレンズ、入力装置１５２はマイク等でもよい。

撮影装置１６０は、画像（静止画像及び動画像を含む）を撮影するためのデバイスである。例えば、撮影装置１６０は、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ、レンズ等の撮影素子を含んでいてもよい。

メモリ１３０は、例えば、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ又は他のランダムアクセス固体記憶装置などの高速ランダムアクセスメモリであり、また、１つ又は複数の磁気ディスク記憶装置、光ディスク記憶装置、フラッシュメモリデバイス、又は他の不揮発性固体記憶装置などの不揮発性メモリでもよい。

また、メモリ１３０の他の例として、ＣＰＵ１１０から遠隔に設置される１つ又は複数の記憶装置でもよい。ある実施形態において、メモリ１３０は次のプログラム、モジュール及びデータ構造、又はそれらのサブセットを格納する。

オペレーティングシステム１３１は、例えば、様々な基本的なシステムサービスを処理するとともにハードウェアを用いてタスクを実行するためのプロシージャを含む。

ネットワーク通信モジュール１３２は、例えば、ユーザ端末１０Ａを他のコンピュータに、１つ又は複数のネットワーク通信インタフェース１２０及び、インターネット、他の広域ネットワーク、ローカルエリアネットワーク、メトロポリタンエリアネットワークなどの１つ又は複数の通信ネットワークを介して接続するために使用される。

画像関連データ１３３は、撮影中に撮影された画像データに関連して取得可能なデータである。例えば、画像関連データ１３３は、画像データを識別するための画像ＩＤ、画像内の物体の物体ＩＤ、画面の位置情報、領域画像などを含む。これらのデータは、画像データから物体認識に関連して取得可能である。

テキスト関連データ１３４は、撮影中の画像から文字認識して抽出された文字を含むテキストデータや、ユーザにより入力されたテキストデータに関連するデータを含む。また、テキスト関連データは、ユーザの音声データを音声認識して取得されたりしてもよい。ユーザにより入力装置１５２を操作されることで取得されたりする。

メモリ１３０には、ガイド情報を表示する表示処理を行うモジュールと、ガイド情報を登録する登録処理を行うモジュールとを有する。まず、表示処理を行うモジュールについて説明する。

＜表示処理＞
特定モジュール１３５は、撮影中の画像内に表示される他の情報処理装置（例えばユーザ端末１０Ｂ）の画面を特定する。例えば、特定モジュール１３５は、撮影中の画像から一の画像を取得し、サーバ２０に物体認識をリクエストする。特定モジュール１３５は、サーバ２０から、認識された物体の画面情報（例えば画像内における画面の位置情報）を取得する。具体例として、特定モジュール１３５は、サーバ２０側が公開する物体認識ＡＰＩを用いて、認識された物体の物体ＩＤや位置情報を取得してもよい。

取得モジュール１３６は、特定された画面内に表示される文字が認識され、この文字の文字情報を含む認識結果を取得する。例えば、取得モジュール１３６は、画面の位置情報に基づいて切り出した領域画像をサーバ２０に送信し、サーバ２０側で領域画像内の文字列が認識されて、その文字列の文字情報を含む認識結果をサーバ２０から取得する。具体例として、取得モジュール１３６は、サーバ２０側が公開する文字認識ＡＰＩを用いて、領域画像内の文字列（テキスト）や文字列の位置情報（例えば氏名、メールアドレスなど）を取得してもよい。

また、取得モジュール１３６は、文字の認識結果に対応するガイド情報を取得する。例えば、取得モジュール１３６は、認識結果の文字情報を項目ごとにサーバ２０に送信し、サーバ２０側で各項目の文字情報に対応するガイド情報が特定され、特定されたガイド情報をサーバ２０から取得する。

表示制御モジュール１３７は、撮影装置１６０により撮影中の画像をディスプレイ１５１（表示部）に表示制御する。また、表示制御モジュール１３７は、取得されたガイド情報を、対応する項目又は文字情報に関連付けて、撮影中の画像に重畳して表示制御する。例えば、表示制御モジュール１３７は、取得されたガイド情報を、対応する文字情報の位置に関連付けて、入力項目の表示を維持するようにガイド情報を、ＡＲ（Augmented Reality）技術を用いて重畳して表示制御する。表示制御モジュール１３７は、入力項目の表示を維持するため、ガイド情報を透明化したり、入力項目の位置に重複しないように重畳表示したりしてもよい。また、以下においてガイド情報が重畳して表示される場合は、ＡＲ技術等が用いられてもよい。

これにより、ユーザは、所定画面の設定方法に関するガイド情報が表示部に重畳表示されるので、適切なガイドを容易に把握することができる。また、物体認識によりガイド情報を特定しつつ、適切なガイド情報が表示部に重畳表示されることで、ユーザ端末１０Ｂの所定画面はそのまま表示し、ユーザ端末１０Ｂとは異なるユーザ端末１０Ａを用いて、所定画面の入力や設定をアシストすることができる。

取引制御モジュール１３８は、電子商取引プラットフォームにおいて商品の売買を制御し、例えば、出品や購入の手続き処理を制御する。なお、ガイド情報は、電子商取引プラットフォームにおけるデータベースに格納されているガイド情報から検索されてもよい。

検知モジュール１３９は、撮影された画像からユーザのジェスチャを検知する。例えば、検知モジュール１３９は、タップなどの所定のジェスチャを検知する。また、検知モジュール１３９により検知されたモジュールに対応する処理が実行されてもよい。

また、表示制御モジュール１３７は、ガイド情報を重畳して表示制御することに、
ユーザのハンドの位置に対応する文字情報を特定すること、
特定された文字情報に対応するガイド情報を特定すること、
特定されたガイド情報を、特定された文字情報に関連付けて撮影中の画像に重畳して表示制御すること、
を含んでもよい。

例えば、表示制御モジュール１３７は、物体認識処理によりユーザの指先が認識され、認識された指先の位置が所定範囲内にある文字情報を特定することを含む。例えば、表示制御モジュール１３７は、特定された文字情報に対応付けられたガイド情報をサーバ２０から取得して特定することを含む。例えば、表示制御モジュール１３７は、特定されたガイド情報を、特定された文字情報の位置に関連付けて撮影中の画像に重畳して表示制御することを含む。

これにより、ユーザが指定した位置に対応するガイド情報を個別に表示することができ、ユーザの選択順に応じて各文字情報に対応するガイド情報を表示することが可能になる。

また、特定モジュール１３５は、情報処理装置（ユーザ端末１０Ｂ）の画面が識別され、この画面の識別情報と、この画面の位置情報とを取得し、この位置情報に基づき文字認識する領域を特定してもよい。例えば、特定モジュール１３５は、物体ＩＤにより示される物体の画面部分の位置情報により示される領域を特定する。位置情報は、画像内の位置情報を含む。

また、取得モジュール１３６は、特定された領域内の画像から文字が認識され、この文字の文字情報を含む認識結果を取得してもよい。例えば、取得モジュール１３６は、各入力項目又は設定項目に対応する項目名（文字列）の文字情報を含む文字認識結果をサーバ２０から取得する。

これにより、認識された物体により文字認識する領域を特定し、特定された領域内の画像について文字認識すればよいため、処理負荷を軽減することができる。

また、ガイド情報は、各項目名を含む文字情報に対応する他のユーザのハンド操作に関する動画を含んでもよい。例えば、ハンド操作に関する動画は、熟練者による同じ項目への入力又は設定方法を示すハンドの動きを含む動画である。また、ハンド操作に関する動画は、実際に撮影された平面動画でも立体動画（Volumetric Video）でも、実際に撮影された動画に基づく疑似のハンドが動くアニメーションでもよい。

これにより、ユーザは、実際のハンド操作を確認しつつ、所定画面への入力又は設定を容易に行うことができる。

また、警告モジュール１４０は、項目に対して入力される文字が認識され、この文字の認識結果が、この項目に関連付けられた入力条件を満たさない場合、警告を出力する。例えば、警告モジュール１４０は、メールアドレスの入力欄に入力される文字情報を認識し、認識結果が、所定のメールアドレスの形式の条件を満たすか否かを判定する。所定の条件を満たさない場合、警告モジュール１４０は、ポップアップや音声などで入力内容や設定内容が条件を満たさないことをユーザに通知する。所定の条件は、例えば＠がメールアドレスに含まれていないなどである。

これにより、ユーザは、所定画面内の項目に入力や設定をする際に警告を報知され、入力ミスや設定ミスに気付くことができる。

また、表示制御モジュール１３７は、ガイド情報を重畳して表示制御することに、認識結果に含まれる各文字情報を表示制御し、ユーザにより選択された文字情報に対応するガイド情報を撮影中の画像に重畳して表示制御することを含んでもよい。例えば、表示制御モジュール１３７は、所定画面内に表示される文字列を全て認識し、認識された各文字列の文字情報を選択可能にする一覧情報（リスト）を表示制御する。ユーザにより所定の文字情報が選択された場合、表示制御モジュール１３７は、選択された文字情報に対応するガイド情報を撮影中の画像に重畳して表示制御する。選択について、音声認識により認識された音声の音声情報と、文字情報とが一致する場合に選択と判断されたり、所定の文字情報の位置でタップ処理が行われた場合に選択と判断されたりする。

これにより、認識された文字情報の一覧情報が表示されることで、ユーザは認識結果を確認することができ、また、一覧情報から文字情報（項目名）を選択してガイド情報を確認することができる。
＜登録処理＞

次に、ガイド情報が登録される処理について説明する。登録処理の場合、ユーザは、熟練者であり、自身のハンド操作をガイド情報としてサーバ２０に記録して登録する。

表示制御モジュール１３７は、撮影装置１６０により撮影中の画像を表示制御する。特定モジュール１３５は、画像内に表示される他の情報処理装置（ユーザ端末１０Ｂ）の画面を特定する。画面の特定の仕方は上述したとおりである。取得モジュール１３６は、特定された画面内に表示される文字が認識され、この文字の文字情報を含む認識結果を取得する。

また、撮影装置１６０は、認識された各文字情報に対応する、ユーザ（熟練者）のハンド操作を含む各ガイド情報を撮影する。ネットワーク通信モジュール１３２は、認識された各項目名を含む各文字情報と、各項目名に対応する各ガイド情報とをサーバ２０に送信する。これにより、サーバ２０側では、項目名を含む文字情報と、その文字情報又は項目名に対応するガイド情報とを関連付けて保存することができる。

また、ガイド情報は、ユーザ（熟練者）による文字入力を含んでもよい。これにより、初心者であるユーザは、熟練者が実際に何を入力したかを参考にして、所定画面内の項目に入力等することが可能になる。

また、熟練者であるユーザの文字入力により個人情報が含まれる場合、ガイド情報は、個人情報を含まないようにする。例えば、サーバ２０側で、メールアドレスや氏名、ニックネームなどの文字情報にはぼかしを入れたり、他の記号に置き換えたりしてもよい。これにより、個人情報保護の観点からセキュリティを向上させることができる。

また、特定モジュール１３５は、ユーザ端末１０Ｂの画面が識別され、この画面の識別情報と、この画面の位置情報とを取得し、この位置情報に基づき文字認識する領域を特定することを含んでもよい。また、取得モジュール１３６は、特定された領域内の画像から文字が認識され、この文字の文字情報を含む認識結果を取得してもよい。これにより、文字認識する領域を特定することができるので、処理負荷の軽減や、不要な情報を分析せずにプライバシーの尊重を図ることができる。

なお、１つ又は複数の処理装置（ＣＰＵ）１１０は、メモリ１３０から、必要に応じて各モジュールを読み出して実行する。例えば、１つ又は複数の処理装置（ＣＰＵ）１１０は、メモリ１３０に格納されているネットワーク通信モジュール１３２を実行することで、通信部（送信部、受信部を含む）を構成してもよい。また、１つ又は複数の処理装置（ＣＰＵ）１１０は、メモリ１３０に格納されている特定モジュール１３５、取得モジュール１３６、表示制御モジュール１３７、取引制御モジュール１３８、検知モジュール１３９、警告モジュール１４０をそれぞれ実行することで、特定部、取得部、表示制御部、検知部、警告部を構成してもよい。

他の実施形態において、特定モジュール１３５、取得モジュール１３６、表示制御モジュール１３７、取引制御モジュール１３８、検知モジュール１３９、警告モジュール１４０は、ユーザ端末１０Ａのメモリ１３０に格納されるスタンドアロンアプリケーションであってもよい。スタンドアロンアプリケーションとしては、限定はされないが、特定アプリケーション、取得アプリケーション、表示制御アプリケーション、取引制御アプリケーション、検知アプリケーション、警告アプリケーションが挙げられる。さらに他の実施形態において、特定モジュール１３５、取得モジュール１３６、表示制御モジュール１３７、取引制御モジュール１３８、検知モジュール１３９、警告モジュール１４０は別のアプリケーションへのアドオン又はプラグインであってもよい。

上記に示した要素の各々は、先述の記憶装置の１つ又は複数に格納され得る。上記に示したモジュールの各々は、上述される機能を実行するための命令のセットに対応する。上記に示したモジュール又はプログラム（すなわち、命令のセット）は別個のソフトウェアプログラム、プロシージャ又はモジュールとして実装される必要はないとともに、従ってこれらのモジュールの様々なサブセットは様々な実施形態で組み合わされるか、或いは再構成されてもよい。ある実施形態において、メモリ１３０は上記に示されるモジュール及びデータ構造のサブセットを格納し得る。さらには、メモリ１３０は上述されない追加的なモジュール及びデータ構造を格納し得る。

図３は、実施形態に係るサーバ２０の一例を示すブロック図である。サーバ２０は典型的には、１つ又は複数の処理装置（ＣＰＵ）２１０、１つ又は複数のネットワーク又は他の通信インタフェース２２０、メモリ２３０、及びこれらの構成要素を相互接続するための１つ又は複数の通信バス２７０を含む。図３に示すサーバ２０は、図１に示すサーバ２０として説明するが、少なくとも１つの機能を有する別個のサーバとして構成されてもよい。

サーバ２０は、場合によりユーザインタフェース２５０を含んでもよく、これとしては、ディスプレイ装置（図示せず）、及びキーボード及び／又はマウス（又は他の何らかのポインティングデバイス等の入力装置。図示せず）を挙げることができる。

メモリ２３０は、例えば、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ又は他のランダムアクセス固体記憶装置などの高速ランダムアクセスメモリであり、また、１つ又は複数の磁気ディスク記憶装置、光ディスク記憶装置、フラッシュメモリデバイス、又は他の不揮発性固体記憶装置などの不揮発性メモリでもよい。

また、メモリ２３０の他の例は、ＣＰＵ２１０から遠隔に設置される１つ又は複数の記憶装置を挙げることができる。ある実施形態において、メモリ２３０は次のプログラム、モジュール及びデータ構造、又はそれらのサブセットを格納する。

オペレーティングシステム２３１は、例えば、様々な基本的なシステムサービスを処理するとともにハードウェアを用いてタスクを実行するためのプロシージャを含む。

ネットワーク通信モジュール２３２は、例えば、サーバ２０を他のコンピュータに、１つ又は複数の通信ネットワークインタフェース２２０及びインターネット、他の広域ネットワーク、ローカルエリアネットワーク、メトロポリタンエリアネットワークなどの１つ又は複数の通信ネットワークを介して接続するために使用される。

物体データ２３３は、認識対象となり得る物体の情報が格納される。例えば、物体データ２３３は、物体を特定するための物体ＩＤ、物体の名称、物体を含む画像データ等を含む（例えば、図４参照）。物体の画像データは、認識精度を上げるため、画面を含む様々な角度からの画像データを含んでもよい。

文字認識データ２３４は、認識対象となりうる画面画像の文字情報を含む情報が格納される。例えば、文字認識データ２３４は、どの物体かを示すための物体ＩＤ、どの画面かを示すための画面ＩＤ、画面名、画面に含まれる項目名を含む各文字情報、及びその文字情報の位置を示す位置情報等を含む。位置情報は、例えば画面内における文字情報や項目の位置を示す情報を含む。

ガイド格納先データ２３５は、所定画面の入力や設定にガイドを要するユーザ向けの情報が格納される。例えば、ガイド格納先データ２３５は、画面ＩＤ、文字情報（項目名を含む）、その文字情報に対応するガイドの内容を含むガイド情報等を含む。ガイド情報は、熟練者のハンドの動きを示す動画、熟練者のハンドの動きに基づくアニメーション、または音声ガイド等の少なくとも１つを含む。例えば、ガイド情報は、画面ＩＤが「配送画面」を示し、文字情報が「配送選択」を示す場合、ガイド情報は、熟練者が配送をどのように選択するかを示す動画等を含む。

物体認識モジュール２３６は、ユーザ端末１０Ａから送信された画面を含む画像データを、物体認識ＡＰＩ（Application Programming Interface）を介して取得し、この画像データに対し、物体認識処理を実行し、物体認識の結果データを、画像データの送信元のユーザ端末１０Ａに送信する。結果データには、認識された物体の物体ＩＤと、認識された物体内の画面の位置を示す位置情報が含まれてもよい。

文字認識モジュール２３７は、ユーザ端末１０Ａから送信された画面を含む画像データ（例えば領域画像データ）に対して、文字認識ＡＰＩを介して取得し、この画像データに対して文字認識処理を実行し、認識結果データを、画像データの送信元のユーザ端末１０Ａに送信する。文字認識処理は、公知のＯＣＲ（Optical Character Recognition）技術が用いられればよい。その際、文字認識モジュール２３７は、文字認識した文字列の位置情報を、認識結果に関連づけておいてもよい。

ガイド制御モジュール２３８は、ガイド情報を登録したり、送信したりするための処理を実行する。例えば、ガイド制御モジュール２３８は、ネットワーク通信モジュール２３２を介して、ユーザ端末１０Ａから、様々なデータや情報、リクエストを取得し、ガイド情報の制御を行う。

具体例として、ガイド制御モジュール２３８は、ガイド情報の取得リクエストや、ガイド情報のアップロードのリクエストや、物体認識のための画像データを学習させるリクエストなどを取得する。また、ガイド制御モジュール２３８は、各リクエストに基づいて、ガイド情報をデータベースにアップロードしたり、リクエストされたガイド情報をデータベース（ＤＢ）から取得したりする。

電子商取引モジュール２３９は、商品やサービスの売買処理を実行する。例えば、電子商取引モジュール２３９は、商品やサービスの出品処理を実行したり、販売処理を実行したりする。また、電子商取引モジュール２３９は、ユーザ端末１０Ｂにおいて起動されるアプリケーションの所定画面を用いて、会員登録、販売対象の商品の登録、売買の取引、配送の設定、評価などを制御する。

音声認識モジュール２３９は、ユーザ端末１０Ａから送信された音声データを、音声認識ＡＰＩを介して取得し、この音声データに対して音声認識し、認識結果のテキストデータを、音声データの送信元のユーザ端末１０に送信したり、データベースに登録したりする。

上記に示した要素の各々は先述される記憶装置の１つ又は複数に格納され得る。上記に示したモジュールの各々は、上述される機能を実行するための命令のセットに対応する。上記に示したモジュール又はプログラム（すなわち、命令のセット）は別個のソフトウェアプログラム、プロシージャ又はモジュールとして実装される必要はないとともに、従ってこれらのモジュールの様々なサブセットが様々な実施形態で組み合わされるか、或いは再構成され得る。ある実施形態において、メモリ２３０は上記に示されるモジュール及びデータ構造のサブセットを格納し得る。さらには、メモリ２３０は上述されない追加的なモジュール及びデータ構造を格納し得る。

なお、１つ又は複数の処理装置（ＣＰＵ）２１０は、メモリ２３０から、必要に応じて各モジュールを読み出して実行する。例えば、１つ又は複数の処理装置（ＣＰＵ）２１０は、メモリ２３０に格納されているネットワーク通信モジュール２３２を実行することで、通信部（送信部、受信部を含む）を構成してもよい。また、１つ又は複数の処理装置（ＣＰＵ）２１０は、メモリ２３０に格納されている物体認識モジュール２３６、文字認識モジュール２３７、ガイド制御モジュール２３８、電子商取引モジュール２３９、音声認識モジュール２４０をそれぞれ実行することで、物体認識部、文字認識部、ガイド制御部、電子商取引部、音声認識部を構成してもよい。

図３は「サーバ」を示すが、図３は、本明細書に記載される実施形態の構造的な概略としてよりも、サーバのセットに存在し得る様々な特徴についての説明が意図されている。実際には、当業者により認識されるとおり、別個に示される項目が組み合わされ得るであろうとともに、ある項目が別個にされ得るであろう。例えば、図３において別個に示される項目は単一サーバ上に実装され得るであろうとともに、単一の項目が１台又は複数のサーバにより実装され得るであろう。

＜データ構造の一例＞
図４は、実施形態に係る物体データ２３３の一例を示す図である。図４に示す例では、物体データ２３３は、物体ＩＤに関連付けて、物体名、物体の画像データなどを含む。これらのデータは、機械学習の学習データとして用いられてもよい。物体データ２３３の一例として、画像ＩＤ「Ｔ−０００１００」には、物体名「スマートフォン」、物体の画像データ「画像Ａ」などのデータが関連付けられる。なお、他にも、物体の画面の位置を示す位置情報などが関連付けられてもよい。

図５は、実施形態に係る文字認識データ２３４の一例を示す図である。図５に示す例では、文字認識データ２３４は、物体ＩＤに関連付けて、画面ＩＤ、画面名、文字情報１、位置情報１、文字情報２などのデータを含む。文字認識データ２３４の一例として、物体ＩＤ「Ｔ−０００１００」には、画面ＩＤ「Ｄ１」、画面名「登録画面」、項目名を含む文字情報「氏名」、その項目の位置を示す位置情報「（ｘ１、ｙ１）」などが関連付けられる。

図６は、実施形態に係るガイド格納先データ２３５の一例を示す図である。図６に示す例では、ガイド格納先データ２３５は、画面ＩＤに関連付けて、文字情報、ガイド情報の格納先情報などが関連付けられる。ガイド格納先データ２３５の一例として、画面ＩＤ「Ｄ１」に、文字情報「氏名」、この氏名の入力に関するガイド情報の格納先のＵＲＬ「ＵＲＬ１」などが関連付けられる。

上述したデータ構造は、あくまでも一例であって、この例に限られない。例えば図６に示すガイド格納先データ２３５は、文字情報に関連する項目にＩＤを設けて、この項目ＩＤにガイド情報の格納先情報が関連付けられてもよい。

＜動作説明＞
次に、実施形態に係る情報処理システム１の動作について図７及び図８を用いて説明する。図７及び図８に示す例では、サーバ２０が機能ごとに分かれている。例えば、サーバ２０Ａが物体認識モジュール２３６を有するサーバであり、サーバ２０Ｂが文字認識モジュール２３７を有するサーバであり、ＤＢ１が物体の画像データ等の学習データの格納先やガイド情報の格納先であり、ＤＢ２は、物体データ２３５、文字認識データ２３６、ガイド格納先データ２３６等を保存し、ガイド制御モジュール２３８の機能を有する。図７は、実施形態に係る情報処理システム１の登録処理の一例を示すシーケンス図である。

（ステップＳ１０２）
ユーザは、ユーザ端末１０Ａを用いて、所定のアプリケーション（以下、「Ａアプリ」とも称する。）の登録起動ボタンを押下する。また、ユーザは、ユーザ端末１０Ａに向かって、「Ｈｅｙ ○○、Ａアプリを起動して」等と発話し、Ａアプリを起動する。このとき、ユーザは、「Ａアプリの登録機能を起動して」等と発話し、Ａアプリの登録機能を起動するようにしてもよい。

（ステップＳ１０４）
ユーザ端末１０Ａは、Ａアプリの起動に伴い、撮影装置１６０を起動し、撮影中のカメラ画像をディスプレイ１５１に表示する。

（ステップＳ１０６）
ユーザは、ディスプレイ１５１越しに見えるユーザ端末１０Ｂ（物体）をタップする。ユーザ端末１０Ａの検知モジュール１３９は、タップのジェスチャを検知する。また、ユーザは、音声等でユーザ端末１０Ｂの存在をユーザ端末１０Ａに知らせてもよい。

（ステップＳ１０８）
ユーザ端末１０Ａの特定モジュール１３５は、撮影装置１６０からのカメラ画像内における、タップした位置情報と、カメラ画像に基づき、物体認識用の学習データを生成する。

（ステップＳ１１０）
ユーザ端末１０Ａの特定モジュール１３５は、学習データをＤＢ１にアップロードする。ＤＢ１は、学習データにＩＤを付与し、格納先のＵＲＬを取得する。

（ステップＳ１１２）
ユーザ端末１０Ａの特定モジュール１３５は、ＤＢ１からアップロードした学習データのＩＤと、学習データの格納先を示すＵＲＬを取得する。

（ステップＳ１１４）
ユーザ端末１０Ａの特定モジュール１３５は、学習データのＩＤとＵＲＬとをＤＢ２にアップロードする。

（ステップＳ１１６）
ユーザ端末１０Ａの特定モジュール１３５は、ＤＢ２から学習データのＩＤとＵＲＬとの格納が完了した旨の通知を取得する。

（ステップＳ１１８）
ユーザ端末１０Ａの特定モジュール１３５は、カメラ画像を基に、物体の物体認識を行うリクエストをサーバ２０Ａに送信する。

（ステップＳ１２０）
サーバ２０Ａの物体認識モジュール２３６は、取得されたカメラ画像の画像データに基づき、画像データ内の物体に最も類似する物体の情報を取得するようＤＢ２にリクエストする。なお、ＤＢ２は、カメラ画像の画像データと、画像内の物体ＩＤとを含む学習データを用いて学習された学習済みモデルを保持しており、サーバ２０Ａからカメラ画像の画像データが入力されると、この画像データに対応する物体ＩＤを出力してもよい。

（ステップＳ１２２）
サーバ２０Ａは、ＤＢ２から、物体ＩＤと、物体の画面内の位置を含む位置情報とを取得する。

（ステップＳ１２４）
サーバ２０Ａの物体認識モジュール２３６は、物体ＩＤと位置情報とをユーザ端末１０Ａに送信する。

（ステップＳ１２６）
ユーザ端末１０Ａの特定モジュール１３５は、物体の位置情報に基づき、カメラ画像の所定領域をクロップする（切り出す）。

（ステップＳ１２８）
ユーザ端末１０Ａの特定モジュール１３５は、クロップ済み画像内の文字列を認識するようリクエストをサーバ２０Ｂに送信する。

（ステップＳ１３０）
サーバ２０Ｂの文字認識モジュール２３７は、クロップ済み画像内から文字列を認識し、画像内における文字列の位置情報を取得する。サーバ２０Ｂの文字認識モジュール２３７は、認識された文字列の文字情報と位置情報とを含む認識結果をユーザ端末１０Ａに送信する。

（ステップＳ１３２）
ユーザ端末１０Ａの取得モジュール１３６は、認識結果に含まれる文字列の一番上の行（文字情報）を、画面の名称（画面名）とし、以下の行（文字情報）を画面の内容（項目名）として保存する。

（ステップＳ１３４）
ユーザ端末１０Ａの表示制御モジュール１３７は、録画中であることをディスプレイ１５１に表示制御し、ユーザ（例えば熟練者）に録画中であることを報知する。

（ステップＳ１３６）
ユーザは、ユーザ端末１０Ｂの画面上に対して手を用いて設定、入力等の作業を行うことで、撮影装置１６０は、作業中の手と、認識対象の物体（ユーザ端末１０Ｂ）を撮影する。

（ステップＳ１３８）
ユーザ端末１０Ａは、例えば、手の動きに基づいてアニメーションを作成する作成モジュール（不図示）を有してもよい。手のアニメーションは、ガイド情報に含まれる。

（ステップＳ１４０）
ユーザは、作業終了ボタンを押下する。作業終了ボタンは、物理的なボタンでもよいし、ディスプレイ１５１上に表示されたボタンでもよい。表示されたボタンの場合、ユーザの手のタップがボタン上で検知されれば、ユーザ端末１０Ａの作成モジュールは、作業終了を検知してもよい。

（ステップＳ１４２）
ユーザ端末１０Ａは、ガイド情報をＤＢ１にアップロードする。ＤＢ１は、ガイド情報の格納先を示すＵＲＬを取得する。

（ステップＳ１４４）
ユーザ端末１０Ａの取得モジュール１３６は、ガイド情報の格納先を示すＵＲＬと、画面の内容（項目名又は文字情報）とをＤＢ１から取得する。

（ステップＳ１４６）
ユーザ端末１０Ａの取得モジュール１３６は、ガイド情報の格納先を示すＵＲＬと、画面の内容（項目名又は文字情報）とを関連付けて、ＤＢ２に送信する。ＤＢ２は、ガイド格納先データとして、ガイド情報のＵＲＬと、格納先データとを保存する。

（ステップＳ１４８）
ユーザ端末１０Ａの取得モジュール１３６は、ＤＢ２から保存が完了した旨の通知を取得する。

図８は、実施形態に係る情報処理システム１の表示処理の一例を示すシーケンス図である。
（ステップＳ２０２）
ユーザは、ユーザ端末１０Ａを用いて、Ａアプリの表示起動ボタンを押下する。また、ユーザは、ユーザ端末１０Ａに向かって、「Ｈｅｙ ○○、Ａアプリを起動して」等と発話し、Ａアプリを起動する。このとき、ユーザは、「Ａアプリの表示機能を起動して」等と発話し、Ａアプリの表示機能を起動するようにしてもよい。

（ステップＳ２０４）
ユーザ端末１０Ａは、Ａアプリの起動に伴い、撮影装置１６０を起動し、撮影中のカメラ画像をディスプレイ１５１に表示する。

（ステップＳ２０６）
ユーザは、ディスプレイ１５１越しに見えるユーザ端末１０Ｂ（物体）をタップする。ユーザ端末１０Ａの検知モジュール１３９は、タップのジェスチャを検知する。また、ユーザは、音声等でユーザ端末１０Ｂの存在をユーザ端末１０Ａに知らせてもよい。

（ステップＳ２０８）
ユーザ端末１０Ａの特定モジュール１３５は、撮影装置１６０からのカメラ画像内における、タップした位置情報と、カメラ画像とに基づき、物体認識を行うようサーバ２０Ａにリクエストする。

（ステップＳ２１０）
サーバ２０Ａの物体認識モジュール２３６は、取得されたカメラ画像の画像データに基づき、画像データ内の物体に最も類似する物体の情報を取得するようＤＢ２にリクエストする。なお、ＤＢ２は、カメラ画像の画像データと、画像内の物体ＩＤとを含む学習データを用いて学習された学習済みモデルを保持しており、サーバ２０Ａからカメラ画像の画像データが入力されると、この画像データに対応する物体ＩＤを出力してもよい。

（ステップＳ２１２）
サーバ２０Ａの物体認識モジュール２３６は、ＤＢ２から、物体ＩＤと、物体の画面内の位置を含む位置情報とを取得する。

（ステップＳ２１４）
サーバ２０Ａの物体認識モジュール２３６は、物体ＩＤと位置情報とをユーザ端末１０Ａに送信する。

（ステップＳ２１６）
ユーザ端末１０Ａの特定モジュール１３５は、物体の位置情報に基づき、カメラ画像の所定領域をクロップする（切り出す）。

（ステップＳ２１８）
ユーザ端末１０Ａの特定モジュール１３５は、クロップ済み画像内の文字列を認識するようリクエストをサーバ２０Ｂに送信する。

（ステップＳ２２０）
サーバ２０Ｂの文字認識モジュール２３７は、クロップ済み画像内から文字列を認識し、画像内における文字列の位置情報を取得する。サーバ２０Ｂの文字認識モジュール２３７は、認識された文字列の文字情報と位置情報とを含む認識結果をユーザ端末１０Ａに送信する。

（ステップＳ２２２）
ユーザ端末１０Ａの取得モジュール１３６は、認識結果に含まれる文字列の一番上の行（文字情報）を、画面の名称（画面名）とし、以下の行（文字情報）を画面の内容（項目名）として保存する。

（ステップＳ２２４）
ユーザ端末１０Ａの取得モジュール１３６は、画面の名称（画面名）と画面の内容（項目名又は文字情報）に基づいて、ガイド情報をダウンロードするためのＵＲＬを取得するようＤＢ２にリクエストする。

（ステップＳ２２６）
ユーザ端末１０Ａの取得モジュール１３６は、ＤＢ２からガイド情報のダウンロードＵＲＬを取得する。

（ステップＳ２２８）
ユーザ端末１０Ａの取得モジュール１３６は、ガイド情報のダウンロードＵＲＬを用いて、ＤＢ１に格納されたガイド情報のファイルを取得するよう、ＤＢ１にリクエストする。

（ステップＳ２３０）
ユーザ端末１０Ａの取得モジュール１３６は、ＤＢ１からガイド情報のファイルをダウンロードして取得する。

（ステップＳ２３２）
ユーザ端末１０Ａの表示制御モジュール１３７は、例えば、手の３Ｄモデルに設定したガイド情報（手のアニメーション）を、項目名の文字列（文字情報）の位置情報に基づいて再生制御する。

（ステップＳ２３４）
ユーザは、ディスプレイ１５１越しに見るユーザ端末１０Ｂの所定画面に対し、ユーザ端末１０Ａのディスプレイ１５１に表示されるガイド情報に従って、操作を行う。また、ユーザは、「次へ」などの音声を発したり、次に進むことを示す所定のジェスチャや、ハンドアニメーションと同じ手の位置（二次元や三次元データは問わず）で同じ動きをしたりすることで、ユーザ端末１０側でこれらの言動を認識し、次の行の項目名の文字列に対応するガイド情報を表示させることができる。

以上、本開示技術は、所定画面からユーザインタフェースを用いて設定等がされる場合に、適切なガイドを行うことを可能にする仕組みを提供することができる。また、物体認識により所定画面でのガイド情報を特定しつつ、適切なガイド情報を他の装置に重畳表示することで、ユーザ端末１０Ｂの所定画面はそのまま表示し、ユーザ端末１０Ｂとは異なるユーザ端末１０Ａを用いて、所定画面の入力や設定をアシストすることができる。

＜画面例＞
次に、ユーザ端末１０Ａのディスプレイ１５１に表示される例について説明する。図９は、実施形態に係るユーザ端末１０Ａにおける画面遷移の一例を示す図である。図９に示す画面Ｈ１０は、携帯電話の枠Ｇ１０が表示制御モジュール１３７により表示され、ユーザに対してユーザ端末１０Ｂの位置を知らせる例を示す。枠Ｇ１０は表示されなくてもよい。

次に、画面Ｈ１２は、ユーザが、所定画面が表示されたユーザ端末１０Ｂを枠Ｇ１０の位置にもってきた例を示す。画面Ｈ１２において、ユーザの手ＵＨは、ユーザ端末１０Ｂをタップすると（図８に示すステップＳ２０６）、検知モジュール１３９がタップのジェスチャを検知し、ユーザ端末１０Ａにおいてガイド機能が開始される。

次に、画面Ｈ１４では、物体認識、文字認識がなされ、ガイド情報が重畳表示される例を示す。表示制御モジュール１３７は、所定画面に対応するガイド情報を取得すると、ガイド情報をディスプレイ１５１に重畳表示するよう制御する。画面Ｈ１４に示す例では、３ＤのアニメーションＧＨがＡＲ技術を用いて重畳表示される。

なお、開示技術は、上述した各実施形態に限定されるものではなく、開示技術の要旨を逸脱しない範囲内において、他の様々な形で実施することができる。このため、上記各実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。例えば、上述した各処理ステップは処理内容に矛盾を生じない範囲で任意に順番を変更し、または並列に実行することができる。

本開示の各実施形態のプログラムは、コンピュータに読み取り可能な記憶媒体に記憶された状態で提供されてもよい。 記憶媒体は、「一時的でない有形の媒体」に、プログラムを記憶可能である。プログラムは、限定でなく例として、ソフトウェアプログラムやコンピュータプログラムを含む。

［変形例］
また、上述した各実施形態における変形例を以下に示す。

＜変形例１＞
変形例１では、物体認識において、以下の技術を組み合わせてもよい。例えば、ＶＰＳ（Visual Positioning System）、ＧＰＳ（Global Positioning System）などの位置情報、信号強度などから通信状況を判定するネットワーク情報、超音波等である。例えば、複数の同じような物体として、券売機や宅配ロッカー、宅配ボックスなどがある場合に、位置情報と画像とに基づいて、どの物体かが特定されてもよい。

＜変形例２＞
物体の特定と認識に用いる画像は矩形でなくてもよい。また、物体認識において、動的ではなく事前に準備した学習データを活用してもよい。例えば、Semantic Segmentation、Instance Segmentation、立体認識などを用いて物体認識を行ってもよい。

＜変形例３＞
ユーザが次の操作に移る際のトリガとして、音声等が用いられてもよい。この場合、ユーザ端末１０Ａは、スピーカやマイクが設けられる。また、画像認識が状況判断の際に適宜組み合わされてもよい。また、ガイドの進め方は音声認識でなくてもよい。例えば、ハンドジェスチャ、画像認識による設定されそうな項目の分析、画面をタップなどで用いられてもよい。

＜変形例４＞
ガイド情報は、ハンドモーションだけでなく、次の情報を追加してもよい。例えば、音声、テキスト、動画像、静止画像などの画像、熱等の触覚や煙の匂い等の嗅覚、食べ物の味等の味覚などの情報である。また、ガイド情報は、ユーザ端末１０Ａに保存しておいたハンドモーションをアニメーションとして、手の３Ｄモデルに反映させて動かしてもよい。

＜変形例５＞
ガイド情報の登録が可能な情報処理装置（物体）としては、スマートフォン、文字が書いてあるポスターやノート、パーソナルコンピュータ、スタジアムの大型スクリーン、コンビニエンスストアのマルチメディア端末、郵便局や宅配便の送り状 (ゆうプリタッチ等)、宅配便ロッカーや宅配ボックス (Pudo等)、リモコン (クーラー等)、券売機、テレビ等が挙げられる。

＜変形例６＞
視覚障害者が使用する点字等を含む文字認識で取得したテキストを用いて、画面を分析する方法は、アイコン等の画像認識と組み合わせてもよく、フォントのサイズや太さ、位置、色を用いてのテキストの重要性を判別し、重要性に基づいてガイド情報の表示の順を変更したりしてもよい。

＜変形例７＞
また、ガイド情報を表示する装置としては、スマートフォン、タブレット端末、スマートグラス、ＨＭＤ（Head Mounted Display）、スマートコンタクトレンズ、脳侵襲型デバイス、脳非侵襲型デバイス、ロボットなどが挙げられる。

＜変形例８＞
また、サーバ２０が有する各機能のうち、少なくとも１部はユーザ端末１０Ａに設けられてもよい。また、サーバ２０が記憶する各データのうち、少なくとも１部はユーザ端末１０Ａに設けられてもよい。

１ 情報処理システム
１０Ａ、１０Ｂ 情報処理装置（ユーザ端末）
２０、２０Ａ、２０Ｂ 情報処理装置（サーバ）
１１０、２１０ 処理装置（ＣＰＵ）
１２０、２２０ ネットワーク通信インタフェース
１３０、２３０ メモリ
１３１、２３１ オペレーティングシステム
１３２、２３２ ネットワーク通信モジュール
１３３ 画像関連データ
１３４ テキスト関連データ
１３５ 特定モジュール
１３６ 取得モジュール
１３７ 表示制御モジュール
１３８ 取引制御モジュール
１３９ 検知モジュール
１４０ 警告モジュール
１５０ ユーザインタフェース
１６０ 撮影装置
１７０、２７０ 通信バス
２３３ 物体データ
２３４ 文字認識データ
２３５ ガイド格納先データ
２３６ 物体認識モジュール
２３７ 文字認識モジュール
２３８ ガイド制御モジュール
２３９ 電子商取引モジュール
２４０ 音声認識モジュール

Claims (14)

1. 情報処理装置に含まれる１又は複数のプロセッサが、
   撮影装置により撮影中の画像を表示制御することと、
   前記画像内に表示される他の情報処理装置の画面を特定することと、
   特定された画面内に表示される文字が認識され、当該文字の文字情報を含む認識結果を取得することと、
   前記認識結果に対応するガイド情報を取得することと、
   前記ガイド情報を、対応する文字情報に関連付けて前記撮影中の画像に重畳して表示制御することと、を実行する情報処理方法。
2. 前記ガイド情報を重畳して表示制御することは、
   ユーザのハンドの位置に対応する文字情報を特定し、
   特定された文字情報に対応するガイド情報を特定し、
   特定されたガイド情報を、特定された文字情報に関連付けて前記撮影中の画像に重畳して表示制御することを含む、請求項１に記載の情報処理方法。
3. 前記画面を特定することは、
   前記情報処理装置の画面が識別され、当該画面の識別情報と、当該画面の位置情報とを取得し、
   前記位置情報に基づき文字認識する領域を特定することを含み、
   前記文字の認識結果を取得することは、
   特定された領域内の画像から文字が認識され、当該文字の文字情報を含む認識結果を取得することを含む、請求項１又は２に記載の情報処理方法。
4. 前記ガイド情報は、各文字情報に関連する各項目に対応する他のユーザのハンド操作に関する動画を含む、請求項１乃至３のいずれか一項に記載の情報処理方法。
5. 前記１又は複数のプロセッサが、
   前記文字情報に関連する項目に対して入力される文字が認識され、当該文字の認識結果が、前記項目に関連付けられた入力条件を満たさない場合、警告を出力すること、をさらに実行する請求項１乃至４のいずれか一項に記載の情報処理方法。
6. 前記ガイド情報を重畳して表示制御することは、
   前記認識結果に含まれる各文字情報を表示制御し、
   ユーザにより選択された文字情報に対応するガイド情報を前記撮影中の画像に重畳して表示制御することを含む、請求項１乃至５のいずれか一項に記載の情報処理方法。
7. 情報処理装置に含まれる１又は複数のプロセッサに、
   撮影装置により撮影中の画像を表示制御することと、
   前記画像内に表示される他の情報処理装置の画面を特定することと、
   特定された画面内に表示される文字が認識され、当該文字の文字情報を含む認識結果を取得することと、
   前記認識結果に対応するガイド情報を取得することと、
   前記ガイド情報を、対応する文字情報に関連付けて前記撮影中の画像に重畳して表示制御することと、を実行させるプログラム。
8. １又は複数のプロセッサを含む情報処理装置であって、
   前記１又は複数のプロセッサが、
   撮影装置により撮影中の画像を表示制御することと、
   前記画像内に表示される他の情報処理装置の画面を特定することと、
   特定された画面内に表示される文字が識別され、当該文字の文字情報を含む認識結果を取得することと、
   前記認識結果に対応するガイド情報を取得することと、
   前記ガイド情報を、対応する文字情報に関連付けて前記撮影中の画像に重畳して表示制御することと、を実行する情報処理装置。
9. 情報処理装置に含まれる１又は複数のプロセッサが、
   撮影装置により撮影中の画像を表示制御することと、
   前記画像内に表示される他の情報処理装置の画面を特定することと、
   特定された画面内に表示される文字が認識され、当該文字の文字情報を含む認識結果を取得することと、
   認識された各文字情報に対応する、ユーザのハンド操作を含む各ガイド情報を前記撮影装置により撮影することと、
   前記各文字情報と、前記各ガイド情報とをサーバに送信することと、を実行する情報処理方法。
10. 前記ガイド情報は、前記ユーザによる文字入力を含む、請求項９に記載の情報処理方法。
11. 前記文字入力により個人情報が含まれる場合、前記ガイド情報は、前記個人情報を含まない、請求項９に記載の情報処理方法。
12. 前記画面を特定することは、
    前記情報処理装置の画面が識別され、当該画面の識別情報と、当該画面の位置情報とを取得し、
    前記位置情報に基づき文字認識する領域を特定することを含み、
    前記文字の認識結果を取得することは、
    特定された領域内の画像から文字が認識され、当該文字の文字情報を含む認識結果を取得することを含む、請求項９乃至１１の何れか一項に記載の情報処理方法。
13. 情報処理装置に含まれる１又は複数のプロセッサに、
    撮影装置により撮影中の画像を表示制御することと、
    前記画像内に表示される他の情報処理装置の画面を特定することと、
    特定された画面内に表示される文字が認識され、当該文字の文字情報を含む認識結果を取得することと、
    認識された各文字情報に対応する、ユーザのハンド操作を含む各ガイド情報を前記撮影装置により撮影することと、
    前記各文字情報と、前記各ガイド情報とをサーバに送信することと、を実行させる情報処理方法。
14. １又は複数のプロセッサを含む情報処理装置であって、
    前記１又は複数のプロセッサが、
    撮影装置により撮影中の画像を表示制御することと、
    前記画像内に表示される他の情報処理装置の画面を特定することと、
    特定された画面内に表示される文字が認識され、当該文字の文字情報を含む認識結果を取得することと、
    認識された各文字情報に対応する、ユーザのハンド操作を含む各ガイド情報を前記撮影装置により撮影することと、
    前記各文字情報と、前記各ガイド情報とをサーバに送信することと、を実行する情報処理装置。

Images