JP2021072001A - プログラム、情報処理装置、情報処理方法、及び情報処理システム - Google Patents

Abstract

【課題】製品の初期設置作業の補助を可能にする。【解決手段】表示制御手段２０３は、撮像手段２０２によって撮像された製品の撮像画像を表示手段に表示させる。第１取得手段２０３は、撮像画像データに基づき製品の初期設定に関連する製品情報を取得する。第２取得手段は、製品の撮像画像データと製品情報とに基づき製品の設置状態の判定結果を取得する。さらに、第３取得手段は、第２取得手段によって取得された設置状態に応じて、ユーザが前記製品に対して実施すべき設置作業の指示画像と前記撮像手段によって撮像された撮像画像とを合成した合成画像を表す合成画像データを取得する。表示制御手段は、合成画像データに基づいて表示手段に合成画像を表示させる。【選択図】図１

Description

本発明は、製品を撮像した画像を利用して製品の初期設置を補助するための表示を行う技術に関する。

電子機器などの精密機器は、流通過程における破損等を避けるため、複数の梱包材で機器の被覆、固定を行い、製品として出荷される。このため、製品を購入したユーザは、着荷した製品の開梱・初期設置・初期設定といった設置作業を行う必要がある。このような製品の設置作業は、電子機器の進歩に伴って複雑化しており、一般ユーザには、煩雑で難易度の高い作業となっている。

近年では、現実の画像にデジタル情報を重ね合わせるＡＲ（Augmented Reality）技術を用いて、視覚的にユーザの作業を補助することが提案、実施されている。

特許文献１には、エラー状態にある画像形成装置に対して、エラーから回復するための操作をＡＲガイダンスで提示する技術が開示されている。具体的には、外部サーバにネットワークを通じて接続されている画像形成装置がエラー状態となったとき、外部サーバがエラーログの解析を行い、エラーから回復するための操作を提示するＡＲガイダンスを含むＡＲ情報をユーザのモバイルデバイスに転送する。ユーザは、モバイルデバイスに表示されたＡＲ情報を参照しつつエラーを回復させるための作業を行う。

特開２０１３−１４０５６３号公報

しかし、特許文献１に開示の技術は、画像形成装置が外部のサーバとネットワーク接続されていることを必要とするため、梱包された状態にある着荷時の製品の初期設置作業に適用することはできない。

そこで、本発明は、製品の初期設置作業の補助を表示によって可能にすることを目的とする。

上記課題を解決するため、本発明は、情報処理装置のコンピュータを、撮像手段によって撮像された製品の撮像画像を表す撮像画像データに基づき前記撮像画像を表示手段に表示させる表示制御手段と、前記撮像画像データに基づき前記製品の初期設定に関連する製品情報を取得する第１取得手段と、前記製品の撮像画像データと前記製品情報とに基づき前記製品の設置状態の判定結果を取得する第２取得手段と、前記第２取得手段によって取得された前記設置状態に応じて、ユーザが前記製品に対して実施すべき設置作業の指示画像と前記撮像手段によって撮像された撮像画像とを合成した合成画像を表す合成画像データを取得するする第３取得手段と、として実行させるプログラムであって、前記表示制御手段は、前記合成画像データに基づいて前記表示手段に前記合成画像を表示させることを特徴とするプログラムである。

本発明によれば、製品の初期設置作業の補助を表示によって行うことが可能になる。

本実施形態における情報処理システムの構成、及び製品を示す図である。 梱包箱の一例を示す斜視図である。 プリンタ本体と、内包材の一例を示す図である。 梱包材情報を格納したテーブルの一例を示す図である。 ＡＲガイダンスを実行する手順を示すフローチャートである。 図５のＳ３の処理を詳細に示すフローチャートである。 図６のＳ１０３の処理を詳細に示すフローチャートである。 図６のＳ１０４の処理を詳細に示すフローチャートである。 図８に示す処理の具体例を示すフローチャートである。 図６のＳ４０３の処理を詳細に示すフローチャートである 図９のＳ５０３の処理をより具体的に示すフローチャートである。 図８のＳ４０３の処理中に行われる割込処理を示すフローチャートである。 図６のＳ１０５の処理を具体的に示すフローチャートである。 ＡＲ技術によって表示される画像の一例を示す図である。 ＡＲ技術によってユーザに指示するＡＲ画像の一例を示す図である。

以下、本発明の第１実施形態を、図面を参照しつつ説明する。

＜情報処理システムの構成＞
本実施形態に係る情報処理システムは、所定の機器を梱包材によって梱包した製品の初期設置作業を、ＡＲ（augmented reality）ガイダンスによって補助するための処理を行う。

図１は、本実施形態における情報処理システムの構成、及び初期設置作業の対象となる製品１０を示す図である。本実施形態における情報処理システムは、ユーザが操作可能な端末２００と、端末２００と通信可能なネットワーク上の外部サーバであるクラウドサーバ３００とを含み構成される。なお、本実施形態では、梱包材によって梱包された機器本体として、プリンタ本体を例に採り説明する。

本実施形態の情報処理システムでは、端末として、多機能携帯電話（以下、スマートフォンと称す）２００を用いている。スマートフォン２００には、プリンタ本体１００やクラウドサーバ３００と通信可能な無線通信部２０１と、製品１０の全体または一部、あるいはＱＲコード１０４や識別子１０５を撮像した撮像画像データを取得するカメラ（撮像手段）２０２が設けられている。さらに、スマートフォン２０２には、カメラ２０２によって撮像された撮像画像や後述のＡＲ画像等を表示可能な表示部（表示手段）２０４と、入力操作を行う操作部２０５と、制御部２０３とが設けられている。

制御部２０３は、ＣＰＵ等のプロセッサにより構成され、上記各部の制御を行う制御手段としての機能、後述の判定処理を行う判定手段としての機能、画像データを生成する生成手段としての機能を果す。すなわち、制御部２０３は、後述のクラウドサーバ３００から取得した後述の製品情報等に基づき、ユーザが次に何をすべきか等の指示画像を表す指示画像データの生成を行う。さらに、制御部２０３は、生成した指示画像データとカメラ２０２によって取得した撮像画像データとを合成して合成画像データ（ＡＲ画像データ）を生成し、生成した合成画像データに基づき表示部２０４に合成画像（ＡＲ画像）を表示させる制御を行う。このように、本実施形態における制御部２０３は、各部の制御動作及び各種情報の取得を行う機能を有し、特許請求の範囲に記載された本発明の表示制御手段、第１取得手段、第２取得手段、第３取得手段としての機能を果す。

なお、本実施形態では、端末としてスマートフォン２００を用いているが、スマートフォン２００以外に、タブレットＰＣ（personal computer）やノート型ＰＣなどを端末として用いることも可能である。つまり、本実施形態の情報処理システムに用いる端末は、カメラ２０２、表示部２０４、操作部２０５、無線通信部２０１、及び制御部２０３と同等の機能を有するものであればよい。

また、クラウドサーバ３００は、ネットワークに対して無線通信を行う無線通信部３０１と、製品１０の初期設置に関するＡＲガイダンスを行うための製品情報をスマートフォン２００に供給するサーバ３０２とを備える。クラウドサーバ３００から供給する製品情報としては、例えば、以下のような情報がある。
（ａ）製品状態識別用データ
（ｂ）梱包箱向き認識用データ
（ｃ）プリンタ本体の向き認識用データ
（ｄ）梱包材情報テーブル
（ｅ）開梱手順

これらの製品情報は対象となるプリンタの機種によって異なり、対象となるプリンタに最適な情報を供給する。

ここで、本実施形態に用いる製品について説明する。図１に示すように、本実施形態における製品１０は、プリンタ本体１００と、プリンタ本体１００を梱包する梱包材１０３と、梱包材１０３とプリンタ本体１００のそれぞれに付与された識別子１０５とを備える。本実施形態における梱包材１０３は、プリンタ本体１００を梱包する内包材１０２と、内包材１０２によって梱包されたプリント本体１００を収容する外包材である梱包箱１０１とを備える。

梱包箱１０１の外側には、プリンタ情報を埋め込むための識別子１０５とＱＲコード１０４とが付与されている。識別子１０５は、その識別子を表す画像（識別子画像）を読み取ることで、読み取った画像データに紐付けられている様々な製品情報を取得できる識別記号の総称であり、例えば以下のようなものがある。
１．ブランドロゴ
２．プリンタ梱包材自体
３．プリンタ筐体に埋め込んだ一部デザイン
４．ピクトグラム記号
５．ＱＲコード
６．電子すかし

図２は、製品１０の外殻をなす梱包箱１０１の一例を示している。なお、図１は、製品１００が着荷した直後の状態、つまり、製品の開梱前の状態を示している。梱包箱１０１の外面には、製品を特定するための特定情報を含むＱＲコード１０４と、識別子１０５が付与されている。ここでは、識別子１０５として、異なる複数種の識別子１０５ａ、１０５ｂ、１０５ｃ（図２参照）が、それぞれ梱包箱１０１の異なる外面に印刷されている。

ＱＲコード１０４は、プリンタ本体を特定する情報が含まれている。このＱＲコード１０４をスマートフォン２００で読み取り、読み取った情報をネットワーク上のクラウドサーバ３００にアクセスすることにより、クラウドサーバ３００からＱＲコード１０４に対応した製品１０に関連する情報（製品情報）を制御部２０３で取得することができる。

また、識別子１０５は様々な情報を埋め込む記号によって構成されている。例えば、識別子１０５ａは、製造メーカのロゴを識別子としている。スマートフォン２００は、カメラ２０２によってこの識別子１０５ａをスマートフォン２００で読み取り、読み取った情報に基づき、梱包箱１０２の向きや開梱口ＯＰの場所を認識する。本実施形態では、ＱＲコード１０４と識別子１０５とが、それぞれ異なる位置に付与されているが、ＱＲコード１０４によって表される情報と識別子１０５によって表される情報とをまとめた記号を識別子として梱包箱１０１の外側に印刷しても良い。

図３は、プリンタ本体1００と、これを梱包する内包材１０２の一例を示す図である。本例において、内包材１０２は、第１内包材１０２ａと、第２内包材１０２ｂと、第３内包材１０２ｃと、第４内包材１０２ｄと、第５内包材１０２ｅとを含む。第１内包材１０２ａ，第２内包材１０２ｂは、プリンタ本体１００に設けられた可動部分等の固定及び保護を目的としたテープ状の部材（オレンジテープ）であり、プリンタ本体１００の外面の一部に剥離可能に貼付される。第３内包材１０２ｃは、プリンタ本体１００の全体を被覆するシート状または袋状の部材（保護ビニール）である。第４，第５内包材１０２ｄ，１０２ｅは、第３内包材１０２ｂに覆われたプリンタ本体１００の左右両側を覆う緩衝材であり、プリンタ本体１００を梱包箱１０１内で固定し、保護する機能を果す。

図３（ａ），（ｂ）に示す第１，第２内包材１０２ａ，１０２ｂ及び第４，第５内包材１０２ｄ，１０２ｅは、プリンタ本体１００を固定、保護する機能だけでなく、それ自体が識別子１０５としての機能を有している。すなわち、第１、第３内包材１０２ａ、１０２ｂ，１０２ｄ，１０３ｅの有無が、内包材が取り外されていないか、取り外されているかを表す情報となる。また、図２（ｃ）に示すように、梱包材１０２ａと識別子１０５とをそれぞれ独立して設ける形態をとることも可能である。

図４は、クラウドサーバ３００に設けられる梱包材情報テーブルの一例を示す図である。この梱包材情報テーブル（以下、単にテーブルＴと称す）には、プリンタ本体１００を梱包した製品１０の全ての梱包材１０３を正しい順番で、正確に外すための情報（製品情報）が格納されている。テーブルＴの項目としては、“分類（名前）”、“位置”、“優先度”、“確認識別子”、“判定方法”、“向き識別”などが含まれている。各項目には、以下のような情報が格納されている。

・“分類（名前）”の項目には、対象となる製品１０の全ての梱包材１０３の分類、もしくは名前を示す情報が格納されている。

・“位置”の項目には、対象となる梱包材１０３の位置情報が格納されている。本例では、位置情報として、“全体”、“場所（１）”、“場所（２）”などの情報がある。“全体”は、梱包材が製品の全体に亘っていることを意味し、“場所（１）”はオレンジテープ１０２ａが設けられている位置を、“場所（２）”はオレンジテープ１０２ｂが設けられている位置を示している。

・“優先度”の項目には、梱包材１０３を取り外す順番を示す情報が格納されている。本例では数字が小さいものから順番に梱包材１０３が取り外される。

・“確認識別子”の項目には、梱包材１０３が取り外されたことを認識するために使用する識別子の情報が格納されている。具体的には、梱包材１０３の位置に対する画像認識によって、この項目に格納された識別子の情報が確認できたとき、あるいは逆に、確認できなかったときに、梱包材１０３が取り外されたと認識する。

・“判定方法”の項目には、識別子がどのような状態のときに梱包材が取り外されたと判定するかに関する情報が格納されている。具体的には、判定方法の項目が“無し”となっている判定方法では、識別子が対象位置に無い場合に梱包材が取り外されたと判定する。また、判定方法の項目が“有り”となっている判定方法では、識別子の存在が確認された状態で梱包材が取り外されたと判定する。

・“向き識別”の項目には、梱包材１０３の位置を識別するためにプリンタ本体１００の向きを識別する必要性があるか否かについての情報が格納されている。梱包材１０３には、プリンタ本体１００の向きによって位置を認識できるものと、できないものとが存在することから、“向き識別”の項目の情報が必要となる。例えば、梱包材１０３がプリンタ全体を覆うようなものの場合は梱包材１０３の位置は明確であるためプリンタ本体１００の向きを識別する必要はない。これに対し、梱包材１０３がプリンタ本体１００の一部に設けられている場合には、プリンタ本体１００の向きを認識することで初めて、梱包材１０３の位置を正しく認識することができる。

＜ＡＲガイダンスのための処理＞
図５は、製品１０の初期設置作業の補助をＡＲガイダンスによって行う際の手順を示すフローチャートである。なお、図５及び図６ないし図１２に示すフローチャートにおいて、各工程番号に付されているＳはステップを意味する。

ユーザがスマートフォンの撮像開始指令を入力すると、制御部２０３はスマートフォン上で専用アプリケーションを起動し、カメラ２０２による撮像を開始させる。この状態でユーザがカメラ２０２を梱包箱１０１に印刷されているＱＲコードに向けると、制御部２０３は、カメラ２０２によって撮像された画像データからＱＲコードを抽出して読み取り、読み取ったＱＲコードを、無線通信部２０１からネットワーク上のクラウドサーバ３００に送信する（Ｓ１）。クラウトサーバ３００は、受信したＱＲコードに対応した製品に関する情報（製品情報）を、ネットワークを介してスマートフォン２００に送信する。クラウドサーブ３００から送信された製品情報は、無線通信部２０１を介してスマートフォン２００に受信され、制御部２０３に取得される（Ｓ２）。この後、スマートフォン２００の制御部２０３は、取得した製品情報に基づいて、ユーザの初期設置に関するＡＲガイダンスを表示部２０４において実行する（Ｓ３）。

図６は、図５のＳ３の処理を詳細に示すフローチャートである。Ｓ１００において、制御部２０３は、スマートフォン２００のカメラ２０２から対象となる製品１０の撮像画像データを取得する。なお、ここで言う製品１０とは、プリンタ本体１００のみならずプリンタ本体１００を覆う各種梱包材１０３によって覆われた状態の物も含む。次に、Ｓ１０１において、制御部２０３は、撮像画像データを画像認識によって解析し、製品１０の設置状態を、以下の３つの状態に分類する。
・開梱前の状態：梱包箱１０１にプリンタ本体１００が収容されており、未開封の状態
・開梱後の状態：プリンタ本体１００から全ての梱包材１０３が取り除かれている状態
・開梱中の状態：プリンタ本体１００の一部に梱包材１０３が取り付けられている等、上記２つの状態以外の状態

製品画像データを解析する方法としては、ディープラーニング等の機械学習を用いた画像認識やパターンマッチングを用いた画像認識が考えられる。例えば、ディープラーニングを用いて画像認識を行う場合には、上記３状態の製品１０を撮像した画像をそれぞれ大量に学習させた学習モデルであるニューラルネットワークをスマートフォン２００に用意しておく。具体的には、この学習モデルは、入力データとして画像が入力されることにより、出力データ（認識結果）として上記３つの状態のそれぞれの確率を出力する。よって、最も確率の高い出力値に対応する状態が、その画像の解析結果となる。

なお、学習モデルを学習させる場合には、学習用データとして、入力データとして上記３つの状態の製品１０の画像と、各画像内の製品１０の状態を示す情報を教師データ（正解データ）と、を用意する。そして、入力データである画像を学習モデルに入力することにより出力された出力データ（認識結果）と、教師データと、を損失関数に与えることにより、認識結果の正解からのずれ量が得られる。多数の学習用データに対してずれ量Ｌが小さくなるように、学習モデル中のニューラルネットワークのノード間の結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシンなどが挙げられる。また、ニューラルネットワークを利用して、学習するための特徴量、結合重み付け係数を自ら生成する深層学習（ディープラーニング）も挙げられる。適宜、上記アルゴリズムのうち利用できるものを用いて本実施形態に適用することができる。

このようにして生成した学習モデルに対して、ユーザがスマートフォン２００で撮像した製品１０の画像を入力することで、制御部２０３は製品１０の各状態を判定する。

また、制御部２０３は、パターンマッチングを用いて画像認識を行う場合には、識別子１０５の有無をパターンマッチングで判定する。例えば、開梱前にしか存在しない識別子を確認した場合は開梱前の状態であると判定し、開梱後でしか確認し得ない識別子を認識した場合は開梱中であると判定する。次に、Ｓ１０３，Ｓ１０４，Ｓ１０５において、制御部２０３は、製品の状態の判定結果に応じた初期設置処理、すなわち開梱前の処理、開梱中の処理、開梱後の処理を選択的に行う。それぞれの処理については後述する。

最後にＳ１０６において、制御部２０３は、全ての初期設置処理が終了したかを判定する。ここで、初期設置処理が完了したことを確認できた場合には、制御部２０３は処理を終了し、それ以外の場合は、再度、Ｓ１０１から上述の処理を順次行う。

図７は、図６のＳ１０３の処理を詳細に示すフローチャートであり、梱包箱１０１の開梱前の処理を示している。まずＳ２０１において、制御部２０３は、スマートフォン２００のカメラ２０２によって取得した識別子１０５に基づき、梱包箱１０１の向きを認識する。具体的には、画像認識で認識した識別子１０５の種類と角度とによって梱包箱１０１の向きを認識する。例えば、図２で考えたとき、まず、プリンタ梱包箱１０１の１０５識別子１０５ａを画像認識によって認識する。その結果、仮に識別子１０５ａが水平から２７０度の向きにある認識したとする。この識別子情報と、クラウドサーバ３００から取得した“梱包箱向き識別用データ”とを合わせて、梱包箱１０１が水平２７０度の向きであると認識する。

次にステップＳ２０２において、制御部２０３は、梱包箱１０１の向きとクラウドサーバ３００から取得した“梱包箱向き識別用データ”を解析することで、開梱口ＯＰの位置を特定する。最後に、ステップＳ２０３において、制御部２０３は、開梱口からプリンタを取り出す指示を、ＡＲ技術によって行う。図１４は、ＡＲ技術によって表示される画像（ＡＲ画像）の一例を示す図である。図１４（ａ），（ｂ）は開梱口ＯＰの開口前、開口後のＡＲ画像を示しており、図１４（ｃ）は開梱が完了したことをユーザに通知するＡＲ画像を示している。

図８は、図６のＳ１０４の処理を詳細に示すフローチャートであり、開梱中の処理を示している。Ｓ４０１ないしＳ４０３において、制御部２０３は、梱包材情報テーブルＴにおける優先度が高い梱包材１０３から順番に、梱包材１０３が取り外されたか否かの確認を行う。例えばＳ４０１において、制御部２０３は、テーブルＴの中の優先度１の梱包材の有無を１つずつ確認する。そして、優先度１の梱包材１０３が存在している場合には、優先度１の梱包材１０３が外れたことを確認するまで、スマートフォン２００の表示部２０４によってＡＲガイダンスを行う。その後、優先度２の梱包材、優先度３の梱包材を順次確認していき、優先度ｎの梱包材が製品１０から外れると、Ｓ４０４へ移行する。Ｓ４０４において、制御部２０３は、全ての梱包材１０３が正しく外れたことをスマートフォン２００の表示部２０４に表示させてユーザに通知し、Ｓ１０４の処理を終了する。

図９は、図８に示す処理をより具体的に示すフローチャートである。図５のテーブルＴに基づいて制御部２０３により行われる、具体的な確認処理はＳ５０１〜Ｓ５０５に示すようになる。

まず、Ｓ５０１において、制御部２０３は、優先度１の梱包材である緩衝材（左側）１０２ｄｅと緩衝材（右側）１０２ｄが存在しているかどうかを確認し、第１内包材１０２ａ、１０２ｂが存在していないと判定されるまでＡＲガイダンスを行う。

Ｓ５０２において、制御部２０３は、優先度２の第２梱包材である保護ビニール１０２ｃが存在しているかどうかを確認し、第２梱包材１０２ｃが存在していないと判定されるまでＡＲガイダンスを行う。Ｓ５０３において、制御部２０３は、優先度３の第３梱包材であるオレンジテープ１０２ａが存在しているかどうかを確認する。このオレンジテープ１０２ａは、プリンタ本体１００の側面と上面とに跨る場所［１］に設けられており、この場所［１］からオレンジテープ１０２ａが取り外されて、存在しないと判定されるまでＡＲガイダンスを行う。

Ｓ５０４において、制御部２０３は、優先度４の第４梱包材であるオレンジテープ１０２ｂが存在するかどうかを確認する。この第４梱包材１０２ｅは、プリンタ本体１００の正面と上面とに跨る場所［２］に設けられており、この場所［２］から第４梱包材１０２ｅが取り外されて、存在しないと判定されまでＡＲガイダンスを行う。この後、Ｓ５０５において、制御部２０３は、全ての梱包材が正しく外れたことをスマートフォン２００の表示部２０４によって通知する。

図１０は、図６のＳ４０３の処理を詳細に示すフローチャートである。ここでは、優先度ｎの梱包材１０３を一個ずつ確認し、それぞれが正しく取り外されたことを確認する手順を示している。

まずＳ６０１において、制御部２０３は、図４に示すテーブルＴから対象となる梱包材１０３の情報を取得する。次にＳ６０２において、制御部２０３は、Ｓ６０１で取得した情報に基づき、対象となる梱包材１０３の位置を特定するために、製品１０の向きの識別が必要か否かを判定する。この判定は、対象となる梱包材に対応する「向き識別」の項目に定められている「不要」、「必要」の情報を取得することによって行う。ここで、向きの識別が必要であると判定された場合には、制御部２０３は、ステップＳ６０３において、スマートフォン２００のカメラ２０２で撮像した製品の撮像画像データに基づいて画像認識及び解析を行い、製品の向きを判定する。画像認識の方法には、製品に付与されている識別子を用いたパターンマッチングや、ディープラーニングなどを用いた方法を適用する。

次にＳ６０４において、制御部２０３は、テーブルＴの位置情報とＳ６０３で判定した製品１０の向き情報とに基づき、梱包材１０３の位置を特定する。位置情報には製品１０のどの場所にどの梱包材１０３が存在するかを示す情報が含まれている。この位置情報と向き情報とを組み合わせることによって、スマートフォン２００のカメラ２０２で取得している撮像画像に対して、梱包材１０３の位置を特定することができる。

次にＳ６０５において、制御部２０３は、スマートフォン２００のカメラ２０２で取得している撮像画像に製品１０の梱包材１０３が含まれているかを判定する。ここで、梱包材１０３が含まれていないと判定された場合には、Ｓ６０６に進み、スマートフォン２００のカメラ２０２で梱包材１０３が設けられている位置の撮像を指示するＡＲガイダンスをスマートフォン２００の表示部２０４において行う。

次にＳ６０７において、制御部２０３は、取り外しの対象となっている梱包材１０３の有無を識別子１０５によって判定する。具体的には、梱包材１０３を取り外すと識別子１０５が露出するように構成されている場合、カメラ２０２による撮像画像に識別子１０５が含まれていた場合に、梱包材１０３が取り外されたと判定する。あるいは、梱包材１０３自体に識別子１０５が付与されている場合には、カメラ２０２による撮像画像に識別子が含まれていない場合に梱包材１０３が取り外されたと判定する。

次にＳ６０８において、制御部２０３は、梱包材１０３が取り外されているかを判定する。ここで、梱包材１０３が取り外されていないと判定された場合は、Ｓ６０９へ移行し、梱包材１０３を取り外すことをユーザに促すＡＲガイダンスを表示部２０４によって行った後、Ｓ６０７に戻る。また、Ｓ６０８において梱包材１０３が取り外されていると判定された場合は、Ｓ６１０に進み、梱包材１０３が正しく取り外されたこと表すＡＲ画像を表示部２０４に表示する。この通知を行うことにより、ユーザは、正しい手順で作業が進められていることを認識することができる。従って、取り外した梱包材１０３を再び元に戻すなどの誤った作業が行われることもなくなる。

この後、Ｓ６１１において、制御部２０３は、全ての梱包材１０３が取り外されたかを判定する。そして、全ての梱包材１０３が取り外されたと判定されると、一連の処理を終了する。また、取り外されていない梱包材が残されている場合には、制御部２０３は、再びステップＳ６０１から処理を続行する。

図１１は、図９のＳ５０３に示した“オレンジテープを確認”の処理をより具体的に示すフローチャートである。まず、制御部２０３は、Ｓ７０１において、梱包材情報テーブルＴを参照し、対象となる梱包材の情報を取得する。ここでは、対象となる梱包材１０３はオレンジテープであり、オレンジテープの位置を特定するためには、製品１０の向きを認識することが必要となる。このため、次のＳ７０３において、制御部２０３は、製品１０の向きの認識を行う。

次にＳ７０４において、制御部２０３は、テーブルＴから取得した位置情報とＳ７０３で認識した製品の向き情報とに基づき、オレンジテープ１０２ａが設けられている位置を特定する。Ｓ７０５では、スマートフォン２００のカメラ２０２で撮像した撮像画像にオレンジテープ１０２ａが設けられている位置（対象位置）が写っているかを判定する。ここで、オレンジテープ１０２ａが設けられている位置が写っていないと判定された場合には、Ｓ７０６へ進み、スマートフォン２００でオレンジテープ１０２ａが設けられている対象位置の撮像を指示するＡＲガイダンスを表示部２０４において行う。

ステップＳ７０７において、制御部２０３は、対象位置におけるオレンジテープ１０２ａの有無を識別子１０５によって判定する。具体的には、オレンジテープ１０２ａを取り外すと識別子１０５が露出する場合は、識別子１０５が有ることでオレンジテープが取り外されたと判定する。また、オレンジテープ自体が識別子としての機能を有している場合は、オレンジテープが無くなることで梱包材１０３が取り外されたと判定する。

次にＳ７０８において、制御部２０３は、オレンジテープ１０２ａが取り外されているかを判定する。ここで、オレンジテープ１０２ａが取り外されていない（ＮＯ）と判定された場合には、Ｓ７０９において、制御部２０３は、オレンジテープを外すことを指示するＡＲ画像を表示部２０４に表示する。また、Ｓ７０８においてオレンジテープ１０２ａが取り外されていないと判定した場合、制御部２０３は、Ｓ７１０において、オレンジテープ１０２ａが正しく取り外されたことを、表示部２０４を介してユーザに通知する。

図１５に、ＡＲ技術によってユーザに指示するＡＲ画像の一例を示す。図１５（ａ）は、図１１のＳ７０６の処理により、オレンジテープ１０２ａが設けられる位置をスマートフォン２００で撮像するようにユーザに指示しているＡＲ画像を示す図である。図１５（ｂ）は図１１のＳ７０９において、オレンジテープを取り外すことをユーザに指示するＡＲ画像を示す図である。図１５（ｃ）は図１１のＳ７１０おいて、梱包材１０３が正しく取り外されたことをユーザに通知するＡＲ画像を示す図である。

図１２は、図８のＳ４０３の処理中に、ユーザ操作によって処理を終了させる割込処理を示すフローチャートである。Ｓ４０３に示す優先度ｎの梱包材１０３の確認処理中に、ユーザが対象となる梱包材１０３を取り外したことを入力すると、制御部２０３は、Ｓ４０３ａにおいて割り込み処理を実行し、Ｓ４０３の処理を終了させる。これによれば、ユーザが梱包材１０３の取外しを終えた時点で、図８に示す全ての確認処理が完了するのを待たずに、Ｓ４０３の処理を終了させることができる。このため、速やかに次の開梱後の処理に移行することが可能になる。なお、ユーザが対象となる梱包材１０３を取り外したことを入力する方法としては、例えば、スマートフォン２００の表示部２０４に表示されている完了ボタンやチェックボックス等のタッチ入力ＵＩ（User Interface）や音声ＵＩによる入力等を用いる。

図１３は、図６のＳ１０５における開梱後の処理を具体的に示すフローチャートである。まず、Ｓ８０１において、制御部２０３は、プリンタ本体１００にＡＣケーブル（装着部材）を接続する指示を、ＡＲガイダンスによって行う。具体的には、プリンタ本体１００に設けられたＡＣケーブルの差込口を明示すると共に、その差込口に対するＡＣケーブルの接続操作を指示するＡＲガイダンスの画像をスマートフォン２００の表示部２０４に表示する。

次に、Ｓ８０２では、制御部２０３は、プリンタ本体１００に設けられているソフトキーによる電源ＯＮの指示を、ＡＲ画像によって行う。具体的には、プリンタ本体１００に設けられている電源ボタンを明示すると共に、電源ボタンの操作方法をＡＲ画像によって指示する。これにより、電源ＯＮボタンを長押しするなど、電機種固有の操作があっても、ユーザは混乱なく作業を進めることができる。

次に、Ｓ８０３、Ｓ８０４において、制御部２０３は、プリンタ本体１００に対する初期セットアップ作業（初期設定作業）をＡＲ画像によって指示する。すなわち、Ｓ８０３では、プリンタ本体１００にインクタンク（装着部材）を装着する指示をＡＲ画像によって指示する。この場合、インクタンクを画像認識して、インクタンクの梱包を正しく取り外した後、プリンタ本体１００の正しい位置にインクタンクを装着させるためのガイダンスを行う。これにより、ユーザはインクタンクの誤装着や梱包材の外し忘れに起因するエラーの発生などを未然に防ぐことができる。

また、Ｓ８０４において、制御部２０３は、プリンタ本体１００におけるレジストレーション調整の実行をＡＲ画像によって指示する。具体的には、印刷用紙のセットやプリンタ本体１００に設けられたＵＩ上の操作等をＡＲ画像によって指示する。

（他の実施形態）
上記の実施形態では、プリンタ本体１００を梱包材１０３によって梱包した製品１０の開梱作業に対して、ＡＲ画像によるガイダンスを行うことでユーザの開梱作業を補助する例を示した。しかし、本発明はプリンタだけでなく、開梱作業を必要とする様々な製品に対して適用することができる。例えば、開梱作業や設定作業などが複雑なパーソナルコンピュータや測定機器、サービスマンによるサポートが必要な大型機器等に対して、梱包材や機器本体に識別子情報を埋め込むことで、上述の第１実施形態と同様に設置作業の補助を、ＡＲ技術を用いて行うことができる。

また、上記第１実施形態では、図３のＳ３に示す処理をスマートフォン２００側で行う例を示した。しかし、図３のＳ３に示す処理の一部をクラウドサーバ３００に設けられたサーバ３０２によって実行させることも可能である。例えば、クラウドサーバ３００はスマートフォン２００と同様にＣＰＵ等のプロセッサを備えるため、スマートフォン２００のカメラによる撮像画像にＡＲガイダンスを行うための情報を重ねてＡＲ画像を生成する処理をクラウドサーバ３００側で行うことができる。そして、生成したＡＲ画像をクラウドサーバ３００からスマートフォン２００へと送信することによって、表示部２０４にＡＲ画像を表示させることも可能である。

さらに、上記実施形態では、クラウドサーバから取得した情報を用いてＡＲ画像によるガイダンスを行う例を示したが、本発明はこれに限定されない。すなわち、クラウドサーバなどの外部サーバを用いず、スマートフォン等の端末に設けられた情報のみに基づいてＡＲ画像の生成を行うようにすることも可能である。例えば、図４に示すようなテーブル情報を備えるＡＲガイダンス用アプリケーションをスマートフォンに格納し、外部サーバとの通信を行うことなくＡＲガイダンスを実行するようにすることも可能である。

さらに、本発明は上述の実施形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、画像処理コントローラなどの制御手段を、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０ 製品
１００ プリンタ本体
２０２ カメラ（撮像手段）
２０４ 表示部（表示手段）
２０３ 制御部（表示制御手段、第１取得手段、第２取得手段、第３取得手段）

Claims (14)

1. 情報処理装置のコンピュータを、
   撮像手段によって撮像された製品の撮像画像を表す撮像画像データに基づき前記撮像画像を表示手段に表示させる表示制御手段と、
   前記撮像画像データに基づき前記製品の初期設定に関連する製品情報を取得する第１取得手段と、
   前記製品の撮像画像データと前記製品情報とに基づき前記製品の設置状態の判定結果を取得する第２取得手段と、
   前記第２取得手段によって取得された前記設置状態に応じて、ユーザが前記製品に対して実施すべき設置作業の指示画像と前記撮像手段によって撮像された撮像画像とを合成した合成画像を表す合成画像データを取得するする第３取得手段と、
   として実行させるプログラムであって、
   前記表示制御手段は、前記合成画像データに基づいて前記表示手段に前記合成画像を表示させることを特徴とするプログラム。
2. 前記製品は、少なくとも機器本体と、当該機器本体を覆う梱包材とを含むことを特徴とする請求項１に記載のプログラム。
3. 前記製品情報は、前記機器本体に関する情報と、前記梱包材に関する情報と、を含むことを特徴とする請求項３に記載のプログラム。
4. 前記第２取得手段は、前記製品の撮像画像データと前記梱包材に関する情報とに基づき、前記梱包材の状態の判定結果を取得することを特徴とする請求項２または３に記載のプログラム。
5. 前記第２取得手段は、前記製品の前記梱包材が、開梱前、開梱中、開梱後のいずれの状態にあるかを示す判定結果を取得することを特徴とする請求項４に記載のプログラム。
6. 前記梱包材は、前記製品の外面を形成する外包材と、前記外包材の中に収容され、前記機器本体を覆う内包材とを含み、
   前記外包材と前記内包材のそれぞれには識別子が付与されていることを特徴とする請求項２ないし５のいずれか１項に記載のプログラム。
7. 前記第２取得手段は、前記製品の撮像画像データにおける前記識別子の有無、前記撮像画像における前記識別子の向きに基づき前記梱包材の状態にあるかを示す判定結果を取得することを特徴とする請求項６に記載のプログラム。
8. 前記第３取得手段は、前記撮像手段によって撮像されている撮像画像データに前記梱包材の取り外し方を指示する指示画像データを合成したＡＲ画像データを取得し、
   前記表示制御手段は、前記ＡＲ画像データに従って前記表示手段にＡＲ画像を表示させることを特徴とする請求項２ないし６のいずれか１項に記載のプログラム。
9. 前記表示制御手段は、前記撮像手段によって撮像されている撮像画像に前記機器本体に装着すべき装着部材の装着方法及び前記機器本体の調整方法を指示する指示画像を合成したＡＲ画像を前記表示手段に表示させることを特徴とする請求項１ないし８のいずれか１項に記載のプログラム。
10. ユーザによって操作可能な端末に、少なくとも前記撮像手段、前記表示手段、前記第１取得手段、前記第２取得手段、前記第３取得手段、及び前記表示制御手段が設けられ、
    前記端末と通信可能なサーバに、前記製品情報が格納され、
    前記第１取得手段は、前記製品を特定する特定情報を前記サーバに送信することによって前記製品情報を前記サーバから取得することを特徴とする請求項１ないし９のいずれか１項に記載のプログラム。
11. 前記特定情報は、前記外包材に記載されたＱＲコードを読み取ることによって取得される情報であることを特徴とする請求項１０に記載のプログラム。
12. 撮像手段によって撮像された製品の撮像画像を表す撮像画像データに基づき前記撮像画像を表示可能な表示手段に表示させる表示制御手段と、
    前記製品の初期設置に関連する製品情報を格納した格納手段と、
    前記撮像画像データと前記格納手段から取得した製品情報とに基づき前記製品の設置状態の判定結果を取得する第２取得手段と、
    前記第２取得手段によって取得された前記設置状態に応じて、ユーザが前記製品に対して実施すべき設置作業の指示画像と前記撮像手段によって撮像されている撮像画像とを合成した合成画像を表す合成画像データを取得する第３取得手段と、
    前記表示制御手段は、合成画像データに基づき前記表示手段に前記合成画像を表示させることを特徴とする情報処理装置。
13. 製品を撮像し、撮像画像データを取得する撮像工程と、
    前記撮像画像データに基づきを前記製品の初期設置に関連する製品情報を取得する第１取得工程と、
    前記撮像画像データと前記製品情報とに基づき前記製品の設置状態の判定結果を取得する第２取得工程と、
    判定された前記設置状態に応じて、ユーザが前記製品に対して実施すべき設置作業の指示画像と前記撮像画像とを合成した合成画像を表す合成画像データを取得する第３取得工程と、
    前記合成画像データに基づき前記表示手段に前記合成画像を表示させる表示制御工程と、を備えることを特徴とする情報処理方法。
14. 撮像手段によって撮像された製品の撮像画像を表す撮像画像データに基づき前記撮像画像を表示手段に表示させる表示制御手段と、
    前記撮像画像データに基づき前記製品の初期設定に関連する製品情報を取得する第１取得手段と、
    前記製品の撮像画像データと前記製品情報とに基づき前記製品の設置状態の判定結果を取得する第２取得手段と、
    前記第２取得手段によって取得された前記設置状態に応じて、ユーザが前記製品に対して実施すべき設置作業の指示画像と前記撮像手段によって撮像された撮像画像とを合成した合成画像を表す合成画像データを取得するする第３取得手段と、を備え、
    前記表示制御手段は、前記合成画像データに基づいて前記表示手段に前記合成画像を表示させることを特徴とする情報処理システム。

Images