JP2017041216A - 選択情報入力システム - Google Patents

Abstract

【課題】高齢者の画像入力に関する困難性を克服し、スマートフォンなどの端末装置を入力装置として使用して、タッチパネル等の操作をする必要がなく、カタログや取り扱い説明書、名刺などの紙媒体等の客体から異なる情報を客体への指さしなどの直接的な選択で入力することができる選択情報入力システムを提供する。【解決手段】制御装置６は、入力装置４が異なる時刻（入力後と入力前）に撮影した入力画像３から、客体（メニュー）１に含まれる複数のマーカー２の内一つが指Ｆで隠されて欠落したことを検出して、隠匿されたマーカー２を特定して、これを入力情報として入力装置４の制御装置６の通信装置５ｃより顧客の受注システム８に向けて送信して、注文書９として受け付ける。【選択図】図２

Description

本発明は、ＡＲ（拡張現実Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術を利用した、情報入力システムに関し、人が知覚する現実環境をコンピュータにより拡張する技術を活用し、スマートフォンなどの端末装置を入力装置として使用し、カタログや取り扱い説明書、名刺などの紙媒体から異なる情報を選択的に入力することができる選択情報入力システムを提供する。

ＡＲ（拡張現実Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）を利用してスマートフォンのカメラの上に別の情報を重ね合わせたり、動画や３Ｄの立体オブジェクトを表示させたりする技術は広く知られている。この技術は、例えば、名刺等の客体からスマートフォンのカメラなどを介して端末装置に入力された入力画像を符号化し、通信網を経由して得たこの符号化情報をキーにして、前記スマートフォン（端末装置）の画面上に付加する拡張現実用の拡張映像をサーバのデータベース上で検索し、検索で得た拡張画像を前記スマートフォン（端末装置）に送信して、スマートフォン（端末装置）の客体が映った画面上に拡張現実用拡張映像を重ねて表示するものである（特許文献１参照）。

特許第５３２４７１４号

スマートフォンなどの端末装置を用いて情報を入力して、商品の購入や、情報提供、検索が可能であるが、高齢者にとってはディスプレイからの入力操作そのものが困難であり、上記したスマートフォンなどの端末装置を用いた情報入力ができない。
一方では、入力映像及び前記入力映像に関する情報を用いて拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）映像を生成する技術が存在するが、これはあくまで追加で種々の映像を付加する技術であり、タッチパネル等の操作なくしては、画像から情報を選択的に入力することが出来ないという問題がある。本願発明は、このような高齢者の画像入力に関する困難性を克服して、スマートフォンなどの端末装置を入力装置として使用し、タッチパネル等の操作をする必要がなく、カタログや取り扱い説明書、名刺などの紙媒体から異なる情報を、客体への指差しなどの直接的な選択で入力することができる、選択情報入力システムを提供することを目的とする。

問題を解決するための手段

本願発明は、上記従来の課題を解決した客体に関する選択情報入力システムであり、
複数のマーカーを含む客体から入力画像を得ると共に当該画像を表示する機能を備えた入力装置と、
前記入力画像を数値化する画層処理装置を有する制御装置と、
入力情報を送信すると共に送信に対する応答を受信する通信装置と、
を備え、
前記画像処理装置は、前記客体の画像と前記複数のマーカーとの特定の組み合せを検出して組み合せ毎に異なる情報を作成し、前記制御装置は、異なる時刻（入力前と入力後）における入力画像の差異を検出して当該差異を入力情報として認識するものであって、
前記通信装置は、前記入力情報を送信する機能を有し、
前記画像処理装置は、異なる時刻に前記入力画像と前記マーカーとの組み合せを検出し、
前記制御装置は、前に特定した入力画像の情報と今回得た組入力画像の情報との比較結果において、欠落した画像の情報を少なくともこれを入力情報と認識して当該入力情報を前記通信装置より送信する機能を有し、
前記通信装置は、前記入力画像に関する送信相手先からの応答返信を受領し、少なくとも前記入力情報の送信に対する応答返信を表示することで、前記入力情報の送信結果の確認を行うことを可能にした構成となっている。

また、前記客体は、名刺、カタログ、取扱い説明書、メニューあるいは注文書のいずれかである。また、画像処理装置は、前記客体に含まれる複数のマーカーの内一つが隠されて欠落したことを異なる時刻における前記入力画像から検出し、前記隠匿されたマーカーを特定してこれを入力情報と認識して当該比較結果の情報を前記通信装置より送信するものである、さらには、前記入力情報は、前記客体の提供者に送信あるいは転送される。

本願発明は、上記従来の課題を解決した客体に関する選択情報入力方法であり、複数のマーカーを含む客体から入力画像を得る入力ステップと、前記入力画像を数値化する画層処理ステップと、
前記数値化した情報を送受信可能な通信装置により送信するステップと、を備え、
入力ステップでは、前記客体の画像と前記複数のマーカーとの特定の組み合せを検出して組み合せ毎に異なる組み合せ情報を作成し、さらに、異なる時刻に前記入力画像と前記マーカーとの組み合せを検出して、直前に特定した前回の組み合せ情報と今回得た組み合せ情報とを比較し、少なくとも比較結果が異なる場合にはこれを入力情報と認識し、
送信するステップは、当該比較結果の情報を前記通信装置より送信する作業を含み、
前記入力画像に関する送信相手先からの応答返信を前記通信装置が受領したとき、前記比較結果の情報の送信に対する応答返信を表示する入力確認ステップをさらに有する。

上記選択情報入力方法を実行するためのコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体を本願発明はカバーする。

発明の効果

本発明によれば、高齢者の画像入力に関する困難性を克服でき、スマートフォンなどの端末装置を入力装置として使用して、カタログや取り扱い説明書、名刺などの媒体から異なる情報を選択的に入力することができる、たとえば指でカタログ上のマーク（注文のためのマーク等）を隠蔽することだけで、入力情報を正確に獲得できる効果を奏する。

図１（ａ）は、本発明の一実施形態における客体の平面図、図１（ｂ）および（ｃ）は、同実施形態における客体のマーカーが指で隠蔽された状態を示す平面図。 本発明の一実施形態に係る選択情報入力システム全体を示す構成図である。

以下本発明の好適な実施形態である選択情報入力システムについて図面を参照して説明する。本システムにおいては、情報入力手段として客体１を使用する。この客体１は、名刺、カタログ、取扱い説明書、メニューあるいは注文書などでよく、紙やプラスチック媒体に図柄や絵、文字などが印刷されているものである。但し、この客体１には複数のマーカー２が印刷されている。そして、マーカー２を含む客体１を撮像して入力画像３を得るため、撮像機能と表示機能を備えた入力装置４が使用される。入力装置４としては、スマートフォンや携帯パッドが使用可能であり、無線通信装置５ｃを備える必要があるが、無線通信機能は、別途にＷｉＨｉやブルーツース等で通信機能を有する機器に接続することで構成してもよい。入力装置４内には、入力画像３を数値化する画層処理装置５を有する制御装置６（入力装置４が備えるＣＰＵ及びインストールされたソフトウエアにより機能が構成される。）が装備されている。画層処理装置５Ｖは、入力画像３の客体１とマーカー２とをそれぞれ数値化し（客体１とマーカー２との組合せに固有な数値を与えて数値化してもよい）、数値化された情報は、入力装置４の制御装置６（付属メモリ内）に記憶され、また無線通信回線７を介して顧客のサーバ８に送られる。

入力装置４が、画層処理装置５で数値化した情報を送信すると、この送信に対する応答をサーバ８が行い、無線通信回線７を介して入力装置４はこの応答を受信する。画像処理装置５は、客体１の画像と複数のマーカー２との数値化情報を作成、あるいは両者の特定の組み合せを検出して組み合せ毎に異なる組み合せ情報を作成し、無線通信回線７を介して受注受注システム８に送信する。数値化された客体１に固有の情報は、顧客のサーバ（受注システム）８側で認識され分析され客体１の内容（たとえば顧客のスイーツのメニューであること）が特定される。入力装置４の制御装置６は、客体１に含まれる複数のマーカー２の種類（ケーキ、プリン、フルーツサンド等の図柄）をその得た数値化情報から特定し、マーカー２の種類に応じて、その意味を特定する。マーカー２は☆印のような幾何学模様でも良いが、たとえば図１に示すようにマーカー２の図柄はソフトドリンクの種類に応じた絵柄に設定されている。マーカー２の図柄は数値化されて対応したメニュー品目が特定可能となる。これらはあらかじめプログラムにより設定される。入力装置４の画層処理装置５から数値化された情報が得られると、サーバ８はスイーツのメニューであることを認識して注文待ち等の応答を行い、無線通信回線７を介して入力装置４はこの応答を受信する。

入力装置４は、顧客の受注システム８からの応答を確認して次の画像入力を行う。情報入力に際しては、入力者の指Ｆが客体１（以下メニュー１と記す）の希望する品物に対応するマーカー２を指差し、マーカー２の対応マークを隠すことで行う。図２に示す場合では、ロールケーキが選択されてマーカー２（メニュー１の左のロールケーキの図柄）が指Ｆで覆われる。メニュー１では、近くに居る店員等が注文したいマークを隠すように指差すことを注文者に助言し、入力装置４によって、指差し状態（選択状態）のメニュー１を撮像して時間的に異なる２番目（注文時）の入力画像３を得る。画像処理装置５は、２番目の入力画像３を数値化して入力情報を得る。

入力情報を得る手順を以下に説明する。制御装置６では、異なる時刻（客体１の１回目の撮像による入力画像３−１（指差しなし）と、指差して品物選択後の２番目の入力画像３−２とが、それぞれ数値化されて蓄積されるが、このとき客体１とマーカー２との組み合せを検出し、１回目の撮像で特定した客体１とマーカー２との組み合せ情報と２回目に得た組み合せ情報とを比較し、少なくとも比較結果が異なる場合にはこれを入力情報と認識する。本実施例では、当該比較結果の情報として、マーカー２の内、ロールケーキの図柄が（指Ｆで隠れて）欠落していることが比較結果として得られる。すでに客体１（メニュー１）がスイーツのメニューとして特定されているので、マーカー２の欠落マーカーとしてロールケーキの図柄の数値化情報（あるいは客体１とマーカー２との特定の組合わせ情報）から今回ロールケーキが入力（注文）されたことが、制御装置６で特定される。制御装置６は顧客の受注システム８に入力情報を送信する。顧客の受注システム８は、注文を待つ宅配業者等がコントロールしており、入力情報としてロールケーキを受注し、注文書９をプリントする。さらにこのあと、同様に個数や支払い方法が、客体１を指差しをすることで特定される（同様の動作のため説明を略する）、入力装置４からの電波等で課金、清算が行われてもよい。

異なる時刻（客体１の１回目の撮像による入力画像３−１（指差しなし）と、指差して品物選択後の２番目の入力画像３−２とが、それぞれ数値化され情報は、制御装置６で比較処理が行われる例を上記したが、入力装置４が備える画層処理装置５（入力装置４が備えるＣＰＵ及びインストールされたソフトウエアにより機能が構成される。）が、客体１とマーカー２との組み合せを検出し、１回目の撮像で特定した客体１とマーカー２との組み合せ情報と２回目に得た組み合せ情報とを比較し、少なくとも比較結果が異なる場合にはこれを入力情報と認識し、当該比較結果の情報を制御装置６が入力情報として受注システム８に送信するシステムとしても良いし、制御装置６がさらに入力情報を処理して、ロールケーキの注文として特定し、これを受注システム８に送信するシステムとして構成することも可能である。

顧客受注システム８は、注文を待つ宅配業者等が入力情報として受注し、受注の応答として通信回線７を介して配達や支払い等の必要な事柄とともに入力装置４に確認の送信をする。入力者（注文主）は、入力装置４のディスプレイ（表示機能）から前記確認の送信結果（注文結果や支払い等）の確認を行う。

画像処理装置５は、客体１に含まれる複数のマーカー２の内一つが隠されて欠落したこと（図２ではロールケーキのマークが指Ｆで覆われていることで欠落する）を異なる時刻（初期の入力前の撮像時と入力時の撮像時）における前記入力画像から検出し、２つの画像を比較分析して、隠匿されたマーカー２を特定してこれを入力情報と認識して当該比較結果の情報を入力装置４より送信するものである。

数値化情報から、客体１が特定され、特定の顧客の飲食等のメニューであることを特定する技術、あるいは複数のマーカー２の種類例えば（○、☆、□）や図柄を数値化して情報を特定する技術、異なる時刻に於ける複数のマーカー２の種類に欠落があること、および欠落しているマークの種類の特定を２画像から特定する技術については、画像認識の業界、画像処理技術における当業者の実施可能な技術であり、詳細な説明を略する。

入力装置４により送信された情報は、入力者（注文主）においては、入力装置４のディスプレイ（表示装置）で受注結果が顧客受注システム８から返信されて入力情報の送信結果の確認を行うことができ、また入力装置４自体が注文の結果の支払い清算機能を持つ構成となっている。この入力情報は、客体１の提供者である注文を待つ宅配業者等に発注として送信あるいは転送される（顧客受注システム８の運用者を介して、あるいは無線通信で直接）ことで一連の入力プロセスが完了する。

本実施の形態での選択情報入力方法をここでまとめると、複数のマーカー２を含む客体１から入力画像３を得る入力ステップと、前記入力画像３を数値化する画層処理ステップと、前記数値化した情報を送受信可能な通信装置５Ｃにより送信するステップと、を備え、入力ステップでは、前記客体１の画像３と前記複数のマーカー２との特定の組み合せを検出して組み合せ毎に組み合せ情報を作成し、さらに、異なる時刻（入力前と入力後）に前記入力画像３と前記マーカーとの組み合せを検出して、直前に特定した前回の組み合せ情報と今回得た組み合せ情報とを比較し、少なくとも比較結果が異なる場合にはこれを入力情報と認識し、送信するステップは、当該比較結果の情報を前記通信装置５ｃより送信する作業を含み、前記入力画像３に関する送信相手先（顧客受注システム８）からの応答返信を前記通信装置５が受領したとき、前記比較結果の情報の送信に対する応答返信を表示する入力確認ステップをさらに有する。

これらの各ステップを実現するプログラムは、周知のＲＯＭ、ＲＡＭ、フラッシュメモリなどに、プログラム命令語として格納され実行するように構成される。プログラムの実行は入力装置４の制御装置６として、例えばスマートフォン等の端末で周知のように内蔵のハードウェア装置のＣＰＵが動作を制御する。プログラム命令語は、コンパイラにより作られるもののような機械語コード、インタープリタ、等コンピュータによって実行され得る高級言語コードも含まれる。

１ 客体（メニュー）、
２ マーカー、
３ 入力画像、
４ 入力装置（含むディスプレイ）、
５ 画層処理装置、
５ｃ 通信装置、
６ 制御装置、
７ 無線通信回線。
８ 顧客の受注システム。

Claims (4)

1. 複数のマーカーを含む客体から入力画像を得ると共に当該画像を表示する機能を備えた入力装置と、
   前記入力画像を数値化する画層処理装置を有する制御装置と、
   入力情報を送信すると共に送信に対する応答を受信する通信装置と、
   を備え、
   前記画像処理装置は、前記客体の画像と前記複数のマーカーとの特定の組み合せを検出して組み合せ毎に異なる情報を作成し、前記制御装置は、異なる時刻（入力前と入力後）における入力画像の差異を検出して当該差異を入力情報として認識するものであって、
   前記通信装置は、前記入力情報を送信する機能を有し、
   前記画像処理装置は、異なる時刻に前記入力画像と前記マーカーとの組み合せを検出し、
   前記制御装置は、前に特定した入力画像の情報と今回得た組入力画像の情報との比較結果において、欠落した画像の情報を少なくとも検出してこれを入力情報と認識して当該入力情報を前記通信装置より送信する機能を有し、
   前記通信装置は、前記入力画像に関する送信相手先からの応答返信を受領し、少なくとも前記入力情報の送信に対する応答返信を表示することで、前記入力情報の送信結果の確認を行うことを可能にした、選択情報入力システム。
2. 前記客体は、名刺、カタログ、取扱い説明書、メニューあるいは注文書のいずれかである、請求項１に記載の選択情報入力システム。
3. 複数のマーカーを含む客体から入力画像を得る入力ステップと、前記入力画像を数値化する画層処理ステップと、
   前記数値化した情報を送受信可能な通信装置により送信するステップと、を備え、
   入力ステップでは、前記客体の画像と前記複数のマーカーとの特定の組み合せを検出して組み合せ毎に異なる組み合せ情報を作成し、さらに、異なる時刻に前記入力画像と前記マーカーとの組み合せを検出して、直前に特定した前回の組み合せ情報と今回得た組み合せ情報とを比較し、少なくとも比較結果が異なる場合にはこれを入力情報と認識し、
   送信するステップは、当該比較結果の情報を前記通信装置より送信する作業を含み、
   前記入力画像に関する送信相手先からの応答返信を前記通信装置が受領したとき、前記比較結果の情報の送信に対する応答返信を表示する入力確認ステップをさらに有する、選択情報入力方法。
4. 請求項３による選択情報入力方法を実行するためのコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。