JP2020115373A - 仮想ラベル表示処理プログラム - Google Patents

Abstract

【課題】予め作成したラベル用の印字データを用いて、ラベルを貼るのに最もふさわしい場所を探し出すことができ、ユーザにとっての利便性を向上する。【解決手段】制御回路部１５のＣＰＵは、ラベルの仮想画像データを生成するステップＳ１２と、撮影された電気ポットＰを含む実画像データを取得するステップＳ１３と、上記実画像データと上記仮想画像データとを合成して合成画像データを生成するステップＳ１４と、生成された上記合成画像データを表示部１３に出力し、所望の視野の画像中に仮想ラベルＬＩを重畳させて表示するステップＳ１５と、上記実画像データと上記仮想画像データとに基づき、電気ポットＰの外観とラベルの外観とが所望の適合性を満たすか否かを判定するステップＳ１７と、適合性を満たすと判定された場合に、所定の適合報知を行うステップＳ１８と、を実行する。【選択図】図９

Description

本発明は、ラベル作成装置を操作する操作端末により実行される仮想ラベル表示処理プログラムに関する。

貼り付け対象物に貼り付けて用いられるラベルを、操作端末からラベル作成装置を操作することで作成する技術が周知である。この種の技術では、パーソナルコンピュータ（ＰＣ）等の操作端末が有する表示モニタに作成されるラベルの印字イメージが表示される。操作者は、そのイメージ表示を見ながら文字や図柄等を操作入力すると、対応する印字データが操作端末で生成され、ラベル作成装置に送信される。これにより、ラベル作成装置において、搬送されるテープ（ラベルテープ）に対し印字手段（サーマルヘッド）によって印字データに対応した印字が行われ、ラベルが作成される。また、ラベルを掲示する予定の場所における環境情報に基づいて、掲示場所に適した掲示印刷画像を容易に作成するようにしたものも知られている（例えば、特許文献１参照）。

特開２０１５−０８２２３７号公報

上記従来技術においては、操作者は、実際にラベルを作成する際に、ラベルを貼り付ける予定の環境に対する適合性を操作者が判断するものであった。したがって、例えば、職場における備品、学校に持参する個人所有物等のように、多数の貼り付け対象がある際に予め印字データを作成してしまう場合がある。どこに貼るのかよりも先に印字データを作成してしまうため、作成したラベルと貼り付ける場所との適合性を判断することはできなかった。このように、ラベルを貼る場所が既に決まっていて、その場所に合う印刷内容（テンプレート）を決定する」技術内容は開示されているが、その逆の、「ラベル（印刷内容を含む）が既に決まっていて、そのラベルに合うラベルの貼り場所を決定するというシミュレーションのニーズには対応することはできなかった。

本発明の目的は、予め作成したラベル用の印字データを用いて、ラベルを貼るのにふさわしい場所を探し出すことができ、ユーザにとっての利便性を向上することができる仮想ラベル表示処理プログラムを提供することにある。

上記目的を達成するために、本願発明は、貼り付け対象物に貼り付け可能なラベルを作成するラベル作成装置を操作するための、撮像部とタッチパネル機能を備えた表示部と演算部とを備えた携帯端末の前記演算部に対し、印刷テープを模した印刷データと、前記タッチパネル機能によってスイッチ操作される操作ボタンとしての、前記ラベルの作成を指示可能なラベル作成ボタン及び仮想貼り付けボタンと、を表示するレイアウト画面を、前記表示部に表示するレイアウト画面表示ステップと、前記ラベルの仮想画像を前記表示部に表示させるための仮想画像データを生成する仮想画像生成ステップと、前記仮想画像生成ステップで生成した前記仮想画像データを前記表示部に出力し、当該表示部に前記ラベルの前記仮想画像を含み、かつ、前記タッチパネル機能によってスイッチ操作される操作ボタンとしての、前記撮像部による動画撮影の開始を指示可能な操作アイコンをさらに含む、仮想ラベル表示画面を当該表示部に表示する、仮想画像表示ステップと、前記操作アイコンにより動画撮影の開始が指示されたことを契機に、前記撮像部により撮影された、前記貼り付け対象物を含む所望の視野の実画像データを取得する実画像取得ステップと、前記実画像取得ステップで取得した前記実画像データと前記仮想画像生成ステップで生成した前記仮想画像データとを合成して合成画像データを生成する合成画像生成ステップと、前記合成画像生成ステップで生成された前記合成画像データを前記表示部に出力し、当該表示部において前記所望の視野の画像中に前記ラベルの仮想画像を重畳させ、かつ、前記タッチパネル機能によってスイッチ操作される操作ボタンとしての、前記撮像部による動画撮影の終了を指示可能な操作アイコンを操作ボタン欄にさらに含む、貼り付け位置画面を表示する合成画像出力ステップと、を実行させるための仮想ラベル表示処理プログラムであって、前記表示部は、前記レイアウト画面における前記仮想貼り付けボタンの操作により、当該レイアウト画面の表示状態から、前記仮想ラベル表示画面の表示状態に切り替えられ、前記仮想ラベル表示画面における前記操作アイコンの操作により、当該仮想ラベル表示画面の表示状態から、前記貼り付け位置画面の表示状態に切り替えられ、前記貼り付け位置画面においては、前記携帯端末と前記貼り付け対象物との位置関係が変わるのに応じて、前記所望の視野の画像中の前記貼り付け対象物の実画像の位置及び大きさがリアルタイムで変化しても、前記ラベルの前記仮想画像は、前記操作ボタン欄とともに、所定の大きさで表示されることを特徴とする。

本願発明の仮想ラベル表示処理プログラムは、ユーザが作成する予定のラベルを貼るのにふさわしい場所を探すのに用いられる。すなわち、当該仮想ラベル表示処理プログラムが携帯端末の演算部で実行されると、まず上記ラベルの仮想画像データが生成される（仮想画像生成ステップ）。この仮想画像データは、例えば、適宜の編集画面においてユーザが操作手段を介し編集操作を行った結果を反映したものでもよいし、予め完成された状態のラベルの印字データであってもよい。そしてユーザが携帯端末の撮像部により、貼り付け対象物を含む所望の視野を撮影すると、その撮影結果に対応した実画像データが取得される（実画像取得ステップ）。

これによって、その後上記生成された仮想画像データと上記取得された実画像データとが合成され（合成画像生成ステップ）、その合成画像データが出力される（合成画像出力ステップ）。これにより、上記所望の視野の画像中に上記ラベルの仮想画像が重なった状態で表示されるので、ユーザは、上記視野画像中の貼り付け対象物に対しラベルが貼り付けられたときの仮想外観態様を、視覚的に容易にイメージすることができる。

以上のような処理が行われることにより、ユーザは、作成予定のラベルの仮想画像を表示させた状態で、携帯端末を動かす、或は、手に持って移動して種々の場所を撮像してまわることで、ラベルを貼るのにふさわしい場所を探し出すことができる。この結果、ユーザにとっての利便性を向上することができる。

本発明によれば、ラベルを対象物に貼り付けた時の態様を、視野を変えた種々の状態で視覚的にシミュレーションすることができる。

仮想ラベル表示処理プログラムを実行する操作端末の外観を示し、（ａ）は操作端末の正面図、（ｂ）は操作端末の背面図である。 操作端末の操作対象であるラベル作成装置の外観を表す正面図である。 操作端末及びラベル作成装置の機能的構成を表す機能ブロック図である。 ラベル作成装置の制御回路が実行する、ラベル作成に係わる制御手順を表すフローである。 作成されたラベルの外観形状の一例を表す正面図である。 ラベルの印字データのレイアウト画面を表す説明図である。 仮想ラベル表示画面を表す説明図である。 仮想ラベル像と対象物実画像との合成表示例を示し、（ａ）は撮像状態の説明図、（ｂ）は撮像した対象物実画像と仮想ラベル像とを合成表示した貼り付け位置設定（探索）画面の説明図である。 操作端末の制御回路が実行する制御手順を表すフローチャートである。 操作端末の操作対象である他の、ラベル作成装置の外観を表す正面図である。

以下、本発明の一実施の形態を図面を参照しつつ説明する。

図１（ａ）及び図１（ｂ）において、携帯端末１０は、装置本体１１と、撮像手段としてのカメラ機能を有する撮像部１２と、を有する。

装置本体１１は、例えば、タッチパネル方式のカラー液晶ディスプレイからなり各種情報や各種メッセージ等を表示するとともに操作者が各種操作を行える表示手段としての表示部１３と、操作者が操作可能な操作ボタン等の操作部１４とを備えている。

撮像部１２は、装置本体１１の上部（図１（ａ）及び図１（ｂ）中の上部）に設けられており、装置本体１１において表示部１３の表示面が設けられた表面の反対側、すなわち背面に、カメラレンズ１２Ａを備えている。例えば、操作者が、操作部１４による操作で表示部１３に適宜のアイコン等を表示させ、指で当該アイコンを押して選択するとタッチパネル機能により撮像部１２が起動し、対象物を撮影（動画撮影又は静止画撮影の選択が可能）することが可能となる。

図２において、ラベル作成装置２０は、装置本体２１を有している。装置本体２１は、例えば、液晶ディスプレイからなり各種情報や各種メッセージを表示する表示部２２と、操作者が各種操作を可能な複数のボタンスイッチ等を有する操作部２３と、装置本体２１の内部に配設したカッタ３１（後述の図３参照）を駆動するためのレバー２４と、を備えている。

操作部２３は、文字、記号、及び数字等を入力するための入力キーを初めとする種々の機能キー２３ａ、文字入力時のカーソル位置の移動キーやモード選択時の遷移キーとして機能する移動キー２３ｂ、等を含む。なお、操作部２３は、一つのキーで複数の機能を兼用することができる。

図３おいて、携帯端末１０は、上述した撮像部１２、表示部１３、操作部１４、に加えて、制御回路部１５と、各種情報を記憶する記憶部１６と、カメラ機能を使用する際のピント合わせ等に利用可能な距離測定等のための測距部１７と、通信制御部１８と、を有する。なお、表示部１３のうち、タッチパネル方式によって操作機能を受け付けるタッチパネル部分と各種キーを有する操作部１４とが、各請求項記載の操作手段として機能する。

制御回路部１５は、図示しないＣＰＵ（演算手段）、ＲＡＭ、及びＲＯＭを備えている。この制御回路部１５は、ＣＰＵの演算機能により、ＲＡＭの一時記憶機能を利用しつつ、ＲＯＭに予め記憶された各種プログラムを実行する。この各種プログラムには、本発明の仮想ラベル表示処理プログラムが含まれている。また、制御回路部１５は、通信制御部１８を介し、無線通信によりラベル作成装置２０と接続されており、ラベル作成装置２０と各種情報や各種データの送受が可能となっている。

記憶部１６は、記憶内容の追加及び消去が可能な、例えば、Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ（ＥＥＰＲＯＭ）等の不揮発性メモリから構成されている。この記憶部１６には、制御回路部１５（のＣＰＵ）が実行する本発明に係る仮想ラベル表示処理プログラムに加えてラベルＬの作成及びカメラ機能を用いた適合性判定（後述するフロー参照）のための各種プログラムが記憶されている。

通信制御部１８は、無線を介して接続されたラベル作成装置２０との間で行われる、情報通信の制御を行う。

図３において、ラベル作成装置２０は、上述した表示部２２、操作部２３、レバー２４、カッタ３１に加えて、制御回路部２５と、各種情報を記憶する記憶部２６と、通信制御部２７と、カートリッジホルダ３２と、搬送手段としての搬送装置３３と、印字手段としての印字ヘッド３４と、を有する。

制御回路部２５は、図示しないＣＰＵ、ＲＡＭ、及びＲＯＭを備えている。この制御回路部２５は、ＲＡＭの一時記憶機能を利用しつつ、ＲＯＭに予め記憶された各種プログラムを実行する。これにより、制御回路部２５は、ラベル作成装置２０全体の制御を行う。また、制御回路部２５は、通信制御部２７を介して携帯端末１０と接続されており、携帯端末１０と各種データの送受が可能となっている。

記憶部２６は、記憶内容の追加及び消去が可能な、例えば、Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ（ＥＥＰＲＯＭ）等の不揮発性メモリから構成されている。この記憶部２６には、携帯端末１０から送信された印字データを格納可能となっている。

通信制御部２７は、上記のように無線を介して接続された携帯端末１０との間で行われる、情報通信の制御を行う。

カートリッジホルダ３２は、被印字テープ３５を供給可能なカートリッジ３６を着脱可能に構成されている。カートリッジ３６は、被印字テープ３５を図示しないリール部材の周りに巻回したテープロール３７（本来は渦巻き状であるが簡略化して同心円で図示している）を備えている。カートリッジホルダ３２は、セットしたカートリッジ３６のテープ色情報（テープ色とテープ幅）を取得し、制御回路部２５に送信する。

搬送装置３３は、印字ヘッド３４に対向して設けられている。この搬送装置３３は、制御回路部２５により制御されて、カートリッジホルダ３２に装着したカートリッジ３６から供給される、すなわち当該カートリッジ３６のテープロール３７から繰り出される、被印字テープ３５を搬送する。

印字ヘッド３４は、制御回路部２５により制御されて、テープロール３７から繰り出され搬送装置３３により搬送される被印字テープ３５に対し所望の印字を行う。

カッタ３１は、操作者によりレバー２４が操作されることで、印字ヘッド３４による印字が終了した被印字テープ３５を所定の長さに切断して印字付きの１つのラベルＬ（後述の図５等参照）とする。

上記ラベル作成装置２０によるラベルＬの作成手順について図４を用いて説明する。

図４において、このフローに示す処理は、携帯端末１０が、ラベル作成装置２０に対しラベル作成指示を出力することにより開始する（「ＳＴＡＲＴ」位置）。まずステップＳ１で、制御回路部２５は、搬送装置３３に制御信号を出力し、カートリッジホルダ３２に装着されたカートリッジ３６のテープロール３７からの被印字テープ３５の繰り出し、すなわち被印字テープ３５の搬送を開始させる。

そして、ステップＳ２に移り、制御回路部２５は、被印字テープ３５が所定量だけ搬送されたかどうかを判定する。なお、この所定量とは、例えば、被印字テープ３５の図示しない印字領域の先端が、印字ヘッド３４とほぼ対向する位置に到達するだけの搬送距離（いわゆる前余白用の搬送量）である。所定量搬送されるまでステップＳ２の判定が満たされず（ステップＳ２：Ｎｏ）、ループ待機し、所定量搬送されたらステップＳ２の判定が満たされて（ステップＳ２：Ｙｅｓ）、ステップＳ３に移る。

ステップＳ３では、制御回路部２５は、印字ヘッド３４に制御信号を出力し、搬送装置３３により搬送される被印字テープ３５の印字領域に対し、記憶部２６に格納された印字データの印字を開始させる。

その後、ステップＳ４で、制御回路部２５は、上記ステップＳ３で開始した印字ヘッド３４による被印字テープ３５の印字領域への印字データの印字がすべて完了しているかどうかを判定する。印字がすべて完了するまでステップＳ４の判定が満たされず（ステップＳ４：Ｎｏ）、ループ待機し、印字がすべて完了したらステップＳ４の判定が満たされて（ステップＳ４：Ｙｅｓ）、ステップＳ５に移る。

ステップＳ５では、制御回路部２５は、被印字テープ３５がさらに所定量（例えば、印字領域のすべてがカッタ３１を所定の長さ分越えるだけの搬送距離。いわゆる後余白用の搬送量）だけ搬送されたかどうかを判定する。所定量搬送されるまでステップＳ５の判定が満たされず（ステップＳ５：Ｎｏ）、ループ待機し、所定量搬送されたらステップＳ５の判定が満たされて（ステップＳ５：Ｙｅｓ）、ステップＳ６に移る。

ステップＳ６では、制御回路部２５は、搬送装置３３に制御信号を出力し、ステップＳ２で開始させたテープロール３７からの被印字テープ３５の繰り出し、すなわち被印字テープ３５の搬送を停止させる。

そして、ステップＳ７では、制御回路部２５は、表示部２２に表示信号を出力し、レバー２４を操作することにより被印字テープ３５を切断可能な状態である旨の表示を行わせる。その後、このフローに示す処理を終了する。上記表示に応じて操作者がレバー２４を操作すると、カッタ３１が作動して被印字テープ３５が切断される。このカッタ３１による切断によって、被印字テープ３５から印字ヘッド３４による印字が行われた部分が切り離されて、１つのラベルＬとなる。

上記のようにして作成されたラベルＬは、図５に示すように、幅Ｌｗ、長さＬｇを有する長方形状のラベルである。この例では、ラベルＬの表面には、印字データに対応した印字ＲＲ（「ＵＥＮＯ−ＴＥＣＨ−１０４５０」の文字列）が印刷されている。

以上の基本構成において、本実施形態の特徴は、図５に示すようなラベルＬをラベル作成装置２０が実際に作成するより前に、携帯端末１０が、ラベルＬと同等の仮想的なラベルの姿（以下適宜、「仮想ラベル」という）を、撮像部１２で撮影された背景物の画像とともに表示することによって、背景物に実際にラベルＬを貼るのが好ましいか否かの適合性の判定を携帯端末１０にさせるようにしたものである。以下、その詳細を順を追って説明する。

＜画面の表示状態の推移＞
まず、操作者による、表示部１３や操作部１４を介した適宜の操作入力により、図６に示す「レイアウト」画面が表示部１３の画面上に表示される。この「レイアウト」画面での表示部１３の画面上には、作業内容表示欄１３ａに「レイアウト」の文字が表示され、印字テープを模した印字データ記入欄１３ｂに入力文字等の印字データＲが表示され、操作ボタン欄１３ｃにタッチパネル機能によってスイッチ操作される「ラベル作成」ボタン及び「仮想貼り付け」ボタンが表示される。

そして、この「レイアウト」画面の表示状態で、操作者は、図６に示すように、印字データ記入欄１３ｂの欄内（逆に欄外でもよい）でタッチパネル機能を利用して指でなぞって筆記する等の操作により、所望のテキスト文字（図示の例では「ＵＥＮＯ−ＴＥＣＨ−１０４５０・・・」の文字列。末尾にはカーソルＣが表示されている）を入力し、印字データＲを設定する。

このとき、この印字データＲの内容（例えば、文字数）に対応して、制御回路部１５によってラベルＬの長さが設定される。なお、ラベルＬの幅については、予め固定的に定められているか、図示しない記入欄（又は別画面、ウィンドウ等でもよい）において上記と同様の操作者の操作によって設定される。この例では、ラベルＬの長さ寸法は３５［ｍｍ］、幅寸法は９．５［ｍｍ］となっており、その旨が印字データ記入欄１３ｂの欄外付近等の表示部１３の画面上に表示されている。このような編集操作により設定されたラベルＬの印字データＲの内容や、ラベルＬの長さ寸法・幅寸法は、記憶部１６に格納される。

上記編集操作の終了後、操作者により操作ボタン欄１３ｃの「ラベル作成」ボタンが押される（タッチされる）ことによって、上述のようにして生成された印字データＲが、通信制御部１８を介してラベル作成装置２０に送信される。これにより、図４に示したフローが実行され、ラベル作成装置２０によって、図５に示したような、印字データＲに対応した印字ＲＲが印刷されたラベルＬが作成される。

一方、上記編集操作の終了後、操作者は、操作ボタン欄１３ｃの「仮想貼り付け」ボタンを押す。これにより、表示部１３の画面が、図７に示す「仮想ラベル表示」画面に切り替えられる。この「仮想ラベル表示」画面での表示部１３の画面上には、作業内容表示欄１３ａに「仮想ラベル表示」の文字が表示され、仮想ラベルＬＩが表示され、操作ボタン欄１３ｃにタッチパネル機能によってスイッチ操作されるビデオアイコンが表示される。なお、ビデオアイコンは動画撮影を行うために開始・終了時に押される（タッチされる）ものである。この際、このビデオアイコンに替えて静止画撮影を行うためのカメラアイコンを表示してもよい、また、ビデオアイコンとカメラアイコンとを表示してもよい。

切り替えられた「仮想ラベル表示」画面においては、図６の「レイアウト」画面での編集操作を反映した仮想ラベルＬＩ、すなわち、実際に作成されるラベルＬのイメージ像として表示部１３の画面上の中央部に所定の大きさで表示される。この際、仮想ラベルＬＩは、この「仮想ラベル表示」画面において表示位置は固定である。そして、操作者は、携帯端末１０のカメラ機能を利用して、実際のラベルＬを貼り付けようと意図する貼り付け対象物、すなわち、適合性の判定の対象とする対象物（例えば、後述の電気ポットＰ）を、撮像部１２の視野に入る位置に配置し、操作ボタン欄１３ｃのビデオアイコンを押す。これにより、撮像部１２による貼り付け対象物の動画撮影が開始される。

図８は、このようにして動画撮影が開始された後の表示部１３の表示状態の一例を表している。例えば、図８（ａ）に示すように、撮像部１２により貼り付け対象物（例えば、電気ポットＰ）を対象として撮影すると、図８（ｂ）に示すように、撮影された実画像（以下適宜、単に「対象物画像ＰＩ」という）が、仮想ラベルＬＩの背景として仮想ラベルＬＩと重畳するように「貼り付け位置設定（探索）」画面が表示される。なお、撮影中は、操作ボタン欄１３ｃのビデオアイコンの近傍に、録画中であることを報知する「ＲＥＣ」マークが表示される。なお、録画中であることが認識できれば報知態様は任意である。

そして、操作者が携帯端末１０を手で持って貼り付け対象物との位置関係を変えることにより、表示部１３の画面上に表示される対象物画像ＰＩの位置や大きさもリアルタイムで変化するが、仮想ラベルＬＩは、引き続き中央部での所定の大きさでの固定的な表示が維持される。これにより、携帯端末１０の制御回路部１５は、対象物画像ＰＩと仮想ラベルＬＩとの相対位置関係を考慮して、「この対象物のこの場所になら作成したラベルＬを貼り付けるのが好ましい（目立つ・目立たない）」との適合性の判定を、対象物画像ＰＩに仮想ラベルＬＩを仮想貼り付けによって置き換えて適合性を判定することができる。

この際、表示部１３の画面上には、生成した仮想ラベルＬＩの文字の色やテープ色の変更が可能となるように、テープ色と文字色とをペアとした複数のカラー選択アイコンＡＣが表示される。なお、カラー選択アイコンＡＣは、予め設定した文字色とテープ色とをペアとしたものである。カラー選択アイコンＡＣ、操作者が見た目で選択が可能となるようにしている。例えば、左側にテープ色のカラー、右側に文字色のカラー、を一覧形式で表示部１３に表示している。なお、このカラー選択アイコンＡＣを表示部１３に表示させるためのアイコン情報はアプリケーションに含ませることができる。この際、携帯端末１０は、例えば、アプリケーションの更新情報の一部としてラベル作成装置２０から取得してもよい。また、携帯端末１０は、例えば、ラベル作成装置２０に対してカートリッジホルダ３２にセットしたカートリッジ３６の種類をカートリッジホルダ３２で識別させたうえで現在のテープ色情報（テープ色とテープ幅）を取得してもよい。これにより、携帯端末１０は、表示部１３のカラー選択アイコンＡＣの表示のうち、現在装着中のテープ色に対応したアイコン表示を他のアイコン表示と異ならせる（例えば、大きくする）などにより操作者に認識させることができる。このように、携帯端末の１０の制御回路部１５は、例えば、仮想ラベルＬＩのテープ色及び文字色に対して、撮影した対象物画像ＰＩの色等との相性に基づいて、ラベルＬを対象物に貼り付けるのが好ましいか否かの適合性を判定し、少なくとも、好ましいとの判定結果を得たときに、その旨を報知する（詳細は後述する）。

このような基本構成において、印刷するラベルＬが印字データＲとしてできあがっており、印刷する文字や図形等の内容と被印字テープ３５の色やサイズといった姿外観が決まっているときに、操作者が、カメラ付きスマートフォン等の携帯端末１０で撮影しながら移動し、撮影した背景画像にラベルＬの仮想画像（仮想ラベルＬＩ）をリアルタイムに重ねて表示することによって、ラベルＬを貼るのに一番適する部位を探してまわるシミュレーションを可能としたものである。これにより、刻々と変わる背景画像の色情報とラベルの色情報とを対比して、適合性が高いと制御回路部１５が判定（若しくは、適合性の高低を判定）した場合、その旨のメッセージＭが表示されるか、音声か、振動で操作者に報知することにより、ラベルを貼るのに最もふさわしい場所を探し出すことができ、ユーザにとっての利便性を向上することができるようにしたものである。

制御回路部１５は、例えば、記憶部１６にカラーコーディネートの適合性を示すサンプルデータをテーブル方式等で記憶しており、その記憶したサンプルデータを利用して、仮想ラベルＬＩと対象物画像ＰＩとの適合性を判定することができる。なお、対象物の色合いは、撮像部１２に設けた２次元のカラー撮像素子（ＣＣＤ）によって認識することができる。

＜制御内容＞
上記のような表示内容（シミュレーション）を実行するために、制御回路部１５（詳細には上記ＣＰＵ）が実行する制御内容を図９のフロー図を用いて説明する。

図９において、まずステップＳ１１で、制御回路部１５は、表示部１３に表示信号を出力し、操作編集用の画面としての「レイアウト」画面を表示（図６参照）させたうえで、ラベルＬを作成又は編集するための操作者による操作入力内容に応じて印字データＲを取得する。その後、前述の「仮想貼り付け」ボタンの操作に対応して、ステップＳ１２に移る。なお、操作者によるラベルＬの作成又は編集を行わない場合、すなわち、既に作成済みの印字データＲを用いる場合には、その印字データＲを記憶部１６から取得するだけでよい。また、ラベルＬの印字ＲＲ等が固定的に定まっている場合（テンプレート等を利用）、或は、他の装置を用いて作成・編集が行われる場合等においては、このステップＳ１１における作成・編集操作に関連する制御回路部１５のルーチンは省略され、例えば、現在のテープ色情報を含む印字データＲを取得する。なお、このステップＳ１１が各請求項記載の編集受付手順に相当する。

ステップＳ１２では、制御回路部１５は、ステップＳ１１で取得した現在のテープ色情報を含む印字データＲに基づき、ラベルＬのイメージ像に対応する仮想ラベルＬＩを表示部１３の画面上に表示させるための仮想画像データを生成してステップＳ１３に移る。なお、生成した仮想画像データは表示部１３に出力され、表示部１３の画面において仮想ラベルＬＩが表示される（図７参照）。なお、このステップＳ１２が各請求項記載の仮想画像生成手順に相当する。

ステップＳ１３では、制御回路部１５は、操作者が撮像部１２で撮影した対象物（電気ポットＰ）を含む所望の視野の実画像データ（対象物画像ＰＩの画像データを含む）を取得する。このステップＳ１３が、各請求項記載の実画像取得手順を構成する。その後、ステップＳ１４に移る。

ステップＳ１４では、制御回路部１５は、ステップＳ１２で生成した仮想画像データとステップＳ１３で取得した実画像データとを合成して合成画像データを生成する。このステップＳ１４が、各請求項記載の合成画像生成手順を構成する。その後、ステップＳ１５に移る。

ステップＳ１５では、制御回路部１５は、ステップＳ１４で生成した合成画像データを表示部１３に出力し、表示部１３の画面上において仮想ラベルＬＩと対象物画像ＰＩとを重畳して表示させる（図８参照）。なお、このステップＳ１５が各請求項記載の重畳画像生成手順及び合成画像出力手順に相当する。

そして、ステップＳ１６に移り、制御回路部１５は、操作者の携帯端末１０の操作によって、適合性の判定を制御回路部１５で判定させる際のモード設定を受け付けるとともに、受け付けたモードに応じた適合性判定とするための条件の少なくとも一部とする。なお、このステップＳ１６が各請求項記載の適合性選択手順に相当する。

例えば、制御回路部１５が公知の画像認識処理機能を備えている場合には、上記ステップＳ１３において取得した実画像データを解析し、輪郭、縁部、凹凸部、隅部、黒色部等の他の部位とは異なる特徴をもつ少なくとも２点を抽出して特徴点を設定する。この例では、対象物画像ＰＩのうち、電気ポットＰの取っ手部分の２点を特徴点として設定する（図８参照）。なお、この特徴点についても、上記同様、表示部１３の画面上の適宜の操作によって操作者が任意に所望の位置に行えるようにしてもよい。

そして、ステップＳ１７に移り、制御回路部１５は、ステップＳ１６で設定したモードに応じた条件に基づいて、ステップＳ１２で生成した仮想ラベルＬＩの仮想画像データと、ステップＳ１３で取得した実画像データとに基づき、貼り付け対象物の外観とラベルＬの外観とが所望の適合性を満たすか否かを判定する。制御回路部１５は、所望の適合性を満たすと判定した場合には、ステップＳ１８に移る。一方、制御回路部１５は、所望の適合性を満たすと判定しなかった場合には、適合性を満たすと判定するまでこのルーチンを繰り返す。ただし、制御回路部１５は、操作者がこの適合性判定を強制的に終了させる操作を行った場合、或は、所定回数以上満たすと判定しなかった場合、このルーチンを終了する。なお、所望の適合性を満たすか否かは、動画撮影の場合には操作者の所定の判定開始操作をトリガーとして判定を行う。この際、動画撮影の場合にはリアルタイムで常に適合性の判定を行っていてもよい。ここで、制御回路部１５は、実画像データの色情報と印字データのラベルを含む色情報とを抽出し、これら２つの色情報の適合性（ラベルＬを背景の壁や物に対しくっきり目立たせたいモードの場合はそのような組合せになっているか、ラベルＬを背景の壁や物に埋没させたいモードの場合はそのような組合せになっているか）が刻々とＣＰＵによって演算又は比較することで判定が可能である。なお、このステップＳ１７が各請求項記載の判定手順に相当する。

そして、ステップＳ１８に移り、制御回路部１５は、所望の適合性を満たしているとして、操作者に報知を行って、このルーチンを終了する。なお、報知の手法としては、表示部１３の表示画面上に、その旨のメッセージＭを表示するのでもよいし、音声の目移動等でもよい。具体的には、適合性に係わる判定結果があるしきい値以上となったことにより、「このラベルを貼るべきベストの場所はここ！」と見なされ、その時点で直ちにスマホ画面中に「Ｔｈｉｓ ｉｓ ｔｈｅ ｂｅｓｔ ｐｌａｃｅ ｆｏｒ ｙｏｕｒ ｌａｂｅｌ」などと表示されるか、ラベル仮想画像が点滅表示するか、音声で報知されるか、バイブレーションで報知される。なお、このステップＳ１８が各請求項記載の報知手順に相当する。なお、ステップＳ１７で適合性を満たしていると判定されなかった場合においても、逐次、ここには適さないラベルＬである旨のメッセージ等を報知することも可能である。

これによって、操作者は、ラベルを貼るべき最適な場所を認識することができる。この際、仮想ラベルＬＩと対象物との適合性の判定には、背景、すなわち、貼り付け対象物の色として明暗に伴う色変化を含ませることができる。また、ラベルＬの色は、主に被印字テープ３５の色に加え、ラベルＬに印字形成されるインクの色を考慮してもよい。判定方法の色情報としてはＲＧＢ値を用いて計算する。この際、適合性の判定には、単なる色合いだけでなく、時間帯や季節等に応じた色合いで判定させることも可能である。これにより、例えば、ホテルのモーニングビュッフェに出す際の調理内容のラベルと、同じ調理物でも夜に出す場合のラベルと、で好感度の色合いは変わってくる。したがって、判定基準にはこのような条件を含ませてもよい。

さらに、適合性の判定には、ラベルＬの利用目的、例えば、背景に対してラベルをくっきりと目立たせたい場合と、逆に、なるべく目立たないようにラベルを背景に対し埋没させたい場合、とを想定することができる。例えば、印字の内容が「傘の忘れ注意！」等の文字であった場合、テープの色を青とすると、その青に見合った対象物を探すことによって、場所だけでなく目的に応じたイメージを含む適合性を判定することができる。

ここで、背景に対してラベルをくっきり目立たせたい場合には、背景の色（ＲＧＢ値）とテープの色（ＲＧＢ値）とが、かなり大きめに設定した所定のしきい値以上であるか否かによって的お剛性を判定することができる。これとは逆に、なるべく目立たないようにラベルＬを背景に対し埋没させたい場合には、背景の色（ＲＧＢ値）とテープの色（ＲＧＢ値）とが、所定の範囲（例えば、０に近い所定のしきい値以上でかつそれよりは大きいがかなり小さめのしきい値以下）であるか否かによって判定することができる。なお、上述したカラーコーディネートの組み合わせによって判定してもよい。したがって、このような適合性の判定は、作成済みの印字データＲ全般、すなわち、「ラベルＬに合う背景探し」だけでなく、「背景に合うラベル探し」の技術においても適用可能である。

さらに、目立つ・目立たない適合性の判定には、貼り付け対象物とラベルＬとの相対的な大きさも要因とすることができる。すなわち、同じ大きさのラベルＬであっても、狭い場所に貼る場合は目立ち、広い場所に貼る場合には目立ちにくくなる。したがって、このような対象物とラベルＬとの面積比等を判定条件に含ませることが可能である。

なお、測距部１７は、例えば、光センサー等の公知の距離測定の手法により携帯端末１０と対象物との間の距離を測定し、画角により対象物の外形寸法、凹凸形状等の実際の大きさを取得する。これにより、制御回路部１５は、取得した対象物の外形寸法等に応じて、仮想ラベルＬＩを変倍して表示させてもよい。

このように、携帯端末１０は、仮想画像データを生成する仮想画像生成手順（ステップＳ１２）と、撮像部１２により撮影された、貼り付け対象物を含む所望の視野の実画像データを取得する実画像取得手順（ステップＳ１３）と、実画像取得手順で取得した実画像データと仮想画像生成手順で生成した仮想画像データとを合成して合成画像データを生成する合成画像生成手順（ステップＳ１４）と、合成画像生成手順で生成された合成画像データを表示部１３に出力し、表示部１３において所望の視野の画像中に仮想ラベルＬＩを重畳させて表示する合成画像出力手順（ステップＳ１５）と、実画像取得手順で取得した実画像データと仮想画像生成手順で生成した仮想画像データとに基づき、貼り付け対象物の外観とラベルＬの外観とが所望の適合性を満たすか否かを判定する判定手順（ステップＳ１７）と、判定手順で適合性を満たすと判定された場合に、所定の適合報知（表示部１３での表示；音声報知；振動報知）を行う報知手順（ステップＳ１８）と、を実行するものである。

したがって、仮想ラベル表示処理プログラムは、操作者が作成する予定のラベルＬを貼るのに最もふさわしい場所を探すのに用いられる。すなわち、仮想ラベル表示処理プログラムが携帯端末１０の制御回路部１５で実行されると、まず仮想画像データが生成される（仮想画像生成手順）。このデータは、例えば適宜の編集画面において操作者が表示部１３のタッチパネルを介し編集操作を行った結果を反映したものでもよいし、予め完成された状態のラベルＬの印字データであってもよい。そして操作者が携帯端末１０の撮像部１２により、貼り付け対象物を含む所望の視野を撮影すると、その撮影結果に対応した実画像データが取得される（実画像取得手順）。これによって、仮想画像データと実画像データとが合成され（合成画像生成手順）、その合成画像データが表示部１３に出力される（合成画像出力手順）。これにより、表示部１３において、所望の視野の画像中に仮想ラベルＬＩが重なった状態で表示されるので、操作者は、視野画像中の貼り付け対象物に対しラベルＬが貼り付けられたときの仮想外観態様を、視覚的に容易にイメージすることができる。

ここで、携帯端末１０においては、このような貼り付け対象物の外観と、それに貼られるラベルＬの外観との、所望の適合性を判定することができる。適合性の例としては、ラベルＬを貼り付け対象物に貼り付けたときにラベルＬがくっきりと浮かびあがって見える（くっきり感としての明瞭度）か否か、あるいは逆に、ラベルＬを貼り付け対象物に貼り付けたときにラベルＬがほどよく埋没して見える（目立たない感としての埋没度）か否か、等が考えられる。実画像データと仮想画像データとに基づき、判定手順において、所望の適合性を満たすか否かが判定される。そして、判定が満たされた場合には、報知手順において、操作者に対し、適合性を満たす旨の適合報知が行われる。

以上のような処理が行われることにより、操作者は、作成予定の仮想ラベルＬＩを表示部１３に表示させた状態で、携帯端末１０を動かしたり手に持って移動して種々の場所を撮像してまわることで、その「ラベルＬを貼るのに最もふさわしい場所を探し出すことができる。この結果、操作者にとっての利便性を向上することができる。

この際、表示部１３における仮想ラベルＬＩの表示位置は、視野の変動にかかわらず略固定となる、合成画像データを生成することにより、操作者が携帯端末１０を動かしたり手に持って移動しつつ撮像して、表示部１３に表示されている視野が刻々と変化した場合であっても、仮想ラベルＬＩは変わることなく表示部１３中の同一位置に表示させることができる。

なお、図８（ｂ）の３か所の黒点で示すように、対象物画像ＰＩと仮想ラベルＬＩとの間に三角形の位置相関を設定すれば、ある固定的な対応関係を維持することが可能となる。これにより、撮像部１２の撮像する視野が変動して表示部１３で表示される対象物画像ＰＩが動いたり大きさが変わったとしても、それに追従するように仮想ラベルＬＩを動かしたり大きさを変えることができる。この結果、現実世界では貼り付け対象物（この例では電気ポットＰ）にまだラベルＬが貼り付けられていない状態にもかかわらず、表示部１３の表示において、あたかもラベルＬを対象物に貼り付けたかのような状態を仮想的に実現することができる。これにより、実際にラベルＬを対象物を貼り付けるより前に、貼り付けた時の態様を視覚的にシミュレーションすることができる。また、視野を変えた種々の状態で仮想ラベルＬＩをシミュレーションできるので、操作者はより実際の貼り付け状態に近い感覚を得ることができ、利便性を向上することができる。

また、実画像データのうち所望の視野よりも狭くかつ貼り付け対象物を含む所定範囲（貼り付け部位）の色情報と、仮想画像データの色情報とに基づき、適合性を判定することにより、例えば色情報としてのＲＧＢ値等を用いることで、数値的な演算処理によって適合性の判定を行うことができる。

所望の適合性として、少なくとも、ラベルＬを貼り付け対象物に貼り付けたときのラベルＬの明瞭度（くっきり感）が所定のしきい値以上であるか否かを判定することにより、操作者が作成予定のラベルＬを貼ったときに最もくっきりと見える、最適な場所を探し出すことができる。

逆に、所望の適合性として、少なくとも、ラベルＬを貼り付け対象物に貼り付けたときのラベルＬの埋没度（目立たない感）が所定の範囲内であるか否かを判定することにより、操作者が作成予定のラベルＬを貼ったときにほどよく埋没する、最適な場所を探し出すことができる。

このように、制御回路部１５に対し、表示部１３のタッチパネルを介した、所望の適合性の内容の選択入力を受け付ける適合性選択手順（ステップＳ１６）をさらに実行させ、貼り付け対象物の外観とラベルＬの外観とが、適合性選択手順で受け付けた所望の適合性を満たすか否かを判定することにより、操作者は、例えば、作成予定のラベルＬを貼ったときに最もくっきりと見える場所を探すのか、あるいは、作成予定のラベルＬを貼ったときにほどよく埋没する場所を探すのか、を選択入力することができる。

制御回路部１５は、実画像データに基づく貼り付け対象物の外観に基づき、ラベルＬの外観サイズを変倍した態様の仮想画像データと当該実画像データとを合成して重畳させた、合成画像データを生成することにより、例えば貼り付け対象物の色や形状等により、所望の適合性（くっきり目立たせたい、若しくは、ほどよく埋没させたい）を満たすためにラベルＬを変倍（拡大又は縮小）したほうがベターである場合に、その旨を操作者に対し視覚的に認識させることができる。

しかも、制御回路部１５に対し、さらに、ラベルＬの印字内容に対する編集操作を受け付ける編集受付手順（ステップＳ１１）を実行させ、編集受付手順で受け付けた編集操作を反映した仮想画像データを生成することにより、操作者がラベルＬにおいて印字表記するために行った編集操作結果を反映した形で、表示部１３中に仮想ラベルＬＩを表示することができる。

また、本実施形態では特に、表示部１３に表示したレイアウト画面（図６参照）において、操作者は、編集操作を行うことで、印字ＲＲ等のラベルＬの態様を所望に設定することができる。この結果、のように操作者が所望に印字ＲＲ等を設定したラベルＬに対応した仮想ラベルＬＩを、（実際にラベルＬを作成する前に）仮想的に対象物に貼り付けた状態で表示させることができる。

なお、以上においては、撮像部１２により撮像しつつ、貼り付け対象物（の例では電気ポットＰ）に対して携帯端末１０で撮影することによって、予め作成したラベルＬのための印字データＲに基づく仮想ラベルＬＩを生成し、その仮想ラベルＬＩを貼るのにふさわしい場所を探すことを例にとって説明した（図８参照）。

しかしながらこれに限られず、例えば、予め作成した印字データＲは一つに限定されるものではない。すなわち、印字する内容は全く同じであっても、ラベルＬのサイズや色、文字の色等を変えて複数種類のラベルＬのための印字データＲを作成する場合がある。このような場合、ラベルＬを貼りたい場所が既に決まっているときに、操作者が、携帯端末１０でその場所を撮影すると、表示部１３の画面上に表示した撮影背景画像の脇に、上述したカラー選択アイコンＡＣに替えて、すでに作成した印字データＲに基づく仮想ラベルＬＩを一覧表示される。そして、そのうちの１つ選択すると、その選択した仮想ラベルＬＩが対象物画像ＰＩを背景としてリアルタイムに重ねて表示される。別のテープを選択すると、選択した仮想ラベルＬＩと入れ替わる。これを繰り返すことで、その場所に貼るのに一番適したテープ色の仮想ラベルＬＩとの適合性を制御回路部１５に判定させてもよい。

具体的に、操作者がラベルＬを貼る場所を先に決定した後で、既に作成したどの色のラベルＬが適合するかの一例を説明する。

この場合、携帯端末１０により、ラベルＬを貼る場所（壁や物や装置など）を撮影し、その撮影画像を表示部１３の画面上に表示させる。

その後、操作者が携帯端末１０を適宜に操作することで、記憶部１６に予め記憶していた複数種類のラベルＬに対する仮想ラベルＬＩが、表示部１３の画面上に一覧表示される（対象物画像ＰＩとは重ならず別枠で表示するが、重なって表示しても良い）。

そして、操作者が、表示部１３の画面上に一覧表示したいずれか１つのラベルＬの見本を選択することにより、制御回路部１５が対応した仮想ラベルＬＩを画面上の中央に表示切り替えする。これにより、あたかも対象物画像ＰＩにラベルＬが貼られているかのような重なったバーチャル表示がリアルタイムで行われると同時に、適合性を判定することができる。

なお、図３に示すブロック図中に示す矢印は信号の流れの一例を示すものであり、信号の流れ方向を限定するものではない。

また、図４、図９に示すフロー図のルーチンは本発明を上記ルーチンに限定するものではなく、発明の趣旨及び技術的思想を逸脱しない範囲内で手順の追加・削除又は順番の変更等をしてもよい。例えば、ステップＳ１６に示した適法性判定のための条件設定（適合性選択手順）は、ステップＳ１１におけるラベルＬの作成・編集と同時、或は、その直後に受け付けるようにしてもよい。すなわち、制御回路部１５によって適合性を判定する前のルーチンであって印字データＲを取得した後であればどのタイミングで行ってもよい。

また、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用しても良い。また、携帯端末１０は。カメラ機能、表示機能、通信機能、を有していて携帯性に優れたものであれば、上述したスマートフォンに限らず、例えば、タブレット端末は勿論、デジタルカメラやデジタルビデオカメラ等でもよい。さらに、図１０に示すように、スマートフォン、デジタルカメラ、デジタルビデオカメラ、などの表示部１３のタッチパネルを操作部１４として用いることができるため、ラベル作成装置２０の表示部２２並びに操作部２３を廃止（若しくは省略）することができる。

その他、一々例示はしないが、本発明は、その趣旨を逸脱しない範囲内において、種々の変更が加えられて実施されるものである。

１０ 操作端末
１２ 撮像部（撮像手段）
１３ 表示部（表示手段・操作手段）
１５ 制御回路部（演算手段）
２０ ラベル作成装置

Claims (5)

1. 貼り付け対象物に貼り付け可能なラベルを作成するラベル作成装置を操作するための、撮像部とタッチパネル機能を備えた表示部と演算部とを備えた携帯端末の前記演算部に対し、
   印刷テープを模した印刷データと、前記タッチパネル機能によってスイッチ操作される操作ボタンとしての、前記ラベルの作成を指示可能なラベル作成ボタン及び仮想貼り付けボタンと、を表示するレイアウト画面を、前記表示部に表示するレイアウト画面表示ステップと、
   前記ラベルの仮想画像を前記表示部に表示させるための仮想画像データを生成する仮想画像生成ステップと、
   前記仮想画像生成ステップで生成した前記仮想画像データを前記表示部に出力し、当該表示部に前記ラベルの前記仮想画像を含み、かつ、前記タッチパネル機能によってスイッチ操作される操作ボタンとしての、前記撮像部による動画撮影の開始を指示可能な操作アイコンをさらに含む、仮想ラベル表示画面を当該表示部に表示する、仮想画像表示ステップと、
   前記操作アイコンにより動画撮影の開始が指示されたことを契機に、前記撮像部により撮影された、前記貼り付け対象物を含む所望の視野の実画像データを取得する実画像取得ステップと、
   前記実画像取得ステップで取得した前記実画像データと前記仮想画像生成ステップで生成した前記仮想画像データとを合成して合成画像データを生成する合成画像生成ステップと、
   前記合成画像生成ステップで生成された前記合成画像データを前記表示部に出力し、当該表示部において前記所望の視野の画像中に前記ラベルの仮想画像を重畳させ、かつ、前記タッチパネル機能によってスイッチ操作される操作ボタンとしての、前記撮像部による動画撮影の終了を指示可能な操作アイコンを操作ボタン欄にさらに含む、貼り付け位置画面を表示する合成画像出力ステップと、
   を実行させるための仮想ラベル表示処理プログラムであって、
   前記表示部は、
   前記レイアウト画面における前記仮想貼り付けボタンの操作により、当該レイアウト画面の表示状態から、前記仮想ラベル表示画面の表示状態に切り替えられ、
   前記仮想ラベル表示画面における前記操作アイコンの操作により、当該仮想ラベル表示画面の表示状態から、前記貼り付け位置画面の表示状態に切り替えられ、
   前記貼り付け位置画面においては、前記携帯端末と前記貼り付け対象物との位置関係が変わるのに応じて、前記所望の視野の画像中の前記貼り付け対象物の実画像の位置及び大きさがリアルタイムで変化しても、前記ラベルの前記仮想画像は、前記操作ボタン欄とともに、所定の大きさで表示されることを特徴とする仮想ラベル表示処理プログラム。
2. 前記仮想画像表示ステップで表示される前記仮想ラベル表示画面には、前記所定の大きさの前記ラベルの前記仮想画像が含まれており、
   前記合成画像出力ステップで表示される前記貼り付け位置画面には、前記所望の視野の画像中に前記所定の大きさの前記ラベルの仮想画像が重畳されている
   ことを特徴とする請求項１記載の仮想ラベル表示処理プログラム。
3. 前記操作アイコンにより動画撮影の開始が指示された後に前記表示部に表示される前記貼り付け位置画面において、前記撮像部による撮影中には、前記操作ボタン欄に、当該撮影中であることを表すマークが表示される
   ことを特徴とする請求項１又は請求項２記載の仮想ラベル表示処理プログラム。
4. 前記操作アイコンにより動画撮影の開始が指示された後に前記表示部に表示される前記貼り付け位置画面においては、上下方向中央部に、前記ラベルの前記仮想画像が含まれる
   ことを特徴とする請求項１乃至請求項３のいずれか１項記載の仮想ラベル表示処理プログラム。
5. 前記仮想貼り付けボタンが操作された後に前記表示部に表示される前記仮想ラベル表示画面においては、上下方向中央部に、前記ラベルの前記仮想画像が含まれる
   ことを特徴とする請求項１乃至請求項４のいずれか１項記載の仮想ラベル表示処理プログラム。

Images