JP2018056894A - Image editing program and image editing device - Google Patents

Image editing program and image editing device Download PDF

Info

Publication number
JP2018056894A
JP2018056894A JP2016193361A JP2016193361A JP2018056894A JP 2018056894 A JP2018056894 A JP 2018056894A JP 2016193361 A JP2016193361 A JP 2016193361A JP 2016193361 A JP2016193361 A JP 2016193361A JP 2018056894 A JP2018056894 A JP 2018056894A
Authority
JP
Japan
Prior art keywords
image
label
target
captured
editing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016193361A
Other languages
Japanese (ja)
Other versions
JP6766563B2 (en
Inventor
智基 宮下
Tomomoto Miyashita
智基 宮下
大河内 肇
Hajime Okochi
肇 大河内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brother Industries Ltd
Original Assignee
Brother Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Industries Ltd filed Critical Brother Industries Ltd
Priority to JP2016193361A priority Critical patent/JP6766563B2/en
Publication of JP2018056894A publication Critical patent/JP2018056894A/en
Application granted granted Critical
Publication of JP6766563B2 publication Critical patent/JP6766563B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide an image editing program and an image editing device that can acquire a label image corresponding to a printing mode of a label while suppressing an operation load of a user even when for example the label is attached to an object.SOLUTION: A CPU acquires (S51) a capture image being an imaged image being imaged at a time when a capture operation is performed of the imaged images which are images within an imaged range being imaged by a camera. The CPU acquires (S53-S63) a target editing image being a label editing image corresponding to a label imaged image from an HDD or a server storing at least one label editing image when the label imaged image being the image of a label is included in the acquired capture image. The CPU displays the acquired target editing image on a touch panel.SELECTED DRAWING: Figure 5

Description

本発明は、ラベルの印刷態様を示すラベル画像を編集するための画像編集プログラム及び画像編集装置に関する。   The present invention relates to an image editing program and an image editing apparatus for editing a label image indicating a printing mode of a label.

従来、ラベルの印刷態様を示すラベル画像を編集するための画像編集装置が知られている。例えば、特許文献1に開示のレイアウト編集装置では、ユーザは携帯端末のタッチパネルを操作することで、ラベル画像を編集できる。なお、特許文献2に開示の情報処理装置では、画像読取装置で用紙を読み込んで得られた用紙画像と、印刷するビットマップ形式の画像データを合成して印刷プレビュー画面を表示することで、色や模様の付いた用紙に実際に印刷する前に印刷結果を予想できるようにしている。   2. Description of the Related Art Conventionally, an image editing apparatus for editing a label image indicating a label printing mode is known. For example, in the layout editing apparatus disclosed in Patent Document 1, a user can edit a label image by operating a touch panel of a mobile terminal. Note that the information processing apparatus disclosed in Patent Document 2 displays a print preview screen by combining a paper image obtained by reading paper with an image reading apparatus and bitmap-format image data to be printed. The print result can be predicted before actually printing on paper with a pattern.

特開2013−37393号公報JP 2013-37393 A 特許第4429097号Japanese Patent No. 4429097

しかしながら、対象物に貼り付けられているラベルは、画像読取装置で読み込むことは困難である。従って、従来の画像編集装置では、例えば対象物に貼り付けられているラベルの印刷態様に対応するラベル画像を作成したい場合、そのラベル画像のデータファイルを記憶装置から検索して読み出すか、あるいはそのラベル画像を再度作成する必要があった。   However, it is difficult to read a label attached to an object with an image reading apparatus. Therefore, in a conventional image editing apparatus, for example, when it is desired to create a label image corresponding to the printing mode of a label attached to an object, the data file of the label image is retrieved from the storage device and read out, or It was necessary to create the label image again.

本発明の目的は、例えばラベルが対象物に貼り付けられている場合でも、そのラベルの印刷態様に対応するラベル画像を、ユーザの操作負担を抑制しつつ取得できる画像編集プログラム及び画像編集装置を提供することである。   An object of the present invention is to provide an image editing program and an image editing apparatus capable of acquiring a label image corresponding to a printing mode of a label while suppressing a user's operation burden even when the label is attached to an object. Is to provide.

本発明の第一態様に係る画像編集プログラムは、ラベルの印刷態様を示すラベル編集画像を表示可能な表示部と、所定の撮影範囲を撮影可能な撮影部とを備えたコンピュータを、前記撮影部によって撮影されている前記撮影範囲の画像である撮影画像のうち、所定指示を受けた時点で撮影されている前記撮影画像である対象撮影画像を取得する第一取得手段、取得された前記対象撮影画像にラベルの画像であるラベル撮影画像が含まれている場合、前記ラベル撮影画像に対応する前記ラベル編集画像である対象編集画像を、少なくとも一つの前記ラベル編集画像を記憶する記憶手段から取得する第二取得手段、及び取得された前記対象編集画像を、前記表示部に表示させる表示制御手段、として機能させる。   The image editing program according to the first aspect of the present invention includes a computer including a display unit capable of displaying a label-edited image indicating a label printing mode and a photographing unit capable of photographing a predetermined photographing range. First acquisition means for acquiring a target captured image that is the captured image captured at the time when a predetermined instruction is received among captured images that are images of the imaging range captured by When a label photographed image that is a label image is included in the image, a target edited image that is the label edited image corresponding to the label photographed image is acquired from a storage unit that stores at least one of the label edited images. A second acquisition unit and a display control unit for displaying the acquired target edit image on the display unit are caused to function.

本発明の第二態様に係る画像編集装置は、ラベルの印刷態様を示すラベル編集画像を表示可能な表示部と、所定の撮影範囲を撮影可能な撮影部と、前記撮影部によって撮影されている前記撮影範囲の画像である撮影画像のうち、所定指示を受けた時点で撮影されている前記撮影画像である対象撮影画像を取得する第一取得手段と、取得された前記対象撮影画像にラベルの画像であるラベル撮影画像が含まれている場合、前記ラベル撮影画像に対応する前記ラベル編集画像である対象編集画像を、少なくとも一つの前記ラベル編集画像を記憶する記憶手段から取得する第二取得手段と、取得された前記対象編集画像を、前記表示部に表示させる表示制御手段とを備える。   An image editing apparatus according to a second aspect of the present invention is photographed by a display unit capable of displaying a label-edited image indicating a label printing mode, a photographing unit capable of photographing a predetermined photographing range, and the photographing unit. A first acquisition unit that acquires a target captured image that is the captured image that is captured at the time when a predetermined instruction is received, among the captured images that are images of the captured range, and a label on the acquired captured target image. Second acquisition means for acquiring a target edit image that is the label edit image corresponding to the label shot image from a storage means that stores at least one of the label edit images when a label shot image that is an image is included And display control means for displaying the acquired target edit image on the display unit.

上記第一及び第二態様によれば、撮影部によって撮影されている撮影画像のうち、所定指示を受けた時点で撮影されている対象撮影画像が取得される。取得された対象撮影画像にラベル撮影画像が含まれている場合、ラベル撮影画像に対応する対象編集画像が記憶手段から取得される。取得された対象編集画像が、表示部に表示される。従って、例えばラベルが対象物に貼り付けられている場合でも、そのラベルの印刷態様に対応するラベル画像を、ユーザの操作負担を抑制しつつ取得できる。   According to the first and second aspects, among the captured images captured by the capturing unit, the target captured image captured at the time when the predetermined instruction is received is acquired. When a label photographed image is included in the acquired target photographed image, a target edit image corresponding to the label photographed image is obtained from the storage unit. The acquired target edit image is displayed on the display unit. Therefore, for example, even when a label is attached to an object, a label image corresponding to the printing mode of the label can be acquired while suppressing a user's operation burden.

印刷システム1の概略構成図である。1 is a schematic configuration diagram of a printing system 1. FIG. 印刷システムの電気的構成を示すブロック図である。1 is a block diagram illustrating an electrical configuration of a printing system. 画像編集処理のフローチャートである。It is a flowchart of an image editing process. 図3に続く画像編集処理のフローチャートである。It is a flowchart of the image edit process following FIG. ラベル特定処理のフローチャートである。It is a flowchart of a label specific process. 初期画面100の具体例である。It is a specific example of the initial screen 100. 候補選択画面110の具体例である。It is a specific example of a candidate selection screen 110. 固定モード編集画面130の第一具体例である。It is a 1st specific example of the fixed mode edit screen 130. FIG. ARモード編集画面140の第一具体例である。3 is a first specific example of an AR mode editing screen 140. FIG. 固定モード編集画面130の第二具体例である。It is a 2nd specific example of the fixed mode edit screen. ARモード編集画面140の第二具体例である。It is a 2nd example of the AR mode edit screen 140. FIG. 固定モード編集画面130の第三具体例である。It is a 3rd specific example of the fixed mode edit screen.

以下、本発明の一実施形態について、図面を参照して説明する。これらの図面は、本発明が採用しうる技術的特徴を説明するために用いられるものである。記載されている装置の構成、各種処理のフローチャート等は、それのみに限定する趣旨ではなく、単なる説明例である。   Hereinafter, an embodiment of the present invention will be described with reference to the drawings. These drawings are used to explain technical features that can be adopted by the present invention. The configuration of the apparatus, the flowcharts of various processes, and the like that are described are not intended to be limited to only that, but are merely illustrative examples.

図1を参照して、印刷システム1の概要を説明する。印刷システム1は、有線又は無線によって相互接続可能な印刷装置10及び携帯端末20を備える。本例では、印刷装置10及び携帯端末20が無線通信によって接続されている。印刷装置10は、長尺状の印刷媒体であるテープにキャラクタ(文字、記号、絵柄等)を印刷して、貼り付け可能なラベルを作成する小型のラベルプリンタである。携帯端末20は、ラベルの印刷態様を示すラベル画像を編集するために用いる小型のコンピュータ端末(一例として、スマートフォン)である。ラベル画像の編集は、ラベル画像の新規作成、表示内容変更、レイアウト変更等を含む概念である。   An overview of the printing system 1 will be described with reference to FIG. The printing system 1 includes a printing device 10 and a portable terminal 20 that can be interconnected by wire or wireless. In this example, the printing apparatus 10 and the mobile terminal 20 are connected by wireless communication. The printing apparatus 10 is a small-sized label printer that prints characters (characters, symbols, designs, etc.) on a tape that is a long print medium and creates a label that can be pasted. The portable terminal 20 is a small computer terminal (for example, a smartphone) used for editing a label image indicating a label printing mode. The label image editing is a concept including new label image creation, display content change, layout change, and the like.

携帯端末20では、ユーザがラベル画像を編集すると、そのラベル画像を印刷するための印刷データが生成されて、印刷装置10に対して送信される。印刷装置10では、携帯端末20から受信した印刷データに基づいて、テープへの印刷処理が行われて、ラベルが作成される。従って、ユーザは携帯端末20を操作することで、印刷装置10でラベルを作成することができる。   In the mobile terminal 20, when the user edits the label image, print data for printing the label image is generated and transmitted to the printing apparatus 10. The printing apparatus 10 performs a printing process on a tape based on the print data received from the mobile terminal 20 to create a label. Therefore, the user can create a label with the printing apparatus 10 by operating the mobile terminal 20.

図2を参照して、印刷システム1の電気的構成を説明する。印刷装置10は、印刷装置10の制御全体を司るCPU11を備えている。CPU11は、SRAM12、FLASH ROM13、EEPROM14、搬送ローラ15、印刷ヘッド16、操作キー17、ディスプレイ18、無線通信部19、及び図示外の有線接続I/Fと電気的に接続している。   The electrical configuration of the printing system 1 will be described with reference to FIG. The printing apparatus 10 includes a CPU 11 that controls the entire control of the printing apparatus 10. The CPU 11 is electrically connected to the SRAM 12, the FLASH ROM 13, the EEPROM 14, the transport roller 15, the print head 16, the operation key 17, the display 18, the wireless communication unit 19, and a wired connection I / F (not shown).

SRAM12には、タイマやカウンタ、一時的なデータが記憶される。FLASH ROM13には、CPU11の制御プログラムやBIOS、OS等が記憶される。EEPROM14には、パラメータや初期設定情報が記憶される。搬送ローラ15は、印刷装置10に装着されているテープカセット(図示外)に収納されているテープを搬送する。印刷ヘッド16は、搬送ローラ15によって搬送されるテープに印刷を行う。無線通信部19は、携帯端末20のような外部機器と無線通信するためのコントローラである。有線接続I/F(図示外)は、携帯端末20のような外部機器と有線で接続するためのインタフェースである。   The SRAM 12 stores a timer, a counter, and temporary data. The FLASH ROM 13 stores a control program for the CPU 11, BIOS, OS, and the like. The EEPROM 14 stores parameters and initial setting information. The transport roller 15 transports a tape stored in a tape cassette (not shown) mounted on the printing apparatus 10. The print head 16 performs printing on the tape transported by the transport roller 15. The wireless communication unit 19 is a controller for wireless communication with an external device such as the mobile terminal 20. The wired connection I / F (not shown) is an interface for connecting to an external device such as the mobile terminal 20 by wire.

携帯端末20は、CPU21、ROM22、RAM23、HDD24、無線通信部25、図示外の有線接続I/F、タッチパネル30、及びカメラ33と電気的に接続している。ROM22には、ブートプログラムやBIOS等が記憶される。RAM23には、タイマやカウンタ、一時的なデータが記憶される。HDD24には、各種のアプリケーションプログラムやOSが記憶される。後述する画像編集処理(図3〜図5参照)を実行するためのアプリケーションプログラム(以下、画像編集アプリケーション)や、画像編集アプリケーションによって使用される後述のラベル編集画像も、HDD24に記憶されている。   The mobile terminal 20 is electrically connected to the CPU 21, ROM 22, RAM 23, HDD 24, wireless communication unit 25, unillustrated wired connection I / F, touch panel 30, and camera 33. The ROM 22 stores a boot program, BIOS, and the like. The RAM 23 stores a timer, a counter, and temporary data. The HDD 24 stores various application programs and OS. An application program (hereinafter referred to as an image editing application) for executing an image editing process described later (see FIGS. 3 to 5) and a label edited image described later used by the image editing application are also stored in the HDD 24.

無線通信部25は、印刷装置10のような外部機器と無線通信するためのコントローラである。有線接続I/F(図示外)は、印刷装置10のような外部機器と有線で接続するためのインタフェースである。カメラ33は、携帯端末20の外部を撮影可能な公知の小型カメラであり、例えばCMOSカメラである。本実施形態では、カメラ33の撮影範囲は、携帯端末20の背面側にある。なお、カメラ33の設定情報(撮影範囲のサイズ、撮影画像の解像度、撮影画像の色調等)は、公知のようにユーザが任意に設定及び変更可能である。   The wireless communication unit 25 is a controller for performing wireless communication with an external device such as the printing apparatus 10. The wired connection I / F (not shown) is an interface for connecting to an external device such as the printing apparatus 10 by wire. The camera 33 is a known small camera capable of photographing the outside of the mobile terminal 20, for example, a CMOS camera. In the present embodiment, the shooting range of the camera 33 is on the back side of the mobile terminal 20. Note that setting information of the camera 33 (the size of the shooting range, the resolution of the shot image, the color tone of the shot image, etc.) can be arbitrarily set and changed by the user as is well known.

携帯端末20は、正面視で矩形状の本体部29(図1参照)を備える。本体部29の正面側には、外部物体の接触を検知可能な表示体であるタッチパネル30が設けられている。タッチパネル30は、矩形状の表示領域を有する。タッチパネル30は、画像を表示する表示パネル31上に、外部物体の接触を検知する略透明な感圧シート32が積層されている。CPU21は、感圧シート32で特定された外部物体の接触位置に基づいて、ユーザの入力操作を判別可能である。携帯端末20は、ユーザに対話形式で入力操作を行わせるユーザインターフェース機能を備えている。ユーザはタッチパネル30において、ラベルの印刷態様を示すラベル編集画像を対話形式で編集できる。ラベル編集画像は、ラベル画像のレイアウト、表示内容、サイズ等の設定情報を含む電子データである。   The mobile terminal 20 includes a main body 29 (see FIG. 1) that is rectangular when viewed from the front. On the front side of the main body 29, a touch panel 30 which is a display body capable of detecting contact with an external object is provided. The touch panel 30 has a rectangular display area. In the touch panel 30, a substantially transparent pressure sensitive sheet 32 that detects contact of an external object is laminated on a display panel 31 that displays an image. The CPU 21 can determine the user's input operation based on the contact position of the external object specified by the pressure sensitive sheet 32. The portable terminal 20 has a user interface function that allows the user to perform an input operation in an interactive manner. On the touch panel 30, the user can edit a label edit image showing a label printing mode in an interactive manner. The label edit image is electronic data including setting information such as the layout, display contents, and size of the label image.

図3〜図12を参照して、携帯端末20で実行される画像編集処理を説明する。画像編集処理(図3〜図5参照)は、携帯端末20で画像編集アプリケーションが起動されると、CPU21によって実行される。図3に示すように、画像編集処理では、まずCPU21は、撮影機能をオンに設定する(S1)。カメラ33は、撮影機能をオンに設定されている場合、予め設定されている撮影範囲を撮影する。次いでCPU21は、カメラ33の撮影画像を含む初期画面を、タッチパネル30に表示する(S3)。   With reference to FIGS. 3 to 12, an image editing process executed by the mobile terminal 20 will be described. The image editing process (see FIGS. 3 to 5) is executed by the CPU 21 when the image editing application is activated on the portable terminal 20. As shown in FIG. 3, in the image editing process, first, the CPU 21 sets the photographing function to ON (S1). The camera 33 shoots a preset shooting range when the shooting function is set to ON. Next, the CPU 21 displays an initial screen including an image captured by the camera 33 on the touch panel 30 (S3).

図6に示す例では、撮影機能がオンに設定されると(S1)、携帯端末20の背面側にある撮影範囲33Aが、カメラ33によって撮影される。本40の背表紙に貼り付けられているラベル50が、撮影範囲33Aに含まれている。ラベル50には、「CAUTION」のキャラクタが印刷されている。カメラ33の撮影画像は、ラベル撮影画像101及び背景画像102を含む。ラベル撮影画像101は、ラベル50を撮影した画像である。背景画像102は、撮影画像のうちでラベル撮影画像101以外の画像部分である。   In the example shown in FIG. 6, when the shooting function is set to ON (S <b> 1), the shooting range 33 </ b> A on the back side of the mobile terminal 20 is shot by the camera 33. A label 50 attached to the spine of the book 40 is included in the photographing range 33A. On the label 50, a character “CAUTION” is printed. The captured image of the camera 33 includes a label captured image 101 and a background image 102. The label photographed image 101 is an image obtained by photographing the label 50. The background image 102 is an image portion other than the label photographed image 101 in the photographed image.

この場合、タッチパネル30には、ラベル撮影画像101及び背景画像102を含む初期画面100が表示される(S3)。なお、初期画面100には、カメラ33でリアルタイムに撮影された画像が表示される。例えば撮影範囲33Aの撮影位置、サイズ、拡大又は縮小等が行われた場合、初期画面100に表示される撮影画像はリアルタイムに変化する。   In this case, the initial screen 100 including the label photographed image 101 and the background image 102 is displayed on the touch panel 30 (S3). The initial screen 100 displays an image taken in real time by the camera 33. For example, when the shooting position, size, enlargement or reduction of the shooting range 33A is performed, the shot image displayed on the initial screen 100 changes in real time.

図3に示すように、CPU21はS3の実行後、キャプチャ操作ありかを判断する(S5)。本実施形態では、図6に示す初期画面100に、撮影画像の取得を指示するためのキャプチャボタン103が含まれている。キャプチャボタン103が押された場合、CPU21はキャプチャ操作ありと判断して(S5:YES)、後述のラベル特定処理を実行する(S7)。なおCPU21は、キャプチャ操作ありと判断しない場合(S5:NO)、処理をS1に戻す。   As shown in FIG. 3, after executing S3, the CPU 21 determines whether there is a capture operation (S5). In the present embodiment, the initial screen 100 shown in FIG. 6 includes a capture button 103 for instructing acquisition of a captured image. When the capture button 103 is pressed, the CPU 21 determines that there is a capture operation (S5: YES), and executes a label specifying process described later (S7). If the CPU 21 does not determine that there is a capture operation (S5: NO), the process returns to S1.

図5に示すように、ラベル特定処理では、まずCPU21はキャプチャ画像を取得する(S51)。具体的には、CPU21は、カメラ33が撮影している撮影画像のうち、キャプチャ操作を受けた時点(即ち、キャプチャ操作ありと判断された時点)で撮影されている撮影画像を、キャプチャ画像としてRAM23に記憶させる。次いでCPU21は、取得したキャプチャ画像からキャラクタを抽出する(S53)。具体的には、CPU21は、公知のOCR手法によって、取得したキャプチャ画像を画像解析してキャラクタを抽出する。図示しないが、S53でキャラクタが抽出されなかった場合、CPU21は処理をS1(図3参照)に戻す。   As shown in FIG. 5, in the label specifying process, first, the CPU 21 acquires a captured image (S51). Specifically, the CPU 21 captures, as a captured image, a captured image captured at the time when the capture operation is received (that is, when it is determined that there is a capture operation) among the captured images captured by the camera 33. It is stored in the RAM 23. Next, the CPU 21 extracts a character from the acquired captured image (S53). Specifically, the CPU 21 performs image analysis on the acquired captured image and extracts a character by a known OCR technique. Although not shown, if no character is extracted in S53, the CPU 21 returns the process to S1 (see FIG. 3).

次いでCPU21は、抽出したキャラクタを含むラベル編集画像を検索する(S55)。本実施形態では、携帯端末20で過去に編集されたラベル編集画像が、HDD24に保存されている。CPU21は、HDD24に保存されている既存のラベル編集画像から、抽出したキャラクタを含むラベル編集画像を検索する。なお、HDD24には、携帯端末20で過去に編集されたラベル編集画像に加えて、他のコンピュータで過去に編集されたラベル編集画像が保存されていてもよい。また、CPU21は、既存のラベル編集画像を管理するサーバ(図示外)にアクセスして、抽出したキャラクタを含むラベル編集画像を検索してもよい。   Next, the CPU 21 searches for a label edit image including the extracted character (S55). In the present embodiment, the label edited image edited in the past by the mobile terminal 20 is stored in the HDD 24. The CPU 21 searches the label edit image including the extracted character from the existing label edit image stored in the HDD 24. In addition to the label edited image edited in the past by the mobile terminal 20, the HDD 24 may store a label edited image edited in the past by another computer. Further, the CPU 21 may access a server (not shown) that manages an existing label edited image and search for a label edited image including the extracted character.

図5に示すように、CPU21はS55の実行後、検索にヒットしたラベル編集画像(以下、候補画像)が複数あるかを判断する(S57)。複数の候補画像がある場合(S57:YES)、CPU21は候補画像のリストをタッチパネル30に表示する(S59)。CPU21は、表示された候補画像のリストにおいて、ユーザが候補画像を選択する操作を受け付けて(S61)、選択された候補画像を取得する(S63)。具体的には、CPU21は、選択された候補画像をHDD24から読み出して、RAM23に対象編集画像として記憶させる。   As shown in FIG. 5, after executing S55, the CPU 21 determines whether there are a plurality of label-edited images (hereinafter referred to as candidate images) that have been found in the search (S57). When there are a plurality of candidate images (S57: YES), the CPU 21 displays a list of candidate images on the touch panel 30 (S59). The CPU 21 receives an operation for selecting a candidate image by the user in the displayed list of candidate images (S61), and acquires the selected candidate image (S63). Specifically, the CPU 21 reads the selected candidate image from the HDD 24 and stores it in the RAM 23 as a target edited image.

候補画像が一つである場合、CPU21は複数の候補画像ありと判断せず(S57:NO)、その候補画像を対象編集画像として取得する(S63)。CPU21は、S63の実行後、処理を画像編集処理(図3参照)に戻す。図示しないが、S57で検索にヒットしたラベル編集画像がない場合、CPU21は処理をS1(図3参照)に戻す。   When there is one candidate image, the CPU 21 does not determine that there are a plurality of candidate images (S57: NO), and acquires the candidate images as target edit images (S63). After executing S63, the CPU 21 returns the process to the image editing process (see FIG. 3). Although not shown, when there is no label edit image that has been hit in the search in S57, the CPU 21 returns the process to S1 (see FIG. 3).

例えば、図6に示す状態でキャプチャボタン103が押された場合、ラベル50のラベル撮影画像101を含む撮影画像が、キャプチャ画像104として取得される(S51)。キャプチャ画像104に基づいて、ラベル撮影画像101に含まれるキャラクタである「CAUTION」が抽出される(S53)。「CAUTION」を含む既存のラベル編集画像が、HDD24又はサーバから検索される(S55)。候補画像が一つである場合、その候補画像が対象編集画像として取得される(S57:NO、S63)。   For example, when the capture button 103 is pressed in the state shown in FIG. 6, a captured image including the label captured image 101 of the label 50 is acquired as the captured image 104 (S51). Based on the captured image 104, “CAUTION”, which is a character included in the label photographed image 101, is extracted (S53). An existing label edited image including “CAUTION” is retrieved from the HDD 24 or the server (S55). When there is one candidate image, the candidate image is acquired as the target edited image (S57: NO, S63).

一方、候補画像が複数ある場合、図7に例示する候補選択画面110が、タッチパネル30に表示される(S57:YES、S59)。候補選択画面110は、候補リスト111、選択候補画像112、設定変更部113、確定ボタン114等を含む。候補リスト111には、複数の候補画像が一覧表示される。具体的には、「CAUTION」を含む全ての候補画像が、候補リスト111に表示される。ユーザはタッチパネル30を操作して、候補リスト111から任意の候補画像を選択できる。   On the other hand, when there are a plurality of candidate images, the candidate selection screen 110 illustrated in FIG. 7 is displayed on the touch panel 30 (S57: YES, S59). The candidate selection screen 110 includes a candidate list 111, a selection candidate image 112, a setting change unit 113, a confirmation button 114, and the like. The candidate list 111 displays a list of a plurality of candidate images. Specifically, all candidate images including “CAUTION” are displayed in the candidate list 111. The user can select any candidate image from the candidate list 111 by operating the touch panel 30.

選択候補画像112は、候補リスト111で選択された候補画像のプレビュー画像である。設定変更部113は、選択候補画像112に表示されている候補画像の設定情報(ラベル長、余白長、書体、装飾等)を変更するための操作部である。設定変更部113で変更可能な設定情報は、選択候補画像112に応じて変更される。設定変更部113で設定情報が変更された場合、その変更内容に応じて選択候補画像112の表示態様も更新される。確定ボタン114が押されると、選択候補画像112が対象編集画像として取得される(S61、S63)。   The selection candidate image 112 is a preview image of the candidate image selected from the candidate list 111. The setting change unit 113 is an operation unit for changing setting information (label length, margin length, typeface, decoration, etc.) of the candidate image displayed on the selection candidate image 112. The setting information that can be changed by the setting changing unit 113 is changed according to the selection candidate image 112. When the setting information is changed by the setting change unit 113, the display mode of the selection candidate image 112 is also updated in accordance with the changed content. When the confirm button 114 is pressed, the selection candidate image 112 is acquired as the target edit image (S61, S63).

図3に示すように、CPU21はS7の実行後、対象編集画像の設定情報をタッチパネル30に表示する(S9)。次いでCPU21は、背景表示モードが「固定モード」であるかを判断する(S11)。本実施形態では、背景表示モードとして「固定モード」及び「AR(Augmented Reality)モード」の何れかが、RAM23に設定されている。一例として、背景表示モードの初期値は「固定モード」である。なおユーザはタッチパネル30を操作することで、背景表示モードとして「固定モード」及び「ARモード」の何れかを自由に設定できる。   As shown in FIG. 3, after executing S7, the CPU 21 displays setting information of the target edited image on the touch panel 30 (S9). Next, the CPU 21 determines whether the background display mode is the “fixed mode” (S11). In the present embodiment, either “fixed mode” or “AR (Augmented Reality) mode” is set in the RAM 23 as the background display mode. As an example, the initial value of the background display mode is “fixed mode”. Note that the user can freely set either the “fixed mode” or the “AR mode” as the background display mode by operating the touch panel 30.

RAM23に設定されている背景表示モードが「固定モード」である場合、CPU21は背景表示モードが「固定モード」であると判断する(S11:YES)。この場合、CPU21は撮影機能をオフに設定する(S13)。これにより、カメラ33は撮影動作を中断する。次いでCPU21は、固定背景に重ねて対象編集画像をタッチパネル30に表示する(S15)。即ちCPU21は、対象編集画像の全体と、固定背景のうちで対象編集画像と重複しない部分とを表示する。   When the background display mode set in the RAM 23 is “fixed mode”, the CPU 21 determines that the background display mode is “fixed mode” (S11: YES). In this case, the CPU 21 sets the photographing function to off (S13). Thereby, the camera 33 interrupts the photographing operation. Next, the CPU 21 displays the target edited image on the touch panel 30 so as to overlap the fixed background (S15). That is, the CPU 21 displays the entire target edit image and the portion of the fixed background that does not overlap with the target edit image.

図8を参照して、「固定モード」の画面表示例を説明する。S7で対象編集画像120が取得された後、図8に例示する固定モード編集画面130が、タッチパネル30に表示される。固定モード編集画面130には、設定変更部113(図7参照)と同様に、対象編集画像120の設定情報(ラベル長、余白長、書体、装飾等)を変更するための設定変更部121が表示される(S9)。背景表示モードが「固定モード」であるため、カメラ33の撮影動作は中断される(S13)。   A screen display example of “fixed mode” will be described with reference to FIG. After the target edit image 120 is acquired in S <b> 7, the fixed mode edit screen 130 illustrated in FIG. 8 is displayed on the touch panel 30. On the fixed mode editing screen 130, a setting changing unit 121 for changing the setting information (label length, margin length, typeface, decoration, etc.) of the target edited image 120 is provided in the same manner as the setting changing unit 113 (see FIG. 7). It is displayed (S9). Since the background display mode is the “fixed mode”, the shooting operation of the camera 33 is interrupted (S13).

RAM23に記憶されているキャプチャ画像104(図6参照)及び対象編集画像120に基づいて、第一合成画像131が作成される。第一合成画像131は、対象編集画像120が固定背景132に重なるように合成された画像である。固定背景132は、キャプチャ画像104のうちでラベル撮影画像101以外の画像部分(即ち、背景画像102)である。作成された第一合成画像131が、固定モード編集画面130に表示される(S15)。   A first composite image 131 is created based on the captured image 104 (see FIG. 6) and the target edited image 120 stored in the RAM 23. The first synthesized image 131 is an image synthesized so that the target edited image 120 overlaps the fixed background 132. The fixed background 132 is an image portion (that is, the background image 102) other than the label photographed image 101 in the captured image 104. The created first composite image 131 is displayed on the fixed mode edit screen 130 (S15).

例えば、CPU21はキャプチャ画像104のうちで、ラベル撮影画像101を対象編集画像120に置換する描画処理を行う。このときCPU21は、対象編集画像120に含まれるキャラクタの位置及び大きさが、ラベル撮影画像101に含まれるキャラクタの位置及び大きさと略一致するように、ラベル撮影画像101を対象編集画像120に置換する。これにより、第一合成画像131では、キャプチャ画像104におけるラベル撮影画像101の位置及び大きさと略一致するように対象編集画像120が配置され、且つ固定背景132が対象編集画像120の周囲に配置される。   For example, the CPU 21 performs a drawing process of replacing the captured label image 101 with the target edited image 120 in the captured image 104. At this time, the CPU 21 replaces the label shot image 101 with the target edit image 120 so that the position and size of the character included in the target shot image 120 substantially match the position and size of the character included in the label shot image 101. To do. Thereby, in the first composite image 131, the target edit image 120 is arranged so as to substantially match the position and size of the label photographed image 101 in the capture image 104, and the fixed background 132 is arranged around the target edit image 120. The

図8に例示する固定モード編集画面130では、設定変更部121は第一合成画像131の前側に配置され、且つ対象編集画像120と重複しない位置に配置されている。固定モード編集画面130は、ラベル50が貼り付けられている本40(図6参照)に対して、対象編集画像120が仮想的に配置された状態を表示できる。従って携帯端末20は、既に対象物に貼り付けられているラベルに代えて、その対象物に対して仮想的に配置された対象編集画像120を、ユーザに編集させることができる。   In the fixed mode editing screen 130 illustrated in FIG. 8, the setting change unit 121 is disposed on the front side of the first composite image 131 and is disposed at a position that does not overlap with the target edited image 120. The fixed mode edit screen 130 can display a state in which the target edit image 120 is virtually arranged with respect to the book 40 (see FIG. 6) to which the label 50 is attached. Therefore, the mobile terminal 20 can cause the user to edit the target edited image 120 that is virtually arranged with respect to the target object, instead of the label that has already been attached to the target object.

図3に示すように、RAM23に設定されている背景表示モードが「ARモード」である場合、CPU21は背景表示モードが「固定モード」でないと判断する(S11:NO)。この場合、CPU21は撮影機能をオンに設定する(S17)。これにより、カメラ33は撮影動作を継続して実行する。次いでCPU21は、リアルタイム背景に重ねて対象編集画像をタッチパネル30に表示する(S19)。即ちCPU21は、対象編集画像の全体と、リアルタイム背景のうちで対象編集画像と重複しない部分とを表示する。   As shown in FIG. 3, when the background display mode set in the RAM 23 is “AR mode”, the CPU 21 determines that the background display mode is not “fixed mode” (S11: NO). In this case, the CPU 21 sets the photographing function to ON (S17). As a result, the camera 33 continues to perform the photographing operation. Next, the CPU 21 displays the target edited image on the touch panel 30 so as to overlap the real-time background (S19). That is, the CPU 21 displays the entire target edit image and a portion of the real-time background that does not overlap with the target edit image.

図9を参照して、「ARモード」の画面表示例を説明する。S7によって対象編集画像120が取得された後、図9に例示するARモード編集画面140が、タッチパネル30に表示される。ARモード編集画面140には、先述の設定変更部121が表示される(S9)。背景表示モードが「ARモード」であるため、カメラ33の撮影動作は継続されて(S17)、リアルタイム背景142が取得される。リアルタイム背景142は、カメラ33によって継続して撮影されている撮影画像である。   A screen display example of “AR mode” will be described with reference to FIG. 9. After the target edit image 120 is acquired in S <b> 7, the AR mode edit screen 140 illustrated in FIG. 9 is displayed on the touch panel 30. The above-described setting change unit 121 is displayed on the AR mode editing screen 140 (S9). Since the background display mode is the “AR mode”, the photographing operation of the camera 33 is continued (S17), and the real-time background 142 is acquired. The real-time background 142 is a captured image that is continuously captured by the camera 33.

RAM23に記憶されているキャプチャ画像104(図6参照)と、最新のリアルタイム背景142とに基づいて、第二合成画像141が作成される。第二合成画像141は、対象編集画像120がリアルタイム背景142に重なるように合成された画像である。従って、例えば撮影範囲33Aの位置変化に伴って、リアルタイム背景142も変化する。作成された第二合成画像141が、ARモード編集画面140に表示される(S19)。   A second composite image 141 is created based on the captured image 104 (see FIG. 6) stored in the RAM 23 and the latest real-time background 142. The second synthesized image 141 is an image synthesized so that the target edited image 120 overlaps the real-time background 142. Therefore, for example, the real-time background 142 changes with the change in position of the shooting range 33A. The created second composite image 141 is displayed on the AR mode editing screen 140 (S19).

例えばCPU21は、カメラ33で撮影中の画像をリアルタイム背景142として表示し、そのリアルタイム背景142に重ねて対象編集画像120を表示する描画処理を行う。このときCPU21は、対象編集画像120のキャラクタの位置及び大きさが、ラベル撮影画像101のキャラクタの位置及び大きさと略一致するように、対象編集画像120を表示する。これにより、第二合成画像141では、キャプチャ画像104におけるラベル撮影画像101の位置及び大きさと略一致するように対象編集画像120が配置され、且つリアルタイム背景142が対象編集画像120の周囲に配置される。   For example, the CPU 21 displays an image being captured by the camera 33 as a real-time background 142 and performs a drawing process for displaying the target edited image 120 on the real-time background 142. At this time, the CPU 21 displays the target edited image 120 so that the position and size of the character in the target edited image 120 substantially match the position and size of the character in the label photographed image 101. As a result, in the second composite image 141, the target edit image 120 is arranged so as to substantially match the position and size of the label photographed image 101 in the capture image 104, and the real-time background 142 is arranged around the target edit image 120. The

図9に例示するARモード編集画面140では、設定変更部121は第二合成画像141の前側に配置され、且つ対象編集画像120と重複しない位置に配置されている。ARモード編集画面140は、例えばラベルを貼り付ける予定の対象物(図9の例では、キャビネット60)に対して、対象編集画像120が仮想的に配置された状態を表示できる。従って携帯端末20は、任意の対象物に対して仮想的に配置された対象編集画像120を、ユーザに編集させることができる。   In the AR mode editing screen 140 illustrated in FIG. 9, the setting change unit 121 is disposed on the front side of the second composite image 141 and is disposed at a position that does not overlap with the target edited image 120. For example, the AR mode editing screen 140 can display a state in which the target editing image 120 is virtually arranged on an object to which a label is to be attached (in the example of FIG. 9, the cabinet 60). Accordingly, the mobile terminal 20 can allow the user to edit the target edited image 120 that is virtually arranged with respect to an arbitrary target.

図4に示すように、CPU21はS15又はS19の実行後、対象編集画像の設定情報の変更操作ありかを判断する(S21)。本実施形態では、設定情報の変更操作は、対象編集画像120の設定情報を変更する操作のみならず、対象編集画像120のキャラクタを編集する操作も含む。設定情報の変更操作ありと判断した場合(S21:YES)、CPU21は受け付けた設定情報の変更操作に応じて、対象編集画像の設定情報を変更する設定変更処理を実行する(S23)。その後、CPU21は処理をS9に戻す。   As shown in FIG. 4, after executing S15 or S19, the CPU 21 determines whether or not there is an operation for changing the setting information of the target edited image (S21). In the present embodiment, the setting information changing operation includes not only an operation of changing the setting information of the target edited image 120 but also an operation of editing the character of the target edited image 120. When it is determined that there is a setting information change operation (S21: YES), the CPU 21 executes a setting change process for changing the setting information of the target edited image in accordance with the received setting information change operation (S23). Thereafter, the CPU 21 returns the process to S9.

設定情報の変更操作ありと判断しなかった場合(S21:NO)、CPU21は印刷操作ありかを判断する(S25)。印刷操作ありと判断した場合(S25:YES)、CPU21は対象編集画像を印刷する印刷処理を実行する(S27)。その後、CPU21は処理をS9に戻す。印刷操作ありと判断しなかった場合(S25:NO)、CPU21はキャンセル操作ありかを判断する(S29)。キャンセル操作ありと判断した場合(S29:YES)、CPU21は処理をS1に戻す。   If it is not determined that there is a setting information change operation (S21: NO), the CPU 21 determines whether there is a printing operation (S25). When it is determined that there is a printing operation (S25: YES), the CPU 21 executes a printing process for printing the target edited image (S27). Thereafter, the CPU 21 returns the process to S9. If it is not determined that there is a print operation (S25: NO), the CPU 21 determines whether there is a cancel operation (S29). If it is determined that there is a cancel operation (S29: YES), the CPU 21 returns the process to S1.

以下、固定モード編集画面130を用いたラベル編集例を説明する。図8に示すように、ユーザは設定変更部121を操作することで、対象編集画像120の設定情報を変更できる。設定変更部121で設定情報が変更されると、設定情報の変更操作ありと判断される(S21:YES)。この場合、設定情報の変更操作に応じて、対象編集画像120の設定情報が変更される(S23)。具体的には、変更後の設定情報が対象編集画像120に設定され、且つ変更後の設定情報に応じて対象編集画像120の表示態様が更新される。図8に示す例では、設定変更部121において装飾が「太字」から「斜体」に変更されている。従って、対象編集画像120の装飾として「斜体」が設定され、対象編集画像120の表示態様が「斜体」となるように更新される。   Hereinafter, a label editing example using the fixed mode editing screen 130 will be described. As shown in FIG. 8, the user can change the setting information of the target edited image 120 by operating the setting changing unit 121. When the setting information is changed by the setting changing unit 121, it is determined that there is an operation for changing the setting information (S21: YES). In this case, the setting information of the target edited image 120 is changed according to the setting information changing operation (S23). Specifically, the changed setting information is set in the target edited image 120, and the display mode of the target edited image 120 is updated according to the changed setting information. In the example illustrated in FIG. 8, the decoration is changed from “bold” to “italic” in the setting change unit 121. Accordingly, “italic” is set as the decoration of the target edited image 120, and the display mode of the target edited image 120 is updated to be “italic”.

本実施形態では、固定モード編集画面130で編集完了が指示されると、図10に示すように、設定変更部121に代えて複数のコマンドボタンが、固定モード編集画面130に表示される。複数のコマンドボタンは、印刷ボタン125、再編集ボタン126、キャンセルボタン127を含む。印刷ボタン125が押されると、印刷操作ありと判断されて(S25:YES)、編集済みの対象編集画像120の印刷が実行される(S27)。   In the present embodiment, when editing completion is instructed on the fixed mode editing screen 130, a plurality of command buttons are displayed on the fixed mode editing screen 130 in place of the setting changing unit 121 as shown in FIG. The plurality of command buttons include a print button 125, a re-edit button 126, and a cancel button 127. When the print button 125 is pressed, it is determined that there is a printing operation (S25: YES), and the edited target edited image 120 is printed (S27).

具体的には、CPU21はプリンタドライバ(図示外)を起動することで、編集済みの対象編集画像120に基づいて印刷データを生成し、生成した印刷データを含む印刷コマンドを印刷装置10へ送信する。印刷装置10は、印刷コマンドに基づいて対象編集画像120をテープに印刷することで、貼り付け可能なラベルを作成する。   Specifically, the CPU 21 activates a printer driver (not shown) to generate print data based on the edited target edited image 120 and transmits a print command including the generated print data to the printing apparatus 10. . The printing apparatus 10 creates a label that can be pasted by printing the target edited image 120 on a tape based on a print command.

なお、キャンセルボタン127が押されると、キャンセル操作ありと判断されて(S29:YES)、対象編集画像120の編集作業が終了される。この場合、初期画面100(図6参照)がタッチパネル30に表示されるため、ユーザは新たなキャプチャ画像104を取得し直すことができる。なお、再編集ボタン126が押された場合は、図8に示す固定モード編集画面130に戻るため、ユーザは対象編集画像120の編集を再開できる。   When the cancel button 127 is pressed, it is determined that there is a cancel operation (S29: YES), and the editing operation of the target edited image 120 is ended. In this case, since the initial screen 100 (see FIG. 6) is displayed on the touch panel 30, the user can reacquire a new captured image 104. When the re-edit button 126 is pressed, the screen returns to the fixed mode edit screen 130 shown in FIG. 8, and the user can resume editing the target edit image 120.

次に、ARモード編集画面140を用いたラベル編集例を説明する。ARモード編集画面140を用いたラベル編集例は、固定モード編集画面130を用いたラベル編集例と基本的に同様である。図9に示すように、ユーザは設定変更部121を操作することで、対象編集画像120の設定情報を変更できる。ARモード編集画面140で編集完了が指示されると、図11に示すように、設定変更部121に代えて複数のコマンドボタンが、ARモード編集画面140に表示される。印刷ボタン125、再編集ボタン126、キャンセルボタン127の何れかが押されると、押されたボタンに対応する処理が先述のように実行される。   Next, a label editing example using the AR mode editing screen 140 will be described. The label editing example using the AR mode editing screen 140 is basically the same as the label editing example using the fixed mode editing screen 130. As shown in FIG. 9, the user can change the setting information of the target edited image 120 by operating the setting changing unit 121. When the completion of editing is instructed on the AR mode editing screen 140, a plurality of command buttons are displayed on the AR mode editing screen 140 in place of the setting changing unit 121 as shown in FIG. When any of the print button 125, the re-edit button 126, and the cancel button 127 is pressed, the processing corresponding to the pressed button is executed as described above.

本実施形態では、図11のARモード編集画面140も、図9のARモード編集画面140と同様に、第二合成画像141が継続して表示される。従ってARモード編集画面140は、編集済みの対象編集画像120が対象物に対して仮想的に配置された状態を表示できる。例えば、図9に示す編集中の対象編集画像120は、キャビネット60の右側部分に配置されている。ユーザは対象編集画像120の編集完了後に、カメラ33の撮影位置を調整する。これにより、図11に示すARモード編集画面140では、編集済みの対象編集画像120がキャビネット60の左右方向の中央側に位置決めされている。このように、ユーザはラベル印刷の実行前に、編集済みの対象編集画像120を対象物に対して仮想的に配置した状態を確認できる。   In this embodiment, the second composite image 141 is continuously displayed on the AR mode editing screen 140 in FIG. 11 as in the AR mode editing screen 140 in FIG. Therefore, the AR mode editing screen 140 can display a state where the edited target edited image 120 is virtually arranged with respect to the target. For example, the target edited image 120 being edited shown in FIG. 9 is arranged in the right part of the cabinet 60. The user adjusts the shooting position of the camera 33 after the editing of the target edited image 120 is completed. Thus, on the AR mode editing screen 140 shown in FIG. 11, the edited target edited image 120 is positioned on the center side in the left-right direction of the cabinet 60. As described above, the user can confirm the state in which the edited target edited image 120 is virtually arranged with respect to the target object before executing the label printing.

図4に示すように、キャンセル操作ありと判断しなかった場合(S29:NO)、デザインラベルの選択操作ありかを判断する(S31)。デザインラベルは、例えば印刷装置10の製造業者等から提供されるテンプレートのラベル編集画像である。本実施形態では、複数のデザインラベルが予めHDD24に記憶されている。   As shown in FIG. 4, when it is not determined that there is a cancel operation (S29: NO), it is determined whether there is a design label selection operation (S31). The design label is a template-edited image of a template provided from, for example, the manufacturer of the printing apparatus 10. In the present embodiment, a plurality of design labels are stored in the HDD 24 in advance.

デザインラベルの選択操作ありと判断した場合(S31:YES)、CPU21は、HDD24に記憶されているデザインラベルのリストを、タッチパネル30に表示する(S33)。CPU21は、既存のデザインラベルを管理するサーバ(図示外)にアクセスして、サーバで管理されているデザインラベルのリストを表示してもよい。CPU21は、表示されたデザインラベルのリストにおいて、ユーザがデザインラベルを選択する操作を受け付けて、選択されたデザインラベルを取得する(S35)。具体的には、CPU21は、選択されたデザインラベルをHDD24又はサーバから読み出して、RAM23に対象編集画像として記憶させる。なおデザインラベルの選択操作ありと判断しなかった場合(S31:YES)、又はS35の実行後、CPU21は処理をS9に戻す。   When it is determined that there is a design label selection operation (S31: YES), the CPU 21 displays a list of design labels stored in the HDD 24 on the touch panel 30 (S33). The CPU 21 may access a server (not shown) that manages existing design labels and display a list of design labels managed by the server. The CPU 21 receives an operation of selecting a design label by the user in the displayed list of design labels, and acquires the selected design label (S35). Specifically, the CPU 21 reads out the selected design label from the HDD 24 or the server, and stores it in the RAM 23 as a target edited image. If it is not determined that there is a design label selection operation (S31: YES), or after executing S35, the CPU 21 returns the process to S9.

図12の固定モード編集画面130を参照して、デザインラベルに関する処理を具体的に説明する。対象編集画像120のキャラクタである「CAUTION」を含むデザインラベルがHDD24又はサーバに存在する場合、設定変更部121に「ラベルコレクション」のボタンが表示される。「ラベルコレクション」のボタンが押された場合、デザインラベルの選択操作ありと判断されて(S31:YES)、コレクションリスト122が固定モード編集画面130に表示される(S33)。コレクションリスト122には、「CAUTION」を含む全てのデザインラベルが一覧表示される。   With reference to the fixed mode edit screen 130 of FIG. 12, the process regarding a design label is demonstrated concretely. When a design label including “CAUTION” which is the character of the target edited image 120 exists in the HDD 24 or the server, a “label collection” button is displayed on the setting change unit 121. When the “label collection” button is pressed, it is determined that there is a design label selection operation (S31: YES), and the collection list 122 is displayed on the fixed mode editing screen 130 (S33). The collection list 122 displays a list of all design labels including “CAUTION”.

ユーザはタッチパネル30を操作して、コレクションリスト122から任意のデザインラベルを選択できる。選択されたデザインラベルは、対象編集画像120として固定モード編集画面130に表示される(S35)。これによりユーザは、ラベル撮影画像101に関連したデザインラベルを使用して、ラベル編集を実行できる。なお、ARモード編集画面140も上記と同様に、デザインラベルを使用したラベル編集を実行できる。   The user can select an arbitrary design label from the collection list 122 by operating the touch panel 30. The selected design label is displayed on the fixed mode edit screen 130 as the target edit image 120 (S35). Thus, the user can execute label editing using the design label related to the label photographed image 101. Note that the AR mode editing screen 140 can also execute label editing using a design label, as described above.

以上説明した実施形態によれば、携帯端末20は、ラベルの印刷態様を示すラベル編集画像を表示可能なタッチパネル30と、所定の撮影範囲33Aを撮影可能なカメラ33とを備える。CPU21は、カメラ33によって撮影されている撮影範囲33Aの画像である撮影画像のうち、キャプチャ操作を受けた時点で撮影されている撮影画像であるキャプチャ画像104を取得する(S51)。CPU21は、取得されたキャプチャ画像104にラベルの画像であるラベル撮影画像101が含まれている場合、ラベル撮影画像101に対応するラベル編集画像である対象編集画像120を、少なくとも一つのラベル編集画像を記憶するHDD24又はサーバから取得する(S53〜S63)。CPU21は、取得された対象編集画像120を、タッチパネル30に表示させる(S15又はS19)。これによれば、携帯端末20は、例えばラベルが対象物に貼り付けられている場合でも(例えば、本40に貼り付けられたラベル50)、そのラベルの印刷態様に対応する対象編集画像120を、ユーザの操作負担を抑制しつつ取得できる。   According to the embodiment described above, the mobile terminal 20 includes the touch panel 30 that can display a label-edited image indicating a label printing mode, and the camera 33 that can capture a predetermined capturing range 33A. The CPU 21 acquires a captured image 104 that is a captured image that is captured at the time when the capture operation is received from among captured images that are images of the capturing range 33A captured by the camera 33 (S51). When the captured captured image 104 includes a label captured image 101 that is a label image, the CPU 21 converts the target edited image 120 that is a label edited image corresponding to the label captured image 101 into at least one label edited image. Is acquired from the HDD 24 or the server that stores (S53 to S63). The CPU 21 displays the acquired target edit image 120 on the touch panel 30 (S15 or S19). According to this, even when the label is affixed to the target object (for example, the label 50 affixed to the book 40), the portable terminal 20 displays the target edit image 120 corresponding to the printing mode of the label. It can be acquired while suppressing the operation burden on the user.

CPU21は、対象編集画像120を含む第一合成画像131をタッチパネル30に表示させる(S15)。第一合成画像131は、キャプチャ画像104におけるラベル撮影画像101の位置及び大きさと略一致するように対象編集画像120が配置され、且つ固定背景132が対象編集画像120の周囲に配置された画像である。固定背景132は、キャプチャ画像104のうちでラベル撮影画像101以外の画像部分(即ち、背景画像102)である。これによれば、携帯端末20は、例えば既に対象物に貼り付けられているラベルに代えて、その対象物に対して対象編集画像120が仮想的に配置された状態を表示できる。   The CPU 21 displays the first composite image 131 including the target edited image 120 on the touch panel 30 (S15). The first composite image 131 is an image in which the target edit image 120 is arranged so as to substantially match the position and size of the label photographed image 101 in the capture image 104 and the fixed background 132 is arranged around the target edit image 120. is there. The fixed background 132 is an image portion (that is, the background image 102) other than the label photographed image 101 in the captured image 104. According to this, the mobile terminal 20 can display a state in which the target edited image 120 is virtually arranged on the target instead of the label already attached to the target, for example.

CPU21は、キャプチャ操作を受けた後、カメラ33によって撮影範囲33Aを継続して撮影させる(S17)。CPU21は、対象編集画像120を含む第二合成画像141をタッチパネル30に表示させる。第二合成画像141は、カメラ33によって継続して撮影されているリアルタイム背景142に重ねて、キャプチャ画像104におけるラベル撮影画像101の位置及び大きさと略一致するように対象編集画像120が配置された画像である。これによれば、携帯端末20は、任意の対象物に対して対象編集画像120が仮想的に配置された状態を表示できる。   After receiving the capture operation, the CPU 21 causes the camera 33 to continuously shoot the shooting range 33A (S17). The CPU 21 causes the touch panel 30 to display the second composite image 141 including the target edited image 120. The second composite image 141 is superimposed on the real-time background 142 continuously photographed by the camera 33, and the target edited image 120 is arranged so as to substantially match the position and size of the label photographed image 101 in the capture image 104. It is an image. According to this, the portable terminal 20 can display a state in which the target edited image 120 is virtually arranged with respect to an arbitrary target.

CPU21は、取得されたキャプチャ画像104の画像解析によって、ラベル撮影画像101に含まれるキャラクタを特定し、特定したキャラクタを含むラベル編集画像を、HDD24又はサーバから対象編集画像120として取得する(S53〜S63)。これによれば、携帯端末20は、ラベル撮影画像101に対応する対象編集画像120を自動的に提供できる。   The CPU 21 specifies a character included in the label photographed image 101 by image analysis of the acquired captured image 104, and acquires a label edit image including the specified character as the target edit image 120 from the HDD 24 or the server (S53 to S53). S63). According to this, the portable terminal 20 can automatically provide the target edited image 120 corresponding to the label photographed image 101.

CPU21は、複数の対象編集画像120が取得された場合、取得された複数の対象編集画像120を示す候補リスト111を、タッチパネル30に表示させる(S59)。CPU21は、取得された複数の対象編集画像120のうちで、タッチパネル30に表示された候補リスト111から選択された対象編集画像120のみを、タッチパネル30に表示させる(S15又はS19)。これによれば、携帯端末20は、ラベル撮影画像101に対応する対象編集画像120が複数存在する場合でも、ユーザが所望する対象編集画像120を提供できる。   When a plurality of target edit images 120 are acquired, the CPU 21 displays a candidate list 111 indicating the acquired plurality of target edit images 120 on the touch panel 30 (S59). The CPU 21 causes the touch panel 30 to display only the target edit image 120 selected from the candidate list 111 displayed on the touch panel 30 among the plurality of acquired target edit images 120 (S15 or S19). According to this, even when there are a plurality of target edit images 120 corresponding to the label photographed image 101, the mobile terminal 20 can provide the target edit image 120 desired by the user.

タッチパネル30は、タッチパネル30に表示されたラベル編集画像を編集するための操作部である。CPU21は、タッチパネル30からの指示に応じて、タッチパネル30に表示された対象編集画像120を編集する(S23)。これによれば、携帯端末20は、取得された対象編集画像120をユーザに編集させることができる。   The touch panel 30 is an operation unit for editing the label edit image displayed on the touch panel 30. CPU21 edits the target edit image 120 displayed on the touch panel 30 according to the instruction | indication from the touch panel 30 (S23). According to this, the mobile terminal 20 can cause the user to edit the acquired target edit image 120.

上記実施形態において、画像編集アプリケーションが本発明の「画像編集プログラム」に相当する。携帯端末20が、本発明の「コンピュータ」及び「画像編集装置」に相当する。タッチパネル30が、本発明の「表示部」及び「操作部」に相当する。カメラ33が本発明の「撮影部」に相当する。S51を実行するCPU21が、本発明の「第一取得手段」に相当する。キャプチャ画像104が本発明の「対象撮影画像」に相当する。S53〜S63を実行するCPU21が、本発明の「第二取得手段」に相当する。S15及びS19の少なくとも一つを実行するCPU21が、本発明の「表示制御手段」に相当する。S17を実行するCPU21が、本発明の「撮影継続手段」に相当する。S59を実行するCPU21が、本発明の「候補表示手段」に相当する。S23を実行するCPU21が、本発明の「画像編集手段」に相当する。HDD24及びサーバ(図示外)の少なくとも一つが、本発明の「記憶手段」に相当する。   In the above embodiment, the image editing application corresponds to the “image editing program” of the present invention. The portable terminal 20 corresponds to the “computer” and “image editing apparatus” of the present invention. The touch panel 30 corresponds to the “display unit” and “operation unit” of the present invention. The camera 33 corresponds to the “photographing unit” of the present invention. The CPU 21 that executes S51 corresponds to the “first acquisition means” of the present invention. The captured image 104 corresponds to the “target photographed image” of the present invention. The CPU 21 that executes S53 to S63 corresponds to the “second acquisition unit” of the present invention. The CPU 21 that executes at least one of S15 and S19 corresponds to the “display control means” of the present invention. The CPU 21 that executes S17 corresponds to the “shooting continuation unit” of the present invention. The CPU 21 that executes S59 corresponds to “candidate display means” of the present invention. The CPU 21 that executes S23 corresponds to the “image editing means” of the present invention. At least one of the HDD 24 and the server (not shown) corresponds to the “storage unit” of the present invention.

本発明は、上記実施形態に限定されるものではなく、種々の変更が可能である。画像編集アプリケーションに基づいて画像編集処理(図3〜図5参照)が実行されるコンピュータは、携帯端末20に限定されず、ユーザインターフェース機能を備えたコンピュータ(例えば、PCなど)であればよい。印刷装置10がユーザインターフェース機能を備える場合、画像編集処理は印刷装置10で実行されてもよい。画像編集処理は、複数のコンピュータで分散処理されてもよい。画像編集処理は、携帯端末20が印刷装置10に接続されているか否かに関わらず、携帯端末20が単独で実行可能である。   The present invention is not limited to the above embodiment, and various modifications can be made. The computer on which the image editing process (see FIGS. 3 to 5) is executed based on the image editing application is not limited to the portable terminal 20 and may be a computer (for example, a PC) having a user interface function. When the printing apparatus 10 has a user interface function, the image editing process may be executed by the printing apparatus 10. The image editing process may be distributed by a plurality of computers. The image editing process can be executed independently by the portable terminal 20 regardless of whether the portable terminal 20 is connected to the printing apparatus 10 or not.

上記実施形態において対象編集画像120は、キャプチャ画像104におけるラベル撮影画像101の位置及び大きさと略一致するように、第一合成画像131に配置されている。これに代えて対象編集画像120は、ラベル撮影画像101の位置及び大きさに関係なく、予め定められた位置及び大きさで第一合成画像131に表示されてもよい。同様に対象編集画像120は、ラベル撮影画像101の位置及び大きさに関係なく、予め定められた位置及び大きさで第二合成画像141に表示されてもよい。   In the above embodiment, the target edited image 120 is arranged in the first composite image 131 so as to substantially match the position and size of the label photographed image 101 in the capture image 104. Instead, the target edited image 120 may be displayed on the first composite image 131 at a predetermined position and size regardless of the position and size of the label photographed image 101. Similarly, the target edited image 120 may be displayed on the second composite image 141 at a predetermined position and size regardless of the position and size of the label photographed image 101.

20 携帯端末
21 CPU
24 HDD
30 タッチパネル
33 カメラ
33A 撮影範囲
101 ラベル撮影画像
104 キャプチャ画像
111 候補リスト
120 対象編集画像
131 第一合成画像
141 第二合成画像
20 Mobile terminal 21 CPU
24 HDD
30 Touch Panel 33 Camera 33A Shooting Range 101 Label Captured Image 104 Captured Image 111 Candidate List 120 Target Edit Image 131 First Composite Image 141 Second Composite Image

Claims (7)

ラベルの印刷態様を示すラベル編集画像を表示可能な表示部と、所定の撮影範囲を撮影可能な撮影部とを備えたコンピュータを、
前記撮影部によって撮影されている前記撮影範囲の画像である撮影画像のうち、所定指示を受けた時点で撮影されている前記撮影画像である対象撮影画像を取得する第一取得手段、
取得された前記対象撮影画像にラベルの画像であるラベル撮影画像が含まれている場合、前記ラベル撮影画像に対応する前記ラベル編集画像である対象編集画像を、少なくとも一つの前記ラベル編集画像を記憶する記憶手段から取得する第二取得手段、及び
取得された前記対象編集画像を、前記表示部に表示させる表示制御手段、
として機能させることを特徴とする画像編集プログラム。
A computer including a display unit capable of displaying a label-edited image indicating a printing mode of a label and a photographing unit capable of photographing a predetermined photographing range
First acquisition means for acquiring a target captured image that is the captured image captured at the time when a predetermined instruction is received, among captured images that are images of the imaging range captured by the imaging unit;
When the acquired target captured image includes a label captured image that is a label image, the target edited image that is the label edited image corresponding to the label captured image is stored as at least one label edited image. Second acquisition means for acquiring from the storage means, and display control means for displaying the acquired target edit image on the display unit,
An image editing program characterized by functioning as
前記表示制御手段は、前記対象編集画像を含む第一合成画像を前記表示部に表示させ、
前記第一合成画像は、前記対象撮影画像における前記ラベル撮影画像の位置及び大きさと略一致するように前記対象編集画像が配置され、且つ、前記対象撮影画像のうちで前記ラベル撮影画像以外の画像部分が前記対象編集画像の周囲に配置された画像である
ことを特徴とする請求項1に記載の画像編集プログラム。
The display control means displays a first composite image including the target edit image on the display unit,
In the first composite image, the target edited image is arranged so as to substantially match the position and size of the label captured image in the target captured image, and an image other than the label captured image among the target captured images The image editing program according to claim 1, wherein the portion is an image arranged around the target edited image.
前記コンピュータを、
前記所定指示を受けた後、前記撮影部によって前記撮影範囲を継続して撮影させる撮影継続手段、として更に機能させ、
前記表示制御手段は、前記対象編集画像を含む第二合成画像を前記表示部に表示させ、
前記第二合成画像は、前記撮影部によって継続して撮影されている前記撮影画像に重ねて、前記対象撮影画像における前記ラベル撮影画像の位置及び大きさと略一致するように前記対象編集画像が配置された画像である
ことを特徴とする請求項1に記載の画像編集プログラム。
The computer,
After receiving the predetermined instruction, the photographing unit further functions as photographing continuation means for continuously photographing the photographing range,
The display control means causes the display unit to display a second composite image including the target edit image,
The target composite image is arranged so that the second composite image overlaps the captured image continuously captured by the capturing unit and substantially matches the position and size of the label captured image in the target captured image. The image editing program according to claim 1, wherein the image editing program is a recorded image.
前記第二取得手段は、取得された前記対象撮影画像の画像解析によって、前記ラベル撮影画像に含まれるキャラクタを特定し、特定した前記キャラクタを含む前記ラベル編集画像を、前記記憶手段から前記対象編集画像として取得する
ことを特徴とする請求項1から3の何れかに記載の画像編集プログラム。
The second acquisition unit specifies a character included in the label photographed image by image analysis of the acquired target photographed image, and reads the label edit image including the identified character from the storage unit. The image editing program according to claim 1, wherein the image editing program is acquired as an image.
複数の前記対象編集画像が取得された場合、取得された前記複数の対象編集画像を示す候補リストを、前記表示部に表示させる候補表示手段を備え、
前記表示制御手段は、取得された前記複数の対象編集画像のうちで、前記表示部に表示された前記候補リストから選択された前記対象編集画像のみを、前記表示部に表示させる
ことを特徴とする請求項4に記載の画像編集プログラム。
When a plurality of the target edit images are acquired, a candidate display unit that displays a candidate list indicating the acquired target edit images on the display unit,
The display control means causes the display unit to display only the target edit image selected from the candidate list displayed on the display unit among the acquired target edit images. The image editing program according to claim 4.
前記表示部に表示された前記ラベル編集画像を編集するための操作部を備えた前記コンピュータを、
前記操作部からの指示に応じて、前記表示部に表示された前記対象編集画像を編集する画像編集手段、として更に機能させる
ことを特徴とする請求項1から5の何れかに記載の画像編集プログラム。
The computer including an operation unit for editing the label edit image displayed on the display unit,
6. The image editing according to claim 1, further functioning as image editing means for editing the target edited image displayed on the display unit in response to an instruction from the operation unit. program.
ラベルの印刷態様を示すラベル編集画像を表示可能な表示部と、
所定の撮影範囲を撮影可能な撮影部と、
前記撮影部によって撮影されている前記撮影範囲の画像である撮影画像のうち、所定指示を受けた時点で撮影されている前記撮影画像である対象撮影画像を取得する第一取得手段と、
取得された前記対象撮影画像にラベルの画像であるラベル撮影画像が含まれている場合、前記ラベル撮影画像に対応する前記ラベル編集画像である対象編集画像を、少なくとも一つの前記ラベル編集画像を記憶する記憶手段から取得する第二取得手段と、
取得された前記対象編集画像を、前記表示部に表示させる表示制御手段と
を備えたことを特徴とする画像編集装置。
A display unit capable of displaying a label-edited image indicating a printing mode of the label;
A shooting unit capable of shooting a predetermined shooting range;
First acquisition means for acquiring a target captured image that is the captured image captured at the time when a predetermined instruction is received, among captured images that are images of the imaging range captured by the imaging unit;
When the acquired target captured image includes a label captured image that is a label image, the target edited image that is the label edited image corresponding to the label captured image is stored as at least one label edited image. Second acquisition means for acquiring from the storage means for performing,
An image editing apparatus comprising: display control means for causing the display unit to display the acquired target editing image.
JP2016193361A 2016-09-30 2016-09-30 Image editing program and image editing device Active JP6766563B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016193361A JP6766563B2 (en) 2016-09-30 2016-09-30 Image editing program and image editing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016193361A JP6766563B2 (en) 2016-09-30 2016-09-30 Image editing program and image editing device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020156687A Division JP7070627B2 (en) 2020-09-17 2020-09-17 Image display program

Publications (2)

Publication Number Publication Date
JP2018056894A true JP2018056894A (en) 2018-04-05
JP6766563B2 JP6766563B2 (en) 2020-10-14

Family

ID=61834196

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016193361A Active JP6766563B2 (en) 2016-09-30 2016-09-30 Image editing program and image editing device

Country Status (1)

Country Link
JP (1) JP6766563B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6545415B1 (en) * 2018-07-02 2019-07-17 三菱電機株式会社 Editing device, editing method, editing program, and editing system
EP3627824A1 (en) * 2018-09-18 2020-03-25 Fujifilm Corporation Imaging apparatus, and operation program and operation method for imaging apparatus
JP2020121489A (en) * 2019-01-31 2020-08-13 コニカミノルタ株式会社 Printer, control method and computer program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012101510A (en) * 2010-11-12 2012-05-31 Brother Industries Ltd Print label forming device
JP2014019090A (en) * 2012-07-20 2014-02-03 Seiko Epson Corp Label generation system, label generation method, printer, and program
JP2014071759A (en) * 2012-09-28 2014-04-21 Brother Ind Ltd Image display control apparatus and information display program
JP2014203423A (en) * 2013-04-10 2014-10-27 セイコーエプソン株式会社 Display control program, display control method, display device, and printing system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012101510A (en) * 2010-11-12 2012-05-31 Brother Industries Ltd Print label forming device
JP2014019090A (en) * 2012-07-20 2014-02-03 Seiko Epson Corp Label generation system, label generation method, printer, and program
JP2014071759A (en) * 2012-09-28 2014-04-21 Brother Ind Ltd Image display control apparatus and information display program
JP2014203423A (en) * 2013-04-10 2014-10-27 セイコーエプソン株式会社 Display control program, display control method, display device, and printing system

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6545415B1 (en) * 2018-07-02 2019-07-17 三菱電機株式会社 Editing device, editing method, editing program, and editing system
WO2020008498A1 (en) * 2018-07-02 2020-01-09 三菱電機株式会社 Editing device, editing method, editing program, and editing system
EP3627824A1 (en) * 2018-09-18 2020-03-25 Fujifilm Corporation Imaging apparatus, and operation program and operation method for imaging apparatus
US11049303B2 (en) 2018-09-18 2021-06-29 Fujifilm Corporation Imaging apparatus, and operation program and operation method for imaging apparatus
JP2020121489A (en) * 2019-01-31 2020-08-13 コニカミノルタ株式会社 Printer, control method and computer program
JP7167738B2 (en) 2019-01-31 2022-11-09 コニカミノルタ株式会社 PRINTING DEVICE, CONTROL METHOD AND COMPUTER PROGRAM

Also Published As

Publication number Publication date
JP6766563B2 (en) 2020-10-14

Similar Documents

Publication Publication Date Title
JP2011176794A (en) Imaging apparatus and imaging method
JP5773183B2 (en) Printing device, printing method, printing control program
JP2005349822A (en) Printing apparatus and its control method as well as print instruction device and its method
JP6766563B2 (en) Image editing program and image editing device
JP5488838B2 (en) Label creation processing program and label creation processing method
EP1319215A1 (en) Printer apparatus with integrated graphical user interface and method for using the same
US7652694B2 (en) Image pick-up apparatus
JP7070627B2 (en) Image display program
JP6409430B2 (en) Print image generation apparatus, print system, print image generation method, and program
JP6627559B2 (en) Image printing method, image printing apparatus, image printing system, and program
JP7276032B2 (en) shooting system
JP2013074451A (en) Image pickup apparatus
JP6961866B2 (en) Operation terminal, program and printing system
JP5899989B2 (en) Output system
JP2012152924A (en) Printer, printing method, and printing control program
JP4688042B2 (en) Printer and printer print layout setting method
JP6866636B2 (en) Character editing methods, electronic devices, and programs
JP2009078372A (en) Printer and its control method
US9986167B2 (en) Display control apparatus, display control method and storage medium
JP2000069402A (en) Certification photograph output system and storage medium
JP5967270B2 (en) Printing device, printing method, and printing control program
JP2008210347A (en) Image editing device, method, and program
JP2020123364A (en) Virtual label display processing program
JPH1132285A (en) Digital camera and album-generating system for construction work using the same
JP2023107402A (en) Information processing apparatus, printing system, method for controlling information processing apparatus, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190122

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190518

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191203

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200818

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200831

R150 Certificate of patent or registration of utility model

Ref document number: 6766563

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150