JP2011188197A - Image processor and image processing method - Google Patents

Image processor and image processing method Download PDF

Info

Publication number
JP2011188197A
JP2011188197A JP2010050747A JP2010050747A JP2011188197A JP 2011188197 A JP2011188197 A JP 2011188197A JP 2010050747 A JP2010050747 A JP 2010050747A JP 2010050747 A JP2010050747 A JP 2010050747A JP 2011188197 A JP2011188197 A JP 2011188197A
Authority
JP
Japan
Prior art keywords
image
composite image
composite
overlap
prohibited
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010050747A
Other languages
Japanese (ja)
Other versions
JP5574763B2 (en
Inventor
Hiroyuki Hoshika
博之 星加
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2010050747A priority Critical patent/JP5574763B2/en
Publication of JP2011188197A publication Critical patent/JP2011188197A/en
Application granted granted Critical
Publication of JP5574763B2 publication Critical patent/JP5574763B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To prevent a stamp image from being composed at a position other than a user desired position. <P>SOLUTION: When a stamp image is not composed on a picture, an image processor indicates the information of an overlapping-prohibited area of the stamp image to be composed on the picture. Then, based on the information of an overlapping-prohibited area on the picture, it is determined whether or not a next stamp image to be composed is overlapped on the prohibited area of the picture. When it is determined that it is overlapped on the prohibited area of the picture exceeding a specified ratio, a warning that the stamp image is overlapped on the prohibited area is notified, or the image processor exerts control so as to move the stamp image to be composed to a position at which it is not overlapped on the prohibited area. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は画像処理装置、及び画像処理方法に関し、特に、写真等にスタンプ画像を合成するために用いて好適な技術に関する。   The present invention relates to an image processing apparatus and an image processing method, and more particularly to a technique suitable for use in synthesizing a stamp image with a photograph or the like.

近年、ユーザが撮影した写真にスタンプ画像、吹き出し、文字列などの複数の画像を合成して印刷することが行われている。しかし、従来の方法では合成する画像同士の重なりを管理していなかった。   In recent years, a plurality of images such as a stamp image, a balloon, and a character string are combined and printed on a photograph taken by a user. However, the conventional method does not manage the overlap between the images to be synthesized.

そこで、撮影した写真に合成する複数の画像の位置情報を記憶し、合成する際に、位置情報に基づいて、それぞれの合成する画像が重ならないように配置させる方法が開示されている(例えば、特許文献1参照)。また、別の例として、撮影した写真のデータにマスクデータを付加し、合成した画像の位置情報を記録しておく方法が開示されている(例えば、特許文献2参照)。この方法によれば、新たに合成処理を行う場合は、マスクデータを参照することにより、以前に合成した画像の位置がわかるので、互いに重ならないようすることができる。   Therefore, a method is disclosed in which position information of a plurality of images to be combined with a photographed image is stored and arranged so that the images to be combined do not overlap based on the position information (for example, Patent Document 1). As another example, a method of adding mask data to photographed photograph data and recording position information of the synthesized image is disclosed (for example, see Patent Document 2). According to this method, when a new synthesis process is performed, the positions of previously synthesized images can be known by referring to the mask data, so that they do not overlap each other.

特許第4076311号公報Japanese Patent No. 4076311 特開2006−262232号公報JP 2006-262232 A

しかしながら、前記特許文献1及び特許文献2に記載の方法では、ユーザが意図してスタンプ画像同士を重ねた場合でも、重ならないようにスタンプ画像が移動されてしまうという問題がある。例えば、図3(a)に示すスタンプ画像と図3(b)に示すスタンプ画像とを合成する場合に、図4(a)に示すようなレイアウトにすることが一般的である。一方、図4(b)に示すようなレイアウトについては、図3(a)に示すスタンプ画像の顔が隠れてしまうので、ユーザが意図して配置することは少ない。   However, the methods described in Patent Document 1 and Patent Document 2 have a problem that even when the user intentionally overlaps the stamp images, the stamp images are moved so as not to overlap. For example, when the stamp image shown in FIG. 3A and the stamp image shown in FIG. 3B are combined, a layout as shown in FIG. 4A is generally used. On the other hand, in the layout as shown in FIG. 4B, since the face of the stamp image shown in FIG. 3A is hidden, the user rarely places it intentionally.

また、近年、金色や銀色の印刷を行うことが可能な特色印刷が盛んに行われている。このような印刷では、スタンプ画像の一部、または全てが特色と呼ばれる金色や銀色の単一色になり、すでに合成されたスタンプ画像にも特色が含まれていると、個々のスタンプ画像との区別が付かなくなってしまう。例えば、図3(a)に示すスタンプ画像が全て単一色であった場合に、2つを重ねて配置すると、図4(c)に示すように個々のスタンプ画像の区別が付かなくなる。   In recent years, spot color printing capable of printing in gold or silver has been actively performed. In such printing, if a part or all of the stamp image is a single color of gold or silver called spot color, and the stamp image already synthesized contains spot color, it is distinguished from individual stamp images. Will not be attached. For example, when the stamp images shown in FIG. 3A are all in a single color, if the two are arranged in an overlapping manner, the individual stamp images cannot be distinguished as shown in FIG. 4C.

このように、前記特許文献1及び特許文献2に記載の方法においては、位置情報やマスク画像のみを用いて重なりを判断しているので、スタンプ画像に特色部分が存在しているか否かに関係なくスタンプを移動してしまう。そのため、ユーザが意図したレイアウトに設定することができない。   As described above, in the methods described in Patent Document 1 and Patent Document 2, since the overlap is determined using only the position information and the mask image, it is related to whether or not the spot color portion exists in the stamp image. It will move the stamp without. Therefore, it cannot be set to the layout intended by the user.

また、スタンプ画像の一部が透過データとして扱われている場合、このスタンプ画像を合成する箇所の背景色によってはユーザにとって好ましくない場合がある。例えば、図3(a)に示すスタンプ画像を合成する際に、合成する背景色が図4(d)に示すようなスタンプ画像と似たような色であった場合、図4(e)に示すように、合成後にスタンプ画像が背景色に溶け込んでしまう。しかしながら、前記特許文献1及び特許文献2に記載の方法においては、位置情報やマスク画像のみを用いて重なりを比較する。そのため、スタンプ画像を合成する箇所の背景色がスタンプ画像の色と同系色でなくても、移動がなされてしまい、ユーザが意図したレイアウトにできない。   Further, when a part of the stamp image is handled as transparent data, it may not be preferable for the user depending on the background color of the portion where the stamp image is to be combined. For example, when the stamp image shown in FIG. 3A is synthesized, if the background color to be synthesized is similar to the stamp image as shown in FIG. As shown, the stamp image blends into the background color after synthesis. However, in the methods described in Patent Document 1 and Patent Document 2, overlaps are compared using only position information and mask images. Therefore, even if the background color of the portion where the stamp image is to be combined is not similar to the color of the stamp image, it is moved and the layout intended by the user cannot be achieved.

本発明は前述の問題点に鑑み、ユーザの意図しない位置にスタンプ画像が合成されることを防止できるようにすることを目的としている。   An object of the present invention is to prevent a stamp image from being combined at a position not intended by a user in view of the above-described problems.

本発明の画像処理装置は、1つの画像に対して合成画像を合成する画像処理装置であって、前記1つの画像に合成するための複数の合成画像に係る画像データを、他の合成画像との重なりを禁止する禁止領域の情報とともに記憶する記憶手段と、前記記憶手段に記憶されている合成画像に係る画像データの禁止領域の情報を前記1つの画像に反映させる反映手段と、前記反映手段によって反映された禁止領域の情報に基づいて、前記1つの画像に合成される合成画像の禁止領域に他の合成画像が重なっているか否かを判断する判断手段と、前記判断手段によって重なっていると判断された場合には、警告を行う、または前記他の合成画像を前記禁止領域に重ならない位置に移動させるよう制御する制御手段とを有することを特徴とする。   The image processing apparatus of the present invention is an image processing apparatus that combines a composite image with one image, and the image data related to the plurality of composite images to be combined with the one image is combined with another composite image. Storage means for storing together with information on prohibited areas for prohibiting overlapping, reflecting means for reflecting information on prohibited areas of image data relating to a composite image stored in the storage means in the one image, and the reflecting means Based on the information on the prohibited area reflected by the above, the determination means for determining whether or not another composite image overlaps the prohibited area of the composite image to be combined with the one image, and the determination means overlap. And a control unit that controls to perform a warning or to move the other composite image to a position that does not overlap the prohibited area.

本発明によれば、ユーザの意図しない位置にスタンプ画像が合成されることを防止し、スタンプ画像を適切な位置に合成させることができる。   According to the present invention, it is possible to prevent the stamp image from being combined at a position not intended by the user, and to combine the stamp image at an appropriate position.

実施形態に係るプリンタの内部構成例を示すブロック図である。FIG. 2 is a block diagram illustrating an internal configuration example of a printer according to an embodiment. 印刷処理を行うまでの手順の一例を示すフローチャートである。6 is a flowchart illustrating an example of a procedure until print processing is performed. スタンプ画像に係るデータの一例を示す図である。It is a figure which shows an example of the data which concern on a stamp image. スタンプ画像の重なりの一例を示す図である。It is a figure which shows an example of the overlap of a stamp image. 写真及び重なり禁止データの一例を示す図である。It is a figure which shows an example of a photograph and overlapping prohibition data. 写真にスタンプ画像を合成する手順の一例を示すフローチャートである。It is a flowchart which shows an example of the procedure which synthesize | combines a stamp image with a photograph. 重なり禁止領域を反映させる手順の一例を示すフローチャートである。It is a flowchart which shows an example of the procedure which reflects an overlap prohibition area | region. 計算に用いるパラメータを説明する図である。It is a figure explaining the parameter used for calculation. 重なり判断の詳細な手順の一例を示すフローチャートである。It is a flowchart which shows an example of the detailed procedure of overlap judgment. 特色を用いたスタンプ画像に係るデータの一例を示す図である。It is a figure which shows an example of the data which concern on the stamp image using a spot color. スタンプ画像及び背景に係るデータの一例を示す図である。It is a figure which shows an example of the data concerning a stamp image and a background. 重なり判断の詳細な手順の一例を示すフローチャートである。It is a flowchart which shows an example of the detailed procedure of overlap judgment. YUVと閾値との関係を示す図である。It is a figure which shows the relationship between YUV and a threshold value. 重なり禁止領域を反映させる手順の一例を示すフローチャートである。It is a flowchart which shows an example of the procedure which reflects an overlap prohibition area | region. 重なり禁止データの他の一例を示す図である。It is a figure which shows another example of overlapping prohibition data.

(第1の実施形態)
以下、本発明を実施するための第1の実施形態について詳細に説明する。なお、以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。
(First embodiment)
Hereinafter, a first embodiment for carrying out the present invention will be described in detail. The embodiment described below is an example as means for realizing the present invention, and should be appropriately modified or changed according to the configuration and various conditions of the apparatus to which the present invention is applied. It is not limited to the embodiment.

図1は、本実施形態に係るプリンタ100の内部構成例を示すブロック図である。
図1において、電源部101は、プリンタ100全体に電源を供給するためのものである。カードリーダ102は、各種メモリーカードをセットするためのリーダであり、メモリーカードに記録された画像データ(写真データ)を読み出すことができる。通信部103は、デジタルカメラと接続を行うことによってデジタルカメラから送信される写真データを受信するためのインターフェースである。なお、本実施形態では、取り扱う写真データはJPEG形式の画像データとする。
FIG. 1 is a block diagram illustrating an internal configuration example of a printer 100 according to the present embodiment.
In FIG. 1, a power supply unit 101 is for supplying power to the entire printer 100. The card reader 102 is a reader for setting various memory cards, and can read image data (photo data) recorded on the memory card. The communication unit 103 is an interface for receiving photo data transmitted from the digital camera by connecting to the digital camera. In this embodiment, the photograph data to be handled is image data in JPEG format.

IO制御部104は、通信部103及びカードリーダ102のうち、どちらを有効にするかを判断し、同時に有効にならないように排他制御を行うためのものである。不揮発性メモリ(ROM)105には、プリンタ100を制御するためのプログラムや、プリンタ100を操作するためのメニュー画面の画像データ、スタンプ画像や吹き出しなどのオブジェクトの合成画像データが複数記憶されている。   The IO control unit 104 is for determining which one of the communication unit 103 and the card reader 102 is valid and performing exclusive control so that it is not valid at the same time. A non-volatile memory (ROM) 105 stores a plurality of programs for controlling the printer 100, image data of a menu screen for operating the printer 100, and composite image data of objects such as stamp images and balloons. .

システム制御部106は、プリンタ100全体を制御するための制御部であり、ROM105に記憶されているプログラムに沿ってプリンタ100全体を制御する。揮発性メモリ(RAM)107は、IO制御部104を通して通信部103またはカードリーダ102から読み出した写真データを保持したり、システム制御や合成処理で用いられるデータの一時的な記憶領域として使用されたりする。   The system control unit 106 is a control unit for controlling the entire printer 100, and controls the entire printer 100 according to a program stored in the ROM 105. The volatile memory (RAM) 107 holds photographic data read from the communication unit 103 or the card reader 102 through the IO control unit 104, or is used as a temporary storage area for data used in system control or composition processing. To do.

画像処理部108は、RAM107やROM105から読み出されたJPEG形式の画像データに対して伸張処理やリサイズを行ったり、レイアウトを配置したりするためのものである。なお、本実施形態の伸張処理では、画像データをJPEG形式からYUV形式へ変換するものとする。また、RAM107におけるVRAM領域109は、画像表示部110に画像として表示するための画像データを保持する領域である。画像処理部108によって、RAM107やROM105に保持された画像データの伸張処理やリサイズなどの画像処理が行われると、画像処理がなされた画像データをVRAM領域109に保持する。これにより、画像表示部110に任意の画像を表示することが可能となる。   The image processing unit 108 is for performing decompression processing, resizing, and arranging a layout for JPEG format image data read from the RAM 107 or the ROM 105. In the decompression process according to the present embodiment, the image data is converted from the JPEG format to the YUV format. A VRAM area 109 in the RAM 107 is an area for holding image data to be displayed as an image on the image display unit 110. When image processing such as decompression processing or resizing of image data held in the RAM 107 or the ROM 105 is performed by the image processing unit 108, the image data subjected to the image processing is held in the VRAM area 109. Thereby, an arbitrary image can be displayed on the image display unit 110.

画像表示部110は、VRAM領域109に保持された画像データを読み出して印刷画像を表示したり、メニュー画面の画像を表示したりするためのものである。UI操作部111には、電源釦や印刷釦、画像表示部110に表示されたメニュー画面を操作するための各種操作釦などが備わっている。また、合成する画像の位置を決めるときなどにもUI操作部111は使用される。画像補正部112は、ユーザにより決定された印刷条件によって画像処理部108において作成されたYUV形式の写真データにおける明るさ、コントラスト、色などの各種補正処理を行う。また、印刷画像生成部113は、画像補正部112によって補正されたYUV形式の写真データをYMC形式へ変換するためのものである。   The image display unit 110 reads the image data held in the VRAM area 109 and displays a print image or displays a menu screen image. The UI operation unit 111 includes a power button, a print button, various operation buttons for operating a menu screen displayed on the image display unit 110, and the like. The UI operation unit 111 is also used when determining the position of an image to be synthesized. The image correction unit 112 performs various correction processes such as brightness, contrast, and color in the YUV format photo data created by the image processing unit 108 according to the printing conditions determined by the user. The print image generation unit 113 converts the YUV format photo data corrected by the image correction unit 112 into the YMC format.

本実施形態の印刷部114は、昇華型の熱転写記録方式を採用しており、インクシートと用紙とが一体になったインクカートリッジを用いている。インクシートは、用紙の印画領域を覆ってそのサイズとほぼ等しいサイズでイエロー(Y)、マゼンタ(M)、シアン(C)の各インク層とオーバーコート(OP)層とが並べて設けられている。印刷部114において各層に対して熱転写が行われると、用紙が記録開始位置に戻され、用紙上に順次重ねて転写される。そのため、印刷画像生成部113では、YUV形式からYMC形式への変換を行っている。また、印刷画像生成部113は、YMC変換された画像(写真)へ、スタンプ画像や吹き出し、文字列などを合成する処理も行う。印刷部114は、印刷画像生成部113において生成されたY・M・C各色のデータを用いてY・M・Cの各インク層を用紙に順次熱転写し、用紙を記録開始位置に戻して全色の印刷を行う。また、特色印刷を行う時には、印刷画像生成部113は、インクシートがイエロー(Y)、マゼンタ(M)、シアン(C)、特色(S)の4種類となり、4種類のデータを生成する。印刷部114においては、Y・M・C・Sの各インク層を用紙に順次熱転写し、用紙を記録開始位置に戻して全色の印刷を行う。   The printing unit 114 of this embodiment employs a sublimation type thermal transfer recording method, and uses an ink cartridge in which an ink sheet and paper are integrated. The ink sheet covers the print area of the paper and is provided with a yellow (Y), magenta (M), and cyan (C) ink layer and an overcoat (OP) layer arranged in a size substantially equal to the size. . When thermal transfer is performed on each layer in the printing unit 114, the paper is returned to the recording start position, and is sequentially transferred onto the paper. Therefore, the print image generation unit 113 performs conversion from the YUV format to the YMC format. The print image generation unit 113 also performs a process of combining a stamp image, a balloon, a character string, and the like with the YMC converted image (photograph). The printing unit 114 sequentially heat-transfers the Y, M, and C ink layers to the paper using the Y, M, and C color data generated by the print image generation unit 113, returns the paper to the recording start position, and completes the printing. Print colors. When performing spot color printing, the print image generation unit 113 generates four types of data, with the ink sheet having four types of yellow (Y), magenta (M), cyan (C), and special color (S). In the printing unit 114, the Y, M, C, and S ink layers are sequentially thermally transferred to the paper, and the paper is returned to the recording start position to print all colors.

また、補助記憶部115は、ハードディスクドライブやフラッシュメモリなどで構成される記憶装置であり、画像補正後のYUV形式の写真データやJPEG形式のデータ、印刷条件の情報などが記憶される。   The auxiliary storage unit 115 is a storage device configured by a hard disk drive, a flash memory, or the like, and stores image data in YUV format after image correction, data in JPEG format, information on printing conditions, and the like.

次に、図2を参照しながら、本実施形態に係るプリンタ100の全体動作について説明する。図2は、本実施形態に係るプリンタ100による印刷処理を行うまでの手順の一例を示すフローチャートである。なお、図2に示す各処理は、システム制御部106の制御により行われる。図2の処理はカードリーダ102に装着されたメモリーカードから画像データ(写真データ)を読み出し、その画像にスタンプ画像を追加して印刷する場合の、プリンタ100の電源を投入した後の動作を示している。   Next, the overall operation of the printer 100 according to the present embodiment will be described with reference to FIG. FIG. 2 is a flowchart illustrating an example of a procedure until print processing is performed by the printer 100 according to the present embodiment. 2 is performed under the control of the system control unit 106. The process of FIG. 2 shows an operation after the printer 100 is turned on when image data (photo data) is read from a memory card attached to the card reader 102 and a stamp image is added to the image for printing. ing.

まず、ステップS201において、電源部101においてプリンタ100の電源が切られたか否かを判断する。この判断の結果、電源が切られていない場合は、ステップS202に進み、電源が切られている場合は、そのまま処理が終了する。次に、ステップS202において、印刷部114にインクカートリッジがセットされているか否かを検出する。この検出の結果、インクカートリッジがセットされていない場合はステップS201に戻り、インクカートリッジがセットされている場合は、ステップS203に進む。   First, in step S201, the power supply unit 101 determines whether the printer 100 has been turned off. As a result of this determination, if the power is not turned off, the process proceeds to step S202. If the power is turned off, the process is ended as it is. Next, in step S202, it is detected whether or not an ink cartridge is set in the printing unit 114. If the ink cartridge is not set as a result of the detection, the process returns to step S201. If the ink cartridge is set, the process proceeds to step S203.

次に、ステップS203において、インクカートリッジに記録紙が残っているか否かを検出する。この検出の結果、記録紙が残っている場合はステップS204に進み、記録紙が残っていない場合はステップS201に戻る。次に、ステップS204において、IO制御部104を介して、カードリーダ102にメモリーカードが挿入されているか否かを判断する。この判断の結果、メモリーカードが挿入されている場合はステップS205に進み、メモリーカードが挿入されていない場合はステップS201に戻る。   Next, in step S203, it is detected whether or not recording paper remains in the ink cartridge. As a result of the detection, if recording paper remains, the process proceeds to step S204. If no recording paper remains, the process returns to step S201. Next, in step S <b> 204, it is determined whether a memory card is inserted into the card reader 102 via the IO control unit 104. As a result of the determination, if a memory card is inserted, the process proceeds to step S205, and if a memory card is not inserted, the process returns to step S201.

次に、ステップS205において、画像表示部110に表示されたUI画面の指示に従って、スタンプ合成位置決定処理を行う。なお、このスタンプ合成位置決定処理の詳細については後述する。そして、ステップS206において、ユーザによりUI操作部111にある印刷設定釦が押されたか否かを判断する。この判断の結果、ユーザにより印刷設定釦が押された場合はステップS207に進み、押されていない場合はステップS208に進む。   Next, in step S205, stamp combination position determination processing is performed in accordance with instructions on the UI screen displayed on the image display unit 110. Details of this stamp composition position determination process will be described later. In step S206, it is determined whether or not the user has pressed a print setting button on the UI operation unit 111. As a result of the determination, if the print setting button is pressed by the user, the process proceeds to step S207, and if not, the process proceeds to step S208.

ステップS207においては、画像表示部110に表示された印刷条件メニューに従ってユーザによりUI操作部111のメニュー操作釦が操作され、印刷画像の明るさやコントラスト、色変換などの各種補正処理やレイアウトの構成などの印刷条件を設定する。そして、ステップS208において、ユーザによりUI操作部111の印刷釦が押されたか否かを判断する。この判断の結果、印刷釦が押された場合はステップS209へ進み、印刷釦が押されていない場合はステップS201に戻る。   In step S207, the menu operation button of the UI operation unit 111 is operated by the user according to the print condition menu displayed on the image display unit 110, and various correction processes such as brightness, contrast, and color conversion of the print image, layout configuration, and the like. Set the printing conditions. In step S208, it is determined whether or not the user has pressed the print button of the UI operation unit 111. As a result of the determination, if the print button is pressed, the process proceeds to step S209, and if the print button is not pressed, the process returns to step S201.

次に、ステップS209において、カードリーダ102を介してメモリーカードから画像データをRAM107へ読み出す。そして、画像処理部108によりROM105に記憶されている初期設定の印刷条件、またはステップS207において設定した印刷条件に基づいて、読み出した画像データ(写真データ)をJPEG形式からYUV形式へ変換する。さらには、画像補正部112により明るさ、コントラスト、色などの各種画像補正処理を行う。   Next, in step S209, the image data is read from the memory card to the RAM 107 via the card reader 102. Then, the image processing unit 108 converts the read image data (photo data) from the JPEG format to the YUV format based on the initial printing conditions stored in the ROM 105 or the printing conditions set in step S207. Further, the image correction unit 112 performs various image correction processes such as brightness, contrast, and color.

次に、ステップS210において、印刷画像生成部113により、補正処理がなされた写真データをYUV形式からYMC形式へ変換する。そして、ステップS211において、YMC形式に変換した写真に対し、ステップS205で決定された合成位置にスタンプ画像を合成する。次に、ステップS212において、印刷部114によりステップS210及びS211により生成された印刷画像を印刷する。そして、ステップS201に戻る。   Next, in step S210, the print image generation unit 113 converts the corrected photographic data from the YUV format to the YMC format. In step S211, a stamp image is combined with the photograph converted into the YMC format at the combination position determined in step S205. In step S212, the printing unit 114 prints the print image generated in steps S210 and S211. Then, the process returns to step S201.

本実施形態では、(a)に示すように、写真に合成するための合成画像データは、スタンプ画像そのものの画像データ、付随情報としてマスクデータ、重なり禁止データの3つのデータから構成されている。画像データは、bitmap形式やYUV形式などのものであり画像データそのものが記述されている。マスクデータは、画像の透過について記述されている1ピクセルにつき1bitのデータを有し、この値が0である箇所は透明の透過する箇所を示している。図3のマスクデータでは、値が0であるか所は黒い部分で示している。重なり禁止データは、スタンプ画像の重なり禁止領域を記述している1ピクセルにつき1bitの情報をもつデータである。この値が1であった場合は、他のスタンプ画像との重なりを禁止する重なり禁止領域を示し、0であった場合は他のスタンプ画像との重なりを許可する重なり許可領域を示す。図3の重なり禁止領域データでは、値が0の部分を黒色、値が1の重なり禁止領域となる部分を白色で示している。前述したように、これらの合成画像データはROM105に予め記憶されている。   In this embodiment, as shown in (a), the composite image data to be combined with the photograph is composed of three data: image data of the stamp image itself, mask data as accompanying information, and overlap prohibition data. The image data is in bitmap format, YUV format, etc., and the image data itself is described. The mask data has 1-bit data per pixel describing the transmission of the image, and a portion where this value is 0 indicates a transparent transparent portion. In the mask data of FIG. 3, the place where the value is 0 is indicated by a black portion. The overlap prohibition data is data having 1-bit information per pixel describing the overlap prohibition area of the stamp image. When this value is 1, it indicates an overlap prohibition area that prohibits overlap with other stamp images, and when it is 0, it indicates an overlap permission area that permits overlap with other stamp images. In the non-overlapping area data in FIG. 3, a part having a value of 0 is shown in black, and a part to be an overlapping prohibited area having a value of 1 is shown in white. As described above, these composite image data are stored in the ROM 105 in advance.

次に、図6のフローチャートを参照しながら、スタンプ画像の重なり判別について説明する。図6は、写真にスタンプ画像を合成する場合の処理手順の一例を示すフローチャートであり、図2のステップS205で行われる処理を示している。また、図6に示す各処理は、システム制御部106の制御により行われる。このとき、画像表示部110には写真とスタンプ画像とが表示されており、ユーザがUI操作部111を操作してスタンプ画像を移動させることによって、スタンプ画像の合成位置を決定する。ここで決定した合成位置の情報は、RAM107に一時的に記憶され、図2のステップS211にて、RAM107から合成位置の情報を読み出し、実際に合成処理を行う。   Next, stamp image overlap determination will be described with reference to the flowchart of FIG. FIG. 6 is a flowchart illustrating an example of a processing procedure when a stamp image is combined with a photograph, and illustrates the processing performed in step S205 of FIG. Each process shown in FIG. 6 is performed under the control of the system control unit 106. At this time, a photograph and a stamp image are displayed on the image display unit 110, and the stamp position is determined by the user operating the UI operation unit 111 to move the stamp image. The information on the combination position determined here is temporarily stored in the RAM 107, and in step S211 in FIG. 2, the information on the combination position is read from the RAM 107 and actually combined.

まず、ステップS601において、メモリーカードに記憶されている写真データから、画像表示部110に表示するための表示用写真データを作成し、RAM107に記憶する。この表示用写真データは、スタンプ画像の合成位置を決めるために使用されるものである。次に、ステップS602において、写真データにおける重なり禁止データを作成し、RAM107に記憶する。この重なり禁止データは、写真に合成するスタンプ画像の重なり禁止領域が、写真のどの位置に存在しているかを示すものであり、初期状態では、図5(a)に示すように、すべての領域が重なり許可領域になっている。   First, in step S <b> 601, display photo data to be displayed on the image display unit 110 is created from the photo data stored in the memory card and stored in the RAM 107. This display photograph data is used to determine the composite position of the stamp image. Next, in step S <b> 602, overlap prohibition data in the photographic data is created and stored in the RAM 107. This overlap prohibition data indicates in which position the overlap prohibition area of the stamp image to be combined with the photograph exists. In the initial state, as shown in FIG. Is an overlapping allowed area.

次に、ステップS603において、写真に合成するスタンプ画像の個数を表す変数Nを0に初期化し、ステップS604に進む。そして、ステップS604において、ユーザによってUI操作部111が操作されることにより、印刷する写真に合成するスタンプ画像を選択する。本実施形態では、合成するスタンプ画像として図3(a)に示すスタンプ画像がユーザによって選択されたものとする。   In step S603, a variable N indicating the number of stamp images to be combined with the photograph is initialized to 0, and the process proceeds to step S604. In step S604, the user operates the UI operation unit 111 to select a stamp image to be combined with the photograph to be printed. In this embodiment, it is assumed that the stamp image shown in FIG. 3A is selected by the user as the stamp image to be combined.

次に、ステップS605において、ユーザによるUI操作部111の操作によりスタンプ画像を合成する位置を仮決定し、仮合成位置情報として一時的にRAM107に保持する。そして、ステップS606において、合成する予定のスタンプ画像の個数Nが0であるか否かを判断する。この判断の結果、Nが0であった場合は、ステップS609に進み、Nが0でない場合は、ステップS607に進む。なお、ステップS607に進んだ場合の処理については後述する。   Next, in step S605, a position where the stamp image is to be combined is provisionally determined by the user operating the UI operation unit 111, and temporarily stored in the RAM 107 as temporary combination position information. In step S606, it is determined whether or not the number N of stamp images to be combined is zero. As a result of this determination, if N is 0, the process proceeds to step S609, and if N is not 0, the process proceeds to step S607. Note that processing in the case of proceeding to step S607 will be described later.

ステップS609においては、RAM107から仮合成位置情報を読み出し、仮決定したスタンプ画像の合成位置を実際に合成する位置として決定し、その合成位置情報をRAM107に記憶する。図2のステップS211で合成処理を行う際には、ステップS609で決定した合成位置をそのまま採用することになる。また、RAM107に記憶されている表示用写真データを読み出し、表示用写真にスタンプ画像を合成し、合成画像を画像表示部110に表示する。次に、ステップS610において、システム制御部106は反映手段として機能し、合成するスタンプ画像の重なり禁止領域を、ステップS602でRAM107に記憶した写真データの重なり禁止データに反映する。   In step S609, the temporary combining position information is read from the RAM 107, the temporarily determined combined position of the stamp image is determined as the actual combining position, and the combined position information is stored in the RAM 107. When performing the composition processing in step S211 in FIG. 2, the composition position determined in step S609 is employed as it is. Further, the display photo data stored in the RAM 107 is read out, a stamp image is combined with the display photo, and the combined image is displayed on the image display unit 110. In step S610, the system control unit 106 functions as a reflecting unit, and reflects the overlap prohibition area of the stamp image to be combined in the overlap prohibition data of the photographic data stored in the RAM 107 in step S602.

図7は、本実施形態において、ステップS610におけるスタンプ画像の重なり禁止領域を反映させる処理手順の一例を示すフローチャートである。なお、図7に示す各処理は、システム制御部106の制御により行われる。
まず、ステップS701において、変数jを0に初期化し、ステップS702において、変数iを0に初期化する。ここで、変数i及びjはそれぞれ、スタンプ画像におけるピクセルの横方向、縦方向を示している。次にステップS703において、以下の数1に示す式(1)計算する。この計算は、重なり禁止領域となるピクセルでは1となり、そうでないピクセルでは0となる。そして、ステップS704において、変数iに1を加える。
FIG. 7 is a flowchart illustrating an example of a processing procedure for reflecting the stamp image overlap prohibition region in step S610 in the present embodiment. 7 is performed under the control of the system control unit 106.
First, in step S701, the variable j is initialized to 0, and in step S702, the variable i is initialized to 0. Here, the variables i and j indicate the horizontal direction and vertical direction of the pixels in the stamp image, respectively. Next, in step S703, the following equation (1) is calculated. This calculation is 1 for pixels that are non-overlapping regions, and 0 for pixels that are not. In step S704, 1 is added to the variable i.

Figure 2011188197
Figure 2011188197

ここで、Yoffset、及びXoffsetは、図8に示すように、印刷する画像とスタンプ画像との縦横それぞれのオフセットであり、ImgWidthとは、表示用写真の横幅である。また、Img_Overlapは、RAM107に記憶されている写真データの重なり禁止データの先頭アドレスを示し、Stamp_Overlapは、ROM105に記憶されているスタンプ画像の重なり禁止データの先頭アドレスを示している。さらに、「OR」は論理和を示している。ここで、Yoffset、及びXoffsetは、図6のステップS605で仮決定した合成位置である。   Here, as shown in FIG. 8, Yoffset and Xoffset are vertical and horizontal offsets of the image to be printed and the stamp image, and ImgWidth is the horizontal width of the display photograph. Further, Img_Overlap indicates the start address of the overlap prohibition data of the photo data stored in the RAM 107, and Stamp_Overlap indicates the start address of the overlap prohibition data of the stamp image stored in the ROM 105. Furthermore, “OR” represents a logical sum. Here, Yoffset and Xoffset are the synthesis positions provisionally determined in step S605 of FIG.

そして、ステップS705において、変数iがスタンプ画像の横幅StampWidth未満であるか否かを判断する。この判断の結果、スタンプ画像の横幅未満である場合は、ステップS703に戻り、変数iが横幅StampWidthに達した場合は、ステップS706において、変数jに1を加える。そして、ステップS707において、変数jがスタンプ画像の縦幅StampHeight未満であるか否かを判断する。この判断の結果、スタンプ画像の縦幅未満である場合は、ステップS702に戻り、変数jが縦幅StampHeightに達した場合は、処理を終了する。このように、変数i、jがそれぞれスタンプ画像の横幅、縦幅になるまで1ずつ加算し、それぞれのピクセルにおいて、式(1)の計算を行う。   In step S705, it is determined whether or not the variable i is less than the lateral width StampWidth of the stamp image. If it is determined that the width of the stamp image is less than the width of the stamp image, the process returns to step S703. If the variable i has reached the width of StampWidth, 1 is added to the variable j in step S706. In step S707, it is determined whether or not the variable j is less than the vertical width StampHeight of the stamp image. As a result of the determination, if the stamp image is less than the vertical width of the stamp image, the process returns to step S702. If the variable j reaches the vertical width StampHeight, the process ends. In this way, one is added until the variables i and j become the horizontal and vertical widths of the stamp image, respectively, and the calculation of Expression (1) is performed for each pixel.

以上により、写真データの重なり禁止データにスタンプ画像の重なり禁止領域が反映される。図5(b)は、図7の処理により反映された写真データの重なり禁止領域を示す図であり、図3(a)に示すスタンプ画像の重なり禁止領域が反映されている。   Thus, the stamp image overlap prohibition area is reflected in the photographic data overlap prohibition data. FIG. 5B is a diagram showing the photographic data overlap prohibition area reflected by the processing of FIG. 7, and the stamp image overlap prohibition area shown in FIG. 3A is reflected.

図6の説明に戻り、次のステップS611において、合成する予定のスタンプ画像の個数Nに1を加え、ステップS612に進む。そして、ステップS612において、ユーザに対してスタンプ画像をさらに追加するか否かを画像表示部110にガイダンス表示する。この結果、ユーザの操作によりUI操作部111から追加すると選択された場合は、ステップS604に戻り、追加しないと選択された場合は処理を終了する。   Returning to the description of FIG. 6, in the next step S611, 1 is added to the number N of stamp images to be combined, and the process proceeds to step S612. In step S612, guidance is displayed on the image display unit 110 as to whether or not to add a stamp image to the user. As a result, if it is selected to add from the UI operation unit 111 by the user's operation, the process returns to step S604, and if it is selected not to add, the process ends.

次に、図3(b)に示すスタンプ画像を追加する場合について説明する。スタンプ画像を追加する場合は、ステップS612からステップS604に戻り、ユーザにより図3(b)に示すスタンプ画像が選択されるものとする。そして、ステップS605において、スタンプ画像の仮合成位置を決定してRAM107にその仮合成位置情報を保持する。ステップS606では、N≠0となるため、ステップS607に進むことになる。次に、ステップS607において、システム制御部106は判断手段として機能し、RAM107に保持したスタンプ画像の仮合成位置情報を用いて重なり判断を行う。   Next, a case where a stamp image shown in FIG. 3B is added will be described. When adding a stamp image, it returns to step S604 from step S612, and the stamp image shown in FIG.3 (b) shall be selected by the user. In step S605, the temporary combining position of the stamp image is determined and the temporary combining position information is held in the RAM 107. In step S606, since N ≠ 0, the process proceeds to step S607. In step S <b> 607, the system control unit 106 functions as a determination unit, and performs overlap determination using the temporary composite position information of the stamp image held in the RAM 107.

図9は、本実施形態において、ステップS607における重なり判断の詳細な手順の一例を示すフローチャートである。なお、図9に示す各処理は、システム制御部106の制御により行われる。図9に示す処理では、追加するスタンプ画像の領域について、写真データの重なり禁止データと、追加するスタンプ画像のマスクデータとを以下の数2に示す式(2)を用いて比較する。そして、追加するスタンプ画像が写真データの重なり禁止領域に何ピクセル重なっているかを計算し、その量が閾値以上であるか否かを判断する。   FIG. 9 is a flowchart illustrating an example of a detailed procedure of the overlap determination in step S607 in the present embodiment. Each process shown in FIG. 9 is performed under the control of the system control unit 106. In the process shown in FIG. 9, for the region of the stamp image to be added, the photographic data overlap prohibition data and the mask data of the stamp image to be added are compared using Equation (2) shown below. Then, how many pixels the stamp image to be added overlaps with the photographic data overlap prohibition area is calculated, and it is determined whether or not the amount is equal to or more than a threshold value.

Figure 2011188197
Figure 2011188197

ここで、Stamp_Maskは、ROM105に記憶されている図3(b)に示すスタンプ画像のマスクデータの先頭アドレスであり、Img_OverlapはRAM107に記憶されている写真データの重なり禁止領域を示している。また、「AND」は論理積を表わしている。さらに、Yoffset、及びXoffsetとは、図8に示すように、印刷する画像と追加するスタンプ画像とのそれぞれのオフセットを示し、ImgWidthとは、表示用写真データの横幅を示している。ここで、Yoffset、及びXoffsetは、図6のステップS605で決定した、追加するスタンプ画像の仮合成位置である。   Here, Stamp_Mask is the start address of the mask data of the stamp image shown in FIG. 3B stored in the ROM 105, and Img_Overlap indicates a non-overlapping area of photographic data stored in the RAM 107. “AND” represents a logical product. Further, as shown in FIG. 8, Yoffset and Xoffset indicate the respective offsets between the image to be printed and the stamp image to be added, and ImgWidth indicates the horizontal width of the display photo data. Here, Yoffset and Xoffset are temporary synthesis positions of the stamp image to be added, determined in step S605 in FIG.

まず、ステップS901において、重なり禁止領域に重なっているピクセル数を示す変数Overlapを0に初期化する。そして、ステップS902において、変数jを0に初期化し、ステップS903において、変数iを0に初期化する。ここで、変数i及びjはそれぞれ、スタンプ画像におけるピクセルの横方向、縦方向を示している。続くステップS904〜ステップS909では、変数i及びjがそれぞれスタンプ画像の横幅StampWidth、縦幅StampHeightになるまで1ずつ加え、それぞれのピクセルにて、式(2)の比較処理を行う。   First, in step S901, a variable Overlap indicating the number of pixels overlapping the overlap prohibition area is initialized to zero. In step S902, the variable j is initialized to 0. In step S903, the variable i is initialized to 0. Here, the variables i and j indicate the horizontal direction and vertical direction of the pixels in the stamp image, respectively. In subsequent steps S904 to S909, one is added until the variables i and j become the horizontal width StampWidth and the vertical width StampHeight of the stamp image, respectively, and the comparison processing of Expression (2) is performed on each pixel.

ステップS904においては、式(2)が1であるか否かを判断する。ここで、式(2)の計算の結果、写真データの重なり禁止領域が重なりが禁止されていることを示す1であり、追加するスタンプ画像のマスクデータがスタンプ画像として画像が存在することを示す1であった場合のみ、式(2)は1となる。つまり、そのピクセルで重なりが発生することを検知することができる。このように、式(2)が1となり、重なりが発生するピクセルである場合は、ステップS905に進み、重なっているピクセル数を表す変数Overlapに1を加える。一方、式(2)が1でない場合は、ステップS906に進み、変数iに1を加える。   In step S904, it is determined whether or not the formula (2) is 1. Here, as a result of the calculation of the expression (2), the overlap prohibition area of the photo data is 1 indicating that overlap is prohibited, and the mask data of the stamp image to be added indicates that the image exists as the stamp image. Only when it is 1, Equation (2) becomes 1. That is, it is possible to detect that an overlap occurs at that pixel. As described above, when the expression (2) is 1 and the pixel is overlapped, the process proceeds to step S905, and 1 is added to the variable Overlap indicating the number of overlapping pixels. On the other hand, if the formula (2) is not 1, the process proceeds to step S906 and 1 is added to the variable i.

次に、ステップS907において、変数iがスタンプ画像の横幅StampWidth未満であるか否かを判断する。この判断の結果、スタンプ画像の横幅未満である場合は、ステップS904に戻り、変数iが横幅StampWidthに達した場合は、ステップS908において、変数jに1を加える。そして、ステップS909において、変数jがスタンプ画像の縦幅StampHeight未満であるか否かを判断する。この判断の結果、スタンプ画像の縦幅未満である場合は、ステップS903に戻り、変数jが縦幅StampHeightに達した場合は、ステップS910に進む。   Next, in step S907, it is determined whether or not the variable i is less than the lateral width StampWidth of the stamp image. If it is determined that the width of the stamp image is less than the width of the stamp image, the process returns to step S904. If the variable i has reached the width of StampWidth, 1 is added to the variable j in step S908. In step S909, it is determined whether or not the variable j is less than the vertical width StampHeight of the stamp image. As a result of the determination, if the stamp image is less than the vertical width, the process returns to step S903. If the variable j reaches the vertical width StampHeight, the process proceeds to step S910.

このように、追加するスタンプ画像の領域すべてについて比較が行われると、ステップS910に進む。そして、ステップS910において、Overlapの値が所定の閾値TH_Overlap未満であるか否かを判断する。すなわち、Overlapの値と閾値TH_Overlapの大小関係を判断する。ここで、閾値TH_Overlapは、スタンプ画像ごとに予め決めておく重なり禁止領域との重なりをどれぐらい許容するかを示すピクセル数である。この判断の結果、閾値未満であった場合は、ステップS912において、スタンプ画像同士の重っているピクセルが閾値未満であったことを示すフラグfOverlapをFALSEにセットし、処理を終了する。一方、ステップS910の判断の結果、閾値以上であった場合は、ステップS911において、フラグfOverlapをTUREにセットし、処理を終了する。   As described above, when all the regions of the stamp image to be added are compared, the process proceeds to step S910. In step S910, it is determined whether or not the value of Overlap is less than a predetermined threshold value TH_Overlap. That is, the magnitude relationship between the value of Overlap and the threshold value TH_Overlap is determined. Here, the threshold value TH_Overlap is the number of pixels indicating how much overlap with an overlap prohibition area determined in advance for each stamp image is allowed. As a result of this determination, if it is less than the threshold value, in step S912, a flag fOverlap indicating that the overlapping pixels of the stamp images are less than the threshold value is set to FALSE, and the process is terminated. On the other hand, if the result of determination in step S910 is greater than or equal to the threshold value, in step S911, the flag fOverlap is set to TURE, and the process ends.

図6の説明に戻り、次のステップS608においては、図9の処理でセットしたfOverlapがTRUEであるか否かを判断する。この判断の結果、TRUEである場合は、ステップS613に進み、FALSEである場合はステップS609に進み、前述と同様の処理を行う。   Returning to the description of FIG. 6, in the next step S608, it is determined whether or not the fOverlap set in the process of FIG. 9 is TRUE. If the result of this determination is TRUE, the process proceeds to step S613, and if it is FALSE, the process proceeds to step S609, and the same processing as described above is performed.

TRUEである場合は、追加するスタンプ画像が他のスタンプ画像の重なり禁止領域に重なっている。このため、ステップS613においては、システム制御部106は制御手段として機能し、画像表示部110に表示されるUI画面上でスタンプ画像が重なっている旨の警告を表示して、ユーザに知らせる。そして、ステップS614において、追加するスタンプ画像の位置を修正するか否かを問い合わせ、追加するスタンプ画像の位置を修正するようユーザによりUI操作部111から指示されたか否かを判断する。この判断の結果、ユーザにより位置を修正するよう指示された場合は、ステップS605に戻り、修正するよう指示されていない場合は、ステップS609に進み、前述と同様の処理を行う。なお、ステップS613及びステップS614の処理を行う代わりに、追加するスタンプ画像を図3(a)のスタンプ画像の重なり禁止領域に重ならないように自動的に移動させてもよい。   In the case of TRUE, the stamp image to be added overlaps the overlap prohibition area of other stamp images. Therefore, in step S613, the system control unit 106 functions as a control unit and displays a warning that the stamp images overlap on the UI screen displayed on the image display unit 110 to notify the user. In step S614, an inquiry is made as to whether or not the position of the stamp image to be added is to be corrected, and it is determined whether or not the user has instructed the UI operation unit 111 to correct the position of the stamp image to be added. If the result of this determination is that the user has instructed to correct the position, the process returns to step S605. If the user has not instructed to correct the position, the process proceeds to step S609, and the same processing as described above is performed. Note that instead of performing the processing of step S613 and step S614, the stamp image to be added may be automatically moved so as not to overlap the overlap prohibition region of the stamp image of FIG.

以上のように本実施形態によれば、スタンプ画像に重なり禁止領域を記述したデータを付加している。これにより、例えば図4(b)に示すような、ユーザが意図していない重ね合わせについて、スタンプ画像を移動させたり、ユーザへ通知したりして、ユーザの意図しない位置にスタンプ画像が合成されることを防止することができる。   As described above, according to the present embodiment, data describing an overlap prohibition area is added to the stamp image. As a result, for example, as shown in FIG. 4B, the stamp image is synthesized at a position not intended by the user by moving the stamp image or notifying the user about the unintended overlap. Can be prevented.

一方、特定の色を利用する特色印刷の場合においては、重なり禁止データの代わりに特色マスクデータを用いてもよい。特色マスクデータとは、図10に示すような1bitのデータであり、この値が1であった場合(図中の白色の領域)は、そのピクセルについては特色が使用される。この特色マスクデータを重なり禁止データとして使用する。つまり、特色の色データを重なり禁止データとして使用することにより、図4(c)に示すような、スタンプ画像の特色部分同士の重ね合わせを行った場合について、スタンプ画像を移動させたり、ユーザへ警告したりする。   On the other hand, in the case of spot color printing using a specific color, spot color mask data may be used instead of the overlap prohibition data. The spot color mask data is 1-bit data as shown in FIG. 10, and when this value is 1 (white area in the figure), the spot color is used for the pixel. This special color mask data is used as overlapping prohibition data. In other words, by using the color data of the spot color as the overlap prohibition data, when the spot color portions of the stamp image are overlapped as shown in FIG. Warning.

本実施形態では、図3のような合成画像データ、マスクデータ、重なり禁止データを使用したが、図15のようなデータを用いて、重なり禁止を判定しても良い。
図15の合成画像データは、図3(a)の合成画像データと同じであるが、重なり禁止領域データが異なっている。図3(a)では、くまの顔全体が重なり禁止領域となっていたが、図15の重なり禁止領域は、くまの目、鼻部分のみである。これは、目や鼻は、周りが合成画像データで囲まれており、目や鼻の部分に同じ色の合成画像が重なるとくまの目や鼻がなくなってしまう。周りが合成画像データで囲まれている領域は、合成画像において重要な役割を示すことが多い。そこで、図15では、周りが合成画像データで囲まれている部分のみを重なり禁止領域としている。
In this embodiment, composite image data, mask data, and overlap prohibition data as shown in FIG. 3 are used. However, overlap prohibition may be determined using data as shown in FIG.
The composite image data in FIG. 15 is the same as the composite image data in FIG. 3A, but the overlap-prohibited area data is different. In FIG. 3 (a), the entire bear face is a non-overlapping region. However, the non-overlapping region of FIG. This is because the eyes and nose are surrounded by the composite image data, and if the same color composite image overlaps the eyes and nose, the bear's eyes and nose disappear. The area surrounded by the composite image data often shows an important role in the composite image. Therefore, in FIG. 15, only the portion surrounded by the composite image data is set as an overlapping prohibited area.

また、図15では、合成画像中において周りが合成画像データで囲まれている透明な領域を重なり禁止領域として特定するための重なり禁止領域データを用意した。しかし、重なり禁止領域データを合成画像データとは別に用意せずに、合成画像データを解析することにより、周りが合成画像データで囲まれている透明な領域を重なり禁止領域として決定しても良い。また、合成画像データ中の周りが合成画像データで囲まれている透明な領域に、合成画像データと同じ色の合成画像データが重なる場合に、透明な領域とそうでない領域の区別がつかなくなってしまうので、同じ色の合成画像データが重なる場合に特に有効である。したがって、同じ色が重なるときのみ重なりを禁止するようにしても良い。   Further, in FIG. 15, overlap prohibition area data is prepared for specifying a transparent area surrounded by the composite image data in the composite image as an overlap prohibition area. However, a transparent area surrounded by the composite image data may be determined as the overlap prohibition area by analyzing the composite image data without preparing the overlap prohibition area data separately from the composite image data. . In addition, when the composite image data of the same color as the composite image data overlaps the transparent region surrounded by the composite image data in the composite image data, it becomes impossible to distinguish between the transparent region and the other region. Therefore, this is particularly effective when the composite image data of the same color overlap. Therefore, overlapping may be prohibited only when the same color overlaps.

(第2の実施形態)
以下、第2の実施形態について、図11〜図14を参照しながら詳細に説明する。第1の実施形態では、合成する位置を決定したスタンプ画像の一部に、これから追加するスタンプ画像が重ならないように通知したが、本実施形態では、これから追加するスタンプ画像の透過箇所の背景色によっても重ならないように通知する。
(Second Embodiment)
Hereinafter, the second embodiment will be described in detail with reference to FIGS. In the first embodiment, a part of the stamp image for which the position to be combined has been determined is notified so that the stamp image to be added will not overlap. However, in this embodiment, the background color of the transparent portion of the stamp image to be added from now on Notify that there is no overlap.

まず、図11を参照しながら、第1の実施形態における重なり禁止領域と本実施形態における重なり禁止領域との違いについて説明する。第1の実施形態では、例えば図3(a)に示すようなスタンプ画像(第1の合成画像)の顔の部分に他のスタンプ画像(第2の合成画像)が重なった合成画像とならないように、重なり禁止領域は顔の部分だけ設定されていた。本実施形態は、予め決められた色が背景色となってほしくない箇所も指定する。例えば、図11(a)に示すスタンプ画像のように、体の周辺や目、鼻などが重なり禁止領域に設定されている。   First, the difference between the overlap prohibited area in the first embodiment and the overlap prohibited area in the present embodiment will be described with reference to FIG. In the first embodiment, for example, the stamp image (first composite image) as shown in FIG. 3A does not become a composite image in which another stamp image (second composite image) overlaps the face portion. In addition, only the face portion is set as the overlap prohibition area. In the present embodiment, a portion where a predetermined color is not desired to be the background color is also designated. For example, as in the stamp image shown in FIG. 11A, the periphery of the body, the eyes, the nose, and the like are set as the overlapping prohibited area.

以下、本実施形態における処理手順について説明する。なお、本実施形態に係るプリンタは、第1の実施形態と同様であるため、説明は省略する。また、印刷処理を行うまでの手順及びスタンプ画像を合成する位置を決定する処理手順についてもそれぞれ、図2、図6と同様であるため、説明は省略する。なお、本実施形態では、図6のステップS607の詳細な処理手順が図9に示す手順とは異なっており、図6のステップS610の詳細な処理手順が図7に示す手順とは異なっている。   Hereinafter, a processing procedure in the present embodiment will be described. Note that the printer according to this embodiment is the same as that of the first embodiment, and a description thereof will be omitted. Further, the procedure until the printing process and the processing procedure for determining the position where the stamp image is to be combined are the same as those in FIGS. In this embodiment, the detailed processing procedure in step S607 in FIG. 6 is different from the procedure shown in FIG. 9, and the detailed processing procedure in step S610 in FIG. 6 is different from the procedure shown in FIG. .

図12は、本実施形態において、ステップS607における重なり判断の詳細な手順の一例を示すフローチャートである。なお、図12に示す各処理は、システム制御部106の制御により行われる。
まず、ステップS1201において、重なり禁止領域に重なっているピクセル数を示す変数Overlapを0に初期化する。次に、ステップS1202において、スタンプ画像の背景色が予め決められた色以外であるピクセル数を示す変数Underlapを0に初期化する。そして、ステップS1203において、変数jを0に初期化し、ステップS1204において、変数iを0に初期化する。ここで、変数i及びjはそれぞれ、スタンプ画像におけるピクセルの横方向、縦方向を示している。
FIG. 12 is a flowchart illustrating an example of a detailed procedure for determining overlap in step S607 in the present embodiment. Each process illustrated in FIG. 12 is performed under the control of the system control unit 106.
First, in step S1201, a variable Overlap indicating the number of pixels overlapping the overlap prohibition area is initialized to zero. Next, in step S1202, a variable Underlap indicating the number of pixels whose background color of the stamp image is other than a predetermined color is initialized to zero. In step S1203, the variable j is initialized to 0. In step S1204, the variable i is initialized to 0. Here, the variables i and j indicate the horizontal direction and vertical direction of the pixels in the stamp image, respectively.

続くステップS1205〜ステップS1213では、変数i及びjをそれぞれ、スタンプ画像の横幅StampWidth、縦幅StampHeightになるまで1ずつ加える。そして、それぞれのピクセルにて、前述の式(2)の論理演算と、以下の数3に示す式(3)の論理演算とを行う。   In subsequent steps S1205 to S1213, the variables i and j are respectively added one by one until the horizontal width StampWidth and the vertical width StampHeight of the stamp image are obtained. Then, in each pixel, the logical operation of Equation (2) described above and the logical operation of Equation (3) shown in Equation 3 below are performed.

Figure 2011188197
Figure 2011188197

なお、本実施形態においては、Stamp_Maskは、例えばROM105に記憶されている図11(b)に示すスタンプ画像のマスクデータの先頭アドレスを示している。また、Stamp_Overlapは、そのスタンプ画像の重なり禁止データの先頭アドレスを示し、「XOR」は排他的論理を示している。ステップS1205においては、式(2)が1であるか否かを判断する。第1の実施形態と同様に、式(2)の計算の結果、印刷画像の重なり禁止領域が、重なりが禁止されていることを示す1であり、追加するスタンプ画像のマスクデータがスタンプ画像として画像が存在することを示す1であった場合のみ、式(2)は1となる。つまり、その箇所で重なりが発生することを検知することができる。このように、式(2)が1となる場合は、ステップS1206に進み、Overlapに1を加え、ステップS1207に進む。一方、ステップS1205の判断の結果、式(2)が1でない場合は、そのままステップS1207に進む。   In the present embodiment, Stamp_Mask indicates the head address of the mask data of the stamp image shown in FIG. Stamp_Overlap indicates the top address of the overlap prohibition data of the stamp image, and “XOR” indicates exclusive logic. In step S1205, it is determined whether Equation (2) is 1. Similar to the first embodiment, as a result of the calculation of Expression (2), the overlap prohibition area of the print image is 1 indicating that overlap is prohibited, and the mask data of the stamp image to be added is used as the stamp image. Equation (2) becomes 1 only when it is 1 indicating that an image exists. That is, it can be detected that an overlap occurs at that location. Thus, when Formula (2) becomes 1, it progresses to step S1206, 1 is added to Overlap, and it progresses to step S1207. On the other hand, if the result of determination in step S1205 is that expression (2) is not 1, the process proceeds directly to step S1207.

ステップS1207においては、式(3)が1であるか否かを判断する。ここで、式(3)の計算の結果、追加するスタンプ画像の重なり禁止領域が、重なりが禁止されていることを示す1であり、マスクデータが透過データであることを示す0であった場合のみ、式(3)は1となる。つまり、その箇所で、重なり禁止領域に設定されている透過箇所(差分領域)のみを検知することがでる。このように、式(3)が1となる場合はステップS1208に進み、式(3)が1でない場合はステップS1210に進む。   In step S1207, it is determined whether or not the expression (3) is 1. Here, as a result of the calculation of Expression (3), when the overlap prohibition area of the stamp image to be added is 1 indicating that overlap is prohibited and the mask data is 0 indicating that it is transparent data Only, formula (3) becomes 1. That is, only the transparent part (difference area) set as the overlap prohibition area can be detected at that place. As described above, when the expression (3) is 1, the process proceeds to step S1208, and when the expression (3) is not 1, the process proceeds to step S1210.

ステップS1208においては、重なり禁止領域の透過箇所における合成後の写真データの色空間の情報(色情報)を取得し、重なり禁止領域の透過箇所の背景色を、以下の数4に示す式(4)を用いてチェックする。   In step S1208, information on the color space (color information) of the combined photographic data in the transparent portion of the overlap prohibited region is acquired, and the background color of the transparent portion of the overlap prohibited region is expressed by the following equation (4): ) To check.

Figure 2011188197
Figure 2011188197

ここで、Img_Y、Img_U、Img_VはRAM107に記憶されている表示用写真データの、輝度、色差情報のアドレスを表している。また、TH_Y_1、TH_U_1、TH_V_1、TH_Y_2、TH_U_2、TH_V_2は、スタンプ画像ごとに予め決められた、背景色として好ましくないYUVの閾値を表している。なお、スタンプ画像ごとのYUVの閾値の情報は、予めROM105に記憶されている。   Here, Img_Y, Img_U, and Img_V represent addresses of luminance and color difference information of the display photo data stored in the RAM 107. Further, TH_Y_1, TH_U_1, TH_V_1, TH_Y_2, TH_U_2, and TH_V_2 represent YUV threshold values that are determined in advance for each stamp image and are not preferable as background colors. Note that YUV threshold information for each stamp image is stored in the ROM 105 in advance.

図13は、YUVと閾値との関係を示す図である。式(4)は、透過箇所の背景色がブロック1301で囲まれている色空間の範囲内に存在しないか否かを判定するものである。ステップS1208のチェックの結果、式(4)が全て条件を満たす場合は、ステップS1209へ進み、Underlapに1を加え、ステップS1210に進む。一方、ステップS1208のチェックの結果、少なくとも1つが条件を満たさず、色空間の範囲外である場合は、ステップS1210に進み、変数iに1を加える。   FIG. 13 is a diagram showing the relationship between YUV and threshold. Formula (4) is used to determine whether or not the background color of the transparent portion does not exist within the range of the color space surrounded by the block 1301. As a result of the check in step S1208, if all the expressions (4) satisfy the conditions, the process proceeds to step S1209, 1 is added to Underlap, and the process proceeds to step S1210. On the other hand, if it is determined in step S1208 that at least one of the conditions does not satisfy the condition and is outside the color space range, the process proceeds to step S1210 and 1 is added to the variable i.

次に、ステップS1211において、変数iがスタンプ画像の横幅StampWidth未満であるか否かを判断する。この判断の結果、スタンプ画像の横幅未満である場合は、ステップS1205に戻り、変数iが横幅StampWidthに達した場合は、ステップS1212において、変数jに1を加える。そして、ステップS1213において、変数jがスタンプ画像の縦幅StampHeight未満であるか否かを判断する。この判断の結果、スタンプ画像の縦幅未満である場合は、ステップS1204に戻り、変数jが縦幅StampHeightに達した場合は、ステップS1214に進む。   In step S1211, it is determined whether the variable i is less than the stamp image width StampWidth. If it is determined that the width of the stamp image is less than the width of the stamp image, the process returns to step S1205. If the variable i reaches the width of stamp StampWidth, 1 is added to the variable j in step S1212. In step S1213, it is determined whether or not the variable j is less than the vertical width StampHeight of the stamp image. If the result of this determination is that the stamp image is less than the vertical width of the stamp image, the process returns to step S1204, and if the variable j has reached the vertical width StampHeight, the process proceeds to step S1214.

このように、追加するスタンプ画像の領域すべてについて、2つの比較が行われると、ステップS1214に進む。そして、ステップS1214において、Underlapが閾値TH_Underlap未満であり、かつOverlapが閾値TH_Overlap未満であるか否かを確認する。この確認の結果、少なくとも何れかが閾値以上であった場合は、ステップS1215において、フラグfOverlapにTUREをセットし、処理を終了する。一方、ステップS1214の確認の結果、2つとも閾値未満であった場合は、ステップS1216において、フラグfOverlapにFALSEをセットし、処理を終了する。   As described above, when two comparisons are made for all regions of the stamp image to be added, the process proceeds to step S1214. In step S1214, it is confirmed whether Underlap is less than the threshold value TH_Underlap and whether Overlap is less than the threshold value TH_Overlap. If at least one of the results is greater than or equal to the threshold value, the flag fOverlap is set to TURE in step S1215, and the process ends. On the other hand, as a result of the confirmation in step S1214, if both are less than the threshold value, in step S1216, the flag fOverlap is set to FALSE, and the process ends.

図14は、本実施形態において、図6のステップS610におけるスタンプ画像の重なり禁止領域を反映させる処理手順の一例を示すフローチャートである。なお、図14に示す各処理は、システム制御部106の制御により行われる。第1の実施形態で説明した図7と異なる点は、ステップS1403において、式(1)の代わりに以下の数5に示す式(5)を用いて計算する点である。したがって、ステップS1401、ステップS1402、及びステップS1404〜S1407についてはそれぞれ、図7のステップS701、ステップS702、及びステップS704〜S707と同様であるため、説明は省略する。   FIG. 14 is a flowchart showing an example of a processing procedure for reflecting the stamp image overlap prohibition region in step S610 of FIG. 6 in the present embodiment. Each process illustrated in FIG. 14 is performed under the control of the system control unit 106. The difference from FIG. 7 described in the first embodiment is that, in step S1403, the calculation is performed using the following equation (5) instead of equation (1). Therefore, step S1401, step S1402, and steps S1404 to S1407 are the same as step S701, step S702, and steps S704 to S707 in FIG.

Figure 2011188197
Figure 2011188197

以上により、写真データの重なり禁止データにスタンプ画像の重なり禁止データが反映される。このように、スタンプ画像の透過部分に、そのスタンプ画像には好ましくない色が存在した場合、または、重なり禁止領域に他のスタンプ画像が重なった場合に、ユーザへ通知する。もしくは、スタンプ画像の透過部分に、そのスタンプ画像には好ましくない色が存在せず、かつ重なり禁止領域に他のスタンプ画像が重ならないようにスタンプ画像を移動させる。   Thus, the stamp image overlap prohibition data is reflected in the photo data overlap prohibition data. As described above, when an unfavorable color exists in the transparent portion of the stamp image, or when another stamp image overlaps the overlap prohibited area, the user is notified. Alternatively, the stamp image is moved so that there is no unfavorable color in the stamp image in the transparent portion of the stamp image, and another stamp image does not overlap the overlap prohibited area.

(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
(Other embodiments)
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.

Claims (8)

1つの画像に対して複数の合成画像を合成する画像処理装置であって、
前記画像に合成するための複数の合成画像に係る画像データを記憶する記憶手段であって、合成画像に係る画像データとともに前記合成画像の一部の領域であって他の合成画像との重なりを禁止する禁止領域の情報を記憶する記憶手段と、
前記記憶手段に記憶されている合成画像の禁止領域の情報に基づいて、前記画像に合成される合成画像の禁止領域に他の合成画像が重なっているか否かを判断する判断手段と、
前記判断手段によって重なっていると判断された場合には、警告を行う、または前記他の合成画像を前記禁止領域に重ならない位置に移動させるよう制御する制御手段とを有することを特徴とする画像処理装置。
An image processing apparatus for combining a plurality of composite images with one image,
Storage means for storing image data related to a plurality of composite images to be combined with the image, and a part of the composite image together with image data related to the composite image and overlapping with another composite image Storage means for storing information on prohibited areas to be prohibited;
Determining means for determining whether or not another composite image overlaps the prohibited area of the composite image to be combined with the image based on the information of the prohibited area of the composite image stored in the storage means;
An image having control means for performing a warning when it is determined by the determination means to overlap, or controlling the other composite image to move to a position that does not overlap the prohibited area. Processing equipment.
前記記憶手段は、前記合成画像に係る画像データ、前記禁止領域の情報とともに、前記合成画像の周辺において禁止する色に関する色情報を記憶し、
前記画像に第1の合成画像と第2の合成画像との一部が重なって合成される場合、前記第1の合成画像の色情報に基づいて、第2の合成画像の色が、前記第1の合成画像で禁止されている色であるかを判定する判定手段を有し、
前記制御手段は、前記判定手段により、第2の合成画像の色が、前記第1の合成画像で禁止されている色であると判定された場合は、警告を行う、または、前記第1の合成画像と前記第2の合成画像とが重ならない位置に移動させるよう制御することを特徴とする請求項1に記載の画像処理装置。
The storage means stores image data relating to the composite image, information on the prohibited area, and color information related to colors prohibited in the periphery of the composite image,
When a part of the first composite image and the second composite image overlaps the image, the color of the second composite image is determined based on the color information of the first composite image. Determining means for determining whether the color is prohibited in one composite image;
The control means issues a warning when the determination means determines that the color of the second composite image is a color prohibited by the first composite image, or the first composite image The image processing apparatus according to claim 1, wherein the image processing apparatus is controlled to move to a position where the synthesized image and the second synthesized image do not overlap.
前記禁止領域は、特定の色の領域であることを特徴とする請求項1または2に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the prohibited area is a specific color area. 前記禁止領域は、合成画像の中の色がなく透明となる領域であることを特徴とする請求項1ないし3のいずれか1項に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the prohibited area is an area that has no color and is transparent in the composite image. 前記禁止領域は、周りが色データで囲まれた領域であることを特徴とする請求項4に記載の画像処理装置。   The image processing apparatus according to claim 4, wherein the prohibited area is an area surrounded by color data. 前記禁止領域の情報は、前記合成画像に係る画像データに埋め込まれていることを特徴とする請求項1ないし5のいずれか1項に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the information on the prohibited area is embedded in image data relating to the composite image. 前記画像データの中の特定の色の情報を、前記禁止領域の情報として利用することを特徴とする請求項6に記載の画像処理装置。   The image processing apparatus according to claim 6, wherein information on a specific color in the image data is used as information on the prohibited area. 1つの画像に対して複数の合成画像を合成する画像処理方法であって、
前記画像に合成するための複数の合成画像に係る画像データを記憶する記憶手段であって、合成画像に係る画像データとともに前記合成画像の一部の領域であって他の合成画像との重なりを禁止する禁止領域の情報を記憶する記憶手段から、前記合成画像に係る画像データおよび禁止領域の情報を読み出す読み出し工程と、
前記読み出し工程で読み出した合成画像の禁止領域の情報に基づいて、前記画像に合成される合成画像の禁止領域に他の合成画像が重なっているか否かを判断する判断工程と、
前記判断工程で重なっていると判断された場合には、警告を行う、または前記他の合成画像を前記禁止領域に重ならない位置に移動させるよう制御する制御工程とを有することを特徴とする画像処理方法。
An image processing method for combining a plurality of composite images with one image,
Storage means for storing image data related to a plurality of composite images to be combined with the image, and a part of the composite image together with image data related to the composite image and overlapping with another composite image A reading step of reading out image data related to the composite image and information on the prohibited area from storage means for storing information on the prohibited area to be prohibited;
A determination step of determining whether or not another composite image overlaps the prohibited region of the composite image to be combined with the image based on the information of the prohibited region of the composite image read in the read step;
And a control step of controlling to perform a warning when the judgment step determines that the images overlap each other, or to move the other composite image to a position that does not overlap the prohibited area. Processing method.
JP2010050747A 2010-03-08 2010-03-08 Image processing apparatus and image processing method Expired - Fee Related JP5574763B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010050747A JP5574763B2 (en) 2010-03-08 2010-03-08 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010050747A JP5574763B2 (en) 2010-03-08 2010-03-08 Image processing apparatus and image processing method

Publications (2)

Publication Number Publication Date
JP2011188197A true JP2011188197A (en) 2011-09-22
JP5574763B2 JP5574763B2 (en) 2014-08-20

Family

ID=44793962

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010050747A Expired - Fee Related JP5574763B2 (en) 2010-03-08 2010-03-08 Image processing apparatus and image processing method

Country Status (1)

Country Link
JP (1) JP5574763B2 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001357408A (en) * 2000-06-13 2001-12-26 Namco Ltd Information providing system for game and information storage medium
JP2004128944A (en) * 2002-10-03 2004-04-22 Ricoh Co Ltd Copying device
JP2007013467A (en) * 2005-06-29 2007-01-18 Fujifilm Holdings Corp Image compositing device and image compositing program
JP2007310151A (en) * 2006-05-18 2007-11-29 Toshiba Corp Image display device and method
JP2009027250A (en) * 2007-07-17 2009-02-05 Ricoh Co Ltd Image processor and image processing method
JP2009194644A (en) * 2008-02-14 2009-08-27 Fujifilm Corp Image processor, image processing method and image pick-up device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001357408A (en) * 2000-06-13 2001-12-26 Namco Ltd Information providing system for game and information storage medium
JP2004128944A (en) * 2002-10-03 2004-04-22 Ricoh Co Ltd Copying device
JP2007013467A (en) * 2005-06-29 2007-01-18 Fujifilm Holdings Corp Image compositing device and image compositing program
JP2007310151A (en) * 2006-05-18 2007-11-29 Toshiba Corp Image display device and method
JP2009027250A (en) * 2007-07-17 2009-02-05 Ricoh Co Ltd Image processor and image processing method
JP2009194644A (en) * 2008-02-14 2009-08-27 Fujifilm Corp Image processor, image processing method and image pick-up device

Also Published As

Publication number Publication date
JP5574763B2 (en) 2014-08-20

Similar Documents

Publication Publication Date Title
US9781294B1 (en) System and method for rendering micro gloss effect image patterns on a recording medium
JP5058887B2 (en) Image processing apparatus, image processing method, and program
US9614995B1 (en) System and method for generating vector based correlation marks and vector based gloss effect image patterns for rendering on a recording medium
JP5014284B2 (en) Image processing apparatus, image processing method, and program
US10051156B2 (en) System and method for producing correlation and gloss mark images
JP5436367B2 (en) Graphic arrangement determining method, program thereof, and information processing apparatus
US8225210B2 (en) Image processing apparatus and control method
US9661186B1 (en) System and method for rendering gloss effect image patterns on a recording medium
US9883073B2 (en) System and method for producing seesaw gloss effect and recording medium with seesaw gloss effect
JP2002240402A (en) Printer and printing method for image and associated information
US9883071B2 (en) Image processing apparatus, terminal device, and non-transitory data recording medium recording control program
JP2010062740A (en) Image processor, and image processing method
JP2002288682A (en) Logo data generating method, recording medium with recorded with the method, program product containing execution command for the method, and logo data generating device
JP5574763B2 (en) Image processing apparatus and image processing method
US9538041B1 (en) System and method for producing seesaw gloss effect and recording medium with seesaw gloss effect
JP2009081825A (en) Image forming apparatus and image forming method
JP4813276B2 (en) Image processing apparatus, image processing method, and image forming apparatus
JP6492964B2 (en) ID card creation device and ID card creation system
US11872833B2 (en) Infrared effect preserved on copy
JP4158681B2 (en) Image processing system
JP4305343B2 (en) Image processing device
JP2003331317A (en) Image processing device and method, program, and recording medium
JP6137998B2 (en) Image processing apparatus, image forming apparatus, program, and recording medium
CN117785076A (en) Image processing method, image processing apparatus, printing method, and print output system
JP5783690B2 (en) Print processing apparatus and control method thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140311

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140507

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140603

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140701

R151 Written notification of patent or utility model registration

Ref document number: 5574763

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees