JP2001268342A - Method and system for reproducing image with message - Google Patents

Method and system for reproducing image with message

Info

Publication number
JP2001268342A
JP2001268342A JP2000075559A JP2000075559A JP2001268342A JP 2001268342 A JP2001268342 A JP 2001268342A JP 2000075559 A JP2000075559 A JP 2000075559A JP 2000075559 A JP2000075559 A JP 2000075559A JP 2001268342 A JP2001268342 A JP 2001268342A
Authority
JP
Japan
Prior art keywords
image
message
written
data
writing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000075559A
Other languages
Japanese (ja)
Other versions
JP4076311B2 (en
Inventor
Naoto Kaneshiro
金城  直人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2000075559A priority Critical patent/JP4076311B2/en
Publication of JP2001268342A publication Critical patent/JP2001268342A/en
Application granted granted Critical
Publication of JP4076311B2 publication Critical patent/JP4076311B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To allow a plurality of persons to write a message in a photographic image, and also improve the entertainment of a photograph. SOLUTION: A written message or a message image prepared by one or more persons is obtained for image data to be reproduced, and the image data are synthesized with the written message or the message image so as to be reproduced as a visible image in this method for reproducing an image with a message.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、撮影画像データを
可視画像として再生する際に、メッセージを合成するよ
うにしたメッセージ付き画像再生方法およびシステムに
関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method and a system for reproducing an image with a message, in which a message is synthesized when reproducing photographed image data as a visible image.

【0002】[0002]

【従来の技術】近年、プリント写真に吹き出しやタイト
ル等のメッセージを書き込んだり、貼り付けたりするこ
とが行われている。例えば、予めタイトル等を写真フィ
ルムの磁気記録層に記録しておき、写真プリントの際
に、これらのタイトル情報を読み出して、タイトル等を
合成してプリントする方法が知られている。しかし、こ
のような方法では、タイトル等を撮影の際に入力してお
く必要があり、撮影された画面にぴったりするタイトル
を入力するのは困難である等の問題があった。
2. Description of the Related Art In recent years, messages such as balloons and titles have been written or pasted on printed photographs. For example, a method is known in which a title or the like is recorded in advance on a magnetic recording layer of a photographic film, and when printing a photograph, the title information is read out, and the title and the like are combined and printed. However, in such a method, it is necessary to input a title or the like at the time of shooting, and there is a problem that it is difficult to input a title that fits the shot screen.

【0003】そこで、本出願人は、すでに、このような
問題を解決し、予めプリント写真を作成することなく、
写真フィルムに手書きの要領でメッセージを簡単に追加
することができるようにしたメッセージ付きプリント作
成方法およびシステムを特開平10−260482号公
報において提案している。すなわち、これは、プリント
受注者が現像処理済の写真フィルム上のプリント対象画
像をスキャナで読み取り、これに基づいて、プリント参
照画像を作成し、これをプリント発注者に電送すると、
プリント発注者がこれにメッセージを記録してプリント
受注者に電送し、プリント受注者側で前記メッセージを
プリント対象画像に合成して、合成画像をプリントする
というものである。
Therefore, the present applicant has already solved such a problem, and without preparing a print photograph in advance,
Japanese Patent Application Laid-Open No. H10-260482 proposes a method and system for creating a print with a message which enables a message to be easily added to a photographic film in a handwritten manner. In other words, this means that the print orderer reads the image to be printed on the developed photographic film with a scanner, creates a print reference image based on this, and sends it to the print orderer,
The print orderer records the message in the message and sends it to the print orderer, and the print orderer combines the message with the print target image and prints the synthesized image.

【0004】[0004]

【発明が解決しようとする課題】しかしながら、前記特
開平10−260482号公報に開示されたものは、プ
リント受注者(ラボ側)が1人のプリント発注者(顧
客)のみを相手にし、この1人のプリント発注者とやり
とりをして、メッセージの合成されたプリントを作成す
るようにしているだけであり、複数人が撮影した写真
に、複数人が同時にメッセージを書き込むような、いわ
ゆる寄せ書き的な機能は有しておらず、また、出力対象
もプリントに限定されていたため、写真の娯楽性を高め
るために、さらなる改良の余地があった。本発明は、前
記従来の問題に鑑みてなされたものであり、写真画像に
対し複数人によるメッセージの書き込みを可能とすると
ともに、写真の娯楽性を高めることのできるメッセージ
付き画像再生方法およびシステムを提供することを課題
とする。
However, in the apparatus disclosed in Japanese Patent Application Laid-Open No. Hei 10-260482, the print orderer (laboratory) deals only with one print orderer (customer). It merely interacts with the print orderer to create a composite print of the message, so that multiple people write messages at the same time on photos taken by multiple people, Since it has no function and the output target is limited to print, there is room for further improvement in order to enhance the enjoyment of photographs. SUMMARY OF THE INVENTION The present invention has been made in view of the above-mentioned conventional problems, and provides a method and system for reproducing an image with a message, which enables a plurality of people to write a message on a photographic image and enhances the entertainment of the photograph. The task is to provide.

【0005】[0005]

【課題を解決するための手段】前記課題を解決するため
に、本発明の第一の態様は、再生すべき画像データに対
し、1人以上の者によってそれぞれ作成された書き込み
メッセージまたはメッセージ画像を取得し、前記画像デ
ータと前記書き込みメッセージまたはメッセージ画像と
を合成して、可視画像として再生することを特徴とする
メッセージ付き画像再生方法を提供する。
According to a first aspect of the present invention, a writing message or a message image created by one or more persons is created for image data to be reproduced. A method for reproducing an image with a message, comprising: acquiring, synthesizing the image data and the writing message or the message image, and reproducing as a visible image.

【0006】また、前記画像データから、前記書き込み
メッセージまたはメッセージ画像を書き込むべき参照画
像を作成し、該参照画像を、前記書き込みメッセージま
たはメッセージ画像を書き込むべき前記1人以上の者に
電送し、該一人以上の者によって前記参照画像に基づい
て作成され、返送された、書き込みメッセージまたはメ
ッセージ画像を表す返送データに基づいて、前記画像デ
ータと、前記書き込みメッセージまたはメッセージ画像
との合成を行うようにしたことが好ましい。
Further, a reference image to which the writing message or the message image is to be written is created from the image data, and the reference image is transmitted to the one or more persons to which the writing message or the message image is to be written. Based on return data representing a written message or a message image created and returned by one or more persons based on the reference image, the image data is combined with the written message or the message image. Is preferred.

【0007】また、前記返送データは、書き込みメッセ
ージまたはメッセージ画像の書き込まれた参照画像であ
り、該返送された参照画像から書き込みメッセージまた
はメッセージ画像およびその記録位置を読み出し、これ
らの情報をもとに前記画像データに、前記書き込みメッ
セージまたはメッセージ画像を合成することが好まし
い。
The return data is a reference image in which a write message or a message image is written, and reads out the write message or the message image and its recording position from the returned reference image, and based on the information, Preferably, the writing message or the message image is combined with the image data.

【0008】また、前記返送データは、書き込みメッセ
ージまたはメッセージ画像及びこれらの前記画像データ
への合成エリアを含む加工情報であることが好ましい。
It is preferable that the return data is processing information including a write message or a message image and a synthesis area of the image and the message image.

【0009】また、前記書き込みメッセージは、音声デ
ータであることが好ましい。
[0009] Preferably, the write message is audio data.

【0010】また、前記メッセージ画像は、動画である
ことが好ましい。
Preferably, the message image is a moving image.

【0011】また、前記画像データに前記書き込みメッ
セージまたはメッセージ画像を合成する際、前記書き込
みメッセージまたはメッセージ画像が重なった場合に
は、これらが重ならないようにその合成エリアを移動す
るようにしたことが好ましい。
Further, when the writing message or the message image is combined with the image data, if the writing message or the message image overlaps, the combining area is moved so that these do not overlap. preferable.

【0012】また、前記画像データに前記書き込みメッ
セージまたはメッセージ画像を合成する際、前記一人以
上の者に対応した所定の登録画像をも合成するようにし
たことが好ましい。
[0012] It is preferable that when the writing message or the message image is combined with the image data, a predetermined registered image corresponding to the one or more persons is also combined.

【0013】また、同様に前記課題を解決するために、
本発明の第二の態様は、画像データから、書き込みメッ
セージまたはメッセージ画像を書き込むべき参照画像を
作成する手段と、該参照画像を1人以上の者に電送する
手段と、前記画像データに前記1人以上の者による書き
込みメッセージまたはメッセージ画像を合成するため
の、前記1人以上の者から返送された、前記参照画像に
対応するデータを、受信する手段と、前記受信した参照
画像に対応するデータに基づいて、前記画像データに、
前記書き込みメッセージまたはメッセージ画像を合成す
る手段と、を備えたことを特徴とするメッセージ付き画
像再生システムを提供する。
[0013] Similarly, in order to solve the above-mentioned problems,
According to a second aspect of the present invention, there is provided means for creating a writing message or a reference image to which a message image is to be written from image data, means for transmitting the reference image to one or more persons, and Means for receiving data corresponding to the reference image returned from the one or more persons for synthesizing a written message or a message image by more than one person, and data corresponding to the received reference image Based on the image data,
Means for synthesizing the written message or the message image.

【0014】また、前記書き込みメッセージまたはメッ
セージ画像を合成するためのデータは、書き込みメッセ
ージまたはメッセージ画像の書き込まれた参照画像であ
り、さらに、該書き込みメッセージまたはメッセージ画
像の書き込まれた参照画像から書き込みメッセージまた
はメッセージ画像およびその記録位置を読み取る手段
と、を備えたことが好ましい。
The data for synthesizing the write message or the message image is a reference image on which the write message or the message image is written. Alternatively, it is preferable to include a means for reading the message image and its recording position.

【0015】また、さらに、前記書き込みメッセージま
たはメッセージ画像を合成する際、前記書き込みメッセ
ージまたはメッセージ画像が重なった場合には、これら
が重ならないようにその合成エリアを移動する手段を備
えたことが好ましい。
[0015] Further, it is preferable that, when the writing message or the message image is synthesized, when the writing message or the message image overlaps, a means for moving the synthesis area so that they do not overlap is provided. .

【0016】また、さらに、前記画像データに、前記一
人以上の者の各々に対応した所定の登録画像を合成する
手段を備えたことが好ましい。
Further, it is preferable that the apparatus further comprises means for synthesizing a predetermined registered image corresponding to each of the one or more persons with the image data.

【0017】[0017]

【発明の実施の形態】以下、本発明に係るメッセージ付
き画像再生方法およびシステムについて、添付の図面に
示される好適実施形態を基に、詳細に説明する。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, a method and system for reproducing an image with a message according to the present invention will be described in detail based on a preferred embodiment shown in the accompanying drawings.

【0018】図1は、本発明に係るメッセージ付き画像
再生システムの一実施形態の概略を示すブロック図であ
る。このメッセージ付き画像再生システム10は、画像
再生の注文を受ける受注者であるラボ20と、画像再生
の注文をする顧客A側の画像電送装置30及び再生画像
にメッセージを書き込む複数の顧客B1、・・・、B
x、・・・、Bn側の画像電送装置40とから構成され
る。画像電送装置30、40としては、特に限定される
ものではないが、FAX(ファクシミリ装置)、PC
(パーソナルコンピュータ)あるいはPDA(Personal
Digital Assistant、携帯情報端末)等が例示される。
FIG. 1 is a block diagram schematically showing an embodiment of an image reproducing system with a message according to the present invention. The message-attached image reproduction system 10 includes a lab 20, which is an order receiver receiving an image reproduction order, an image transmission device 30 on the customer A side who orders the image reproduction, and a plurality of customers B1, who write a message in the reproduced image.・ ・ 、 B
, Bn-side image transmission device 40. The image transmission devices 30 and 40 are not particularly limited, but include a facsimile (facsimile), a PC
(Personal Computer) or PDA (Personal
Digital Assistant, portable information terminal) and the like.

【0019】ラボ20は、主にスキャナ21、メモリ2
2、画像処理装置23、画像電送装置24およびプリン
タ25を備えている。スキャナ21は、フィルムに撮影
された画像を光電的に読み取るものであり、メモリ22
は、スキャナ21によって読み取られた画像データを記
憶しておくためのものである。また、画像処理装置23
は、メモリ22に保持されている画像データから画像エ
リアに基づき各コマの画像を抽出し、予め決定されてい
るフォーマットに応じて、顧客側の者がメッセージ等を
書き込むべき参照画像を作成し、顧客側から返送された
データに基づき、メッセージが書き込まれた参照画像か
らメッセージ部分を抽出し、さらに元の画像データにメ
ッセージ画像を合成して合成画像を作成する他、様々な
画像処理を行うものである。画像電送装置24は、顧客
との間で画像データをやりとりするためのものである。
プリンタ25は、メッセージの合成された写真プリント
を出力するものである。また、画像処理装置23には、
各種処理を行うための補助装置として、ディスプレイ2
6、キーボード27およびマウス28が接続されてい
る。
The lab 20 mainly includes a scanner 21 and a memory 2
2, an image processing device 23, an image transmission device 24, and a printer 25. The scanner 21 photoelectrically reads an image photographed on a film, and a memory 22
Is for storing image data read by the scanner 21. The image processing device 23
Extracts the image of each frame from the image data held in the memory 22 based on the image area, creates a reference image in which a customer side should write a message or the like according to a predetermined format, Based on the data returned from the customer side, extracts the message part from the reference image in which the message is written, combines the message image with the original image data to create a composite image, and performs various image processing It is. The image transmission device 24 is for exchanging image data with a customer.
The printer 25 outputs a photographic print in which the message is combined. Further, the image processing device 23 includes:
The display 2 is used as an auxiliary device for performing various processes.
6, a keyboard 27 and a mouse 28 are connected.

【0020】図1に示すメッセージ付き画像再生システ
ム10において、まず顧客Aが原画像をラボ20に送
る。これは、顧客Aがフィルムをラボ20に現像に出す
というやり方でもよいし、原画像がデジタルデータにな
っており、画像電送装置30がPCであれば、PC通信
等の通信ネットワークを通じて送るようにしてもよい。
ラボ20は、顧客Aから原画像を受け取ると、これから
顧客側がメッセージを書き込むときに参照しながらメッ
セージ等を書き込むための参照画像を作成して、この参
照画像を、メッセージを書き込んでもらうために、各顧
客B1、・・・、Bx、・・・、Bnに送る。このと
き、ラボ20が、どの顧客Bxに参照画像を送るかとい
う参照画像の配布先情報は、顧客Aが、再生画像にメッ
セージを書き込んでほしい顧客Bxを指定して配布先情
報を作成し、原画像と一緒にラボ20に送るようにす
る。なお、顧客Aがフィルムをラボ20に出す場合に
は、配布先情報を記入する用紙が用意されていることが
好ましい。また、顧客A自身もメッセージを書き込むこ
とができるように、ラボ20は顧客Aにも参照画像を送
るようにしてもよい。
In the image reproduction system with message 10 shown in FIG. 1, a customer A first sends an original image to a laboratory 20. This may be a method in which the customer A sends the film to the lab 20 for development, or if the original image is digital data and the image transmission device 30 is a PC, the image is transmitted through a communication network such as a PC communication. You may.
When the lab 20 receives the original image from the customer A, the lab 20 creates a reference image for writing a message or the like while referring to when the customer writes a message, and in order to have this reference image written by the message, , Bx,..., Bn. At this time, the distribution destination information of the reference image to which the lab 20 sends the reference image to which customer Bx, the distribution destination information is created by specifying the customer Bx that the customer A wants to write the message on the reproduced image, It is sent to the lab 20 together with the original image. When the customer A puts out the film to the lab 20, it is preferable that a sheet for entering distribution destination information is prepared. The lab 20 may also send the reference image to the customer A so that the customer A can also write the message.

【0021】ラボ20は、画像処理装置23において、
原画像の縮小画像を作成して、コマ単位、あるいはイン
デックスプリント風に、例えば図2に示すようにA4サ
イズに6枚の縮小画像を並べた参照画像50を作成する
が、参照画像の形式はこれに限定されるものではない。
顧客Aがフィルムで出した場合には、ラボ20は、フィ
ルムをスキャナ21で読み込んで、読み込んだ画像デー
タを一旦メモリ22に記憶しておき、画像処理装置23
がこの画像データを用いて参照画像50を作成する。参
照画像50を作成したラボ20は、指定された配布先情
報にしたがって、参照画像50を画像電送装置24より
各顧客Bxの画像電送装置40に電送する。参照画像5
0は、顧客Bx側の画像電送装置40で受信される。例
えば画像電送装置40がFAXの場合には、参照画像5
0がこのFAXにより記録紙に熱記録され、例えば図2
に示すようなメッセージ書き込み用紙52が作成され
る。
The lab 20 has an image processing device 23
A reduced image of the original image is created, and a reference image 50 in which six reduced images are arranged in A4 size, for example, as shown in FIG. 2 in frame units or in an index print style, is created. It is not limited to this.
When the customer A takes out a film, the lab 20 reads the film with the scanner 21 and temporarily stores the read image data in the memory 22.
Creates a reference image 50 using this image data. The lab 20 that has created the reference image 50 transmits the reference image 50 from the image transmission device 24 to the image transmission device 40 of each customer Bx according to the designated distribution destination information. Reference image 5
0 is received by the image transmission device 40 on the customer Bx side. For example, when the image transmission device 40 is a facsimile, the reference image 5
0 is thermally recorded on the recording paper by this FAX.
A message writing sheet 52 as shown in FIG.

【0022】メッセージ書き込み用紙52は、写真フィ
ルムの撮影枚数に応じて複数枚出力される。メッセージ
書き込み用紙52は、図2に示すように、各コマFの下
方にコマ番号Nとコマ識別バーコードBが配置される。
コマ識別バーコードBは、受け付け番号と各コマ番号と
を合成して作成される。受け付け番号は写真フィルムの
受け付け時に各フィルム毎に作成され、これにより各ユ
ーザー(顧客)の写真フィルムが識別される。この受け
付け番号は、バーコードとともにラベル印刷され、この
チェックラベルが、図示しない受け付け袋(DP袋)お
よび写真フィルムに貼られる。また、メッセージ書き込
み用紙52の下部には、ユーザーID番号53およびそ
のバーコード54と、受け付け番号55およびそのバー
コード56とが記録されている。
A plurality of message writing sheets 52 are output according to the number of photographed photographic films. As shown in FIG. 2, a frame number N and a frame identification bar code B are arranged below each frame F on the message writing paper 52.
The frame identification barcode B is created by combining the reception number and each frame number. The reception number is created for each film when the photographic film is received, whereby the photographic film of each user (customer) is identified. The reception number is printed on a label together with a bar code, and the check label is attached to a reception bag (DP bag) (not shown) and a photographic film. Further, a user ID number 53 and its barcode 54, a reception number 55 and its barcode 56 are recorded on the lower part of the message writing paper 52.

【0023】参照画像50を受け取った各顧客Bxは、
それぞれ参照画像50に対し、メッセージ書き込みエリ
アを設定するとともに、そこに書き込むべきメッセージ
を入力し、ラボ20に返送する。このメッセージの書き
込み方法は以下説明するようにいろいろ考えられるが、
例えば画像電送装置40がFAXで、図2のようなメッ
セージ書き込み用紙52として参照画像50を受け取っ
た場合には、次のように行う。すなわち、各顧客Bx
は、FAX(画像電送装置)40から出力されるメッセ
ージ書き込み用紙52の参照画像50を見て、各コマF
の全体のイメージを把握し、図3(a)、(b)、
(c)にその一部分を示すように、各コマに各自それぞ
れ適切なメッセージM1〜M3を手書きしていく。メッ
セージ書き込みが終了すると、各顧客Bxによってメッ
セージが書き込まれた、図3(a)、(b)、(c)に
示すメッセージ書き込み用紙52a、52b、52c
が、各顧客BxのFAX40にセットされ、メッセージ
書き込み済の参照画像50a、50b、50cがラボ2
0にFAX送信される。
Each customer Bx receiving the reference image 50
A message writing area is set for each of the reference images 50, and a message to be written therein is input and returned to the laboratory 20. There are various ways to write this message as described below,
For example, when the image transmission apparatus 40 receives a reference image 50 as a message writing sheet 52 as shown in FIG. That is, each customer Bx
Sees the reference image 50 on the message writing paper 52 output from the FAX (image transmission device) 40, and
Figure 3 (a), (b),
As shown in part (c), appropriate messages M1 to M3 are handwritten on each frame, respectively. When the message writing is completed, the message is written by each customer Bx, and the message writing sheets 52a, 52b, and 52c shown in FIGS. 3A, 3B, and 3C are displayed.
Are set in the FAX 40 of each customer Bx, and the reference images 50a, 50b, and 50c in which the messages have been written are stored in the lab 2.
It is faxed to 0.

【0024】また、画像電送装置40がPCの場合に
は、PC通信により参照画像50が電送される。この場
合には、ディスプレイ上に参照画像50を表示して、こ
の表示画面中にメッセージを入力する。メッセージは、
キーボードからの入力の他に、マウスやライトペン等を
用いて手書き文字を入力してもよい。また、キーボード
やマウス等を用いてメッセージを入力する代わりに、P
Cのプリンタを用いて参照画像50をプリントし、この
プリントしたものに対してメッセージを上書きしてもよ
い。なお、PC通信による場合には、メッセージ部分の
みをラボ20に送るようにしてもよい。すなわち、メッ
セージあるいはメッセージとしての画像およびその合成
位置等の情報だけを送ることにより電送するデータ量を
減らすことができ、効率的である。また、メッセージの
入力は、上記のように、FAXやPC以外にも、携帯情
報端末(PDA)を用いてもよいし、あるいは顧客自身
がラボ20に出向いて、プリントされた参照画像にメッ
セージを手書き入力するようにしてもよい。
When the image transmission device 40 is a PC, the reference image 50 is transmitted by PC communication. In this case, the reference image 50 is displayed on the display, and a message is input on this display screen. The message is
In addition to the input from the keyboard, handwritten characters may be input using a mouse, a light pen, or the like. Also, instead of using a keyboard or mouse to enter a message,
The reference image 50 may be printed using the printer C, and the printed image may be overwritten with a message. In the case of PC communication, only the message portion may be sent to the laboratory 20. That is, by transmitting only a message or information such as an image as a message and a combination position thereof, the amount of data to be transmitted can be reduced, which is efficient. As described above, the message may be input using a personal digital assistant (PDA) in addition to the facsimile or the PC, or the customer may visit the lab 20 and write the message on the printed reference image. You may make it input by handwriting.

【0025】ラボ20では、画像電送装置24が参照画
像50を配布した全ての配布先から返送データ(メッセ
ージ書き込み済の参照画像50a、50b、50c)を
受け取ると、画像処理装置23において、メッセージを
合成した合成画像を作成する。そのためにまず各顧客B
xが書き込んだメッセージを確認する。これには、上述
したようにPCあるいはPDAでメッセージの情報のみ
を送信した場合には、それをそのまま使えばよいが、F
AXでメッセージの書き込まれた画像を送信した場合に
は、メッセージ情報(メッセージ書き込みエリア、メッ
セージ内容等のメッセージ書き込み情報)の抽出をしな
ければならない。
In the lab 20, when the image transmission device 24 receives the return data (the reference images 50a, 50b, and 50c in which the messages have been written) from all the distribution destinations to which the reference image 50 has been distributed, the image processing device 23 transmits the message. Create a composite image. First, each customer B
Check the message written by x. As described above, when only the information of the message is transmitted by the PC or PDA as described above, it may be used as it is.
When an image in which a message is written is transmitted by AX, message information (message writing information such as a message writing area and message content) must be extracted.

【0026】ラボ20の画像電送装置24で受信された
メッセージ書き込み済の参照画像50a、50b、50
cは、画像処理装置23に送られる。画像処理装置23
は、参照画像50a、50b、50cにそれぞれ書き込
まれた手書きメッセージM1〜M3の内容および書き込
み位置を抽出する。このメッセージM1〜M3の内容お
よび書き込み位置の抽出は、受信したメッセージ入り参
照画像50a、50b、50cをそれぞれ、ラボ20が
送信した参照画像50と比較して、その差分を抽出する
ことにより行われる。この抽出後に、画像処理装置23
は、抽出したメッセージ情報としての画像データに対し
て合成処理に必要な、周知の解像度適合化、ノイズ除
去、スムージングおよび指定された色への変換等の各種
処理を行う。この後に、画像処理装置23は、元の画像
データにメッセージとしての画像データを画像合成す
る。
The reference images 50a, 50b, and 50 in which the message has been received and received by the image transmission device 24 of the lab 20 are written.
c is sent to the image processing device 23. Image processing device 23
Extracts the contents and writing positions of the handwritten messages M1 to M3 respectively written in the reference images 50a, 50b, 50c. The extraction of the contents and writing positions of the messages M1 to M3 is performed by comparing the received message-containing reference images 50a, 50b, and 50c with the reference image 50 transmitted by the laboratory 20 and extracting the differences. . After this extraction, the image processing device 23
Performs various processes, such as well-known resolution adaptation, noise elimination, smoothing, and conversion to a designated color, necessary for the composition process on the extracted image data as message information. Thereafter, the image processing device 23 combines the original image data with the image data as a message.

【0027】画像処理装置23において、メッセージを
もとの画像データに合成するときに、各顧客B1、・・
・、Bnのメッセージ書き込みエリアが、図4(a)に
符号Dで示すように、重複する場合がある。このような
場合には、一方または両方のメッセージエリアを移動し
て、図4(b)に示すように、重ならないようにして合
成する。このメッセージ書き込みエリアの移動は、自動
的に主要被写体を避けて背景部の空白エリア等に移動す
ることによって行う。また、合成画像をディスプレイ2
6に表示し、これを見ながらオペレータがキーボード2
7やマウス28を用いて、手動で行うようにしてもよ
い。なお、このメッセージ書き込みエリアの移動にあた
っては、そのメッセージがセリフ等の吹き出しの場合に
は、その吹き出しの始点Sが他の被写体人物の方を向く
ことがないよう、始点Sの位置を尊重しつつ行うように
する。
When combining the message with the original image data in the image processing device 23, each customer B1,.
The message writing areas of Bn and Bn may overlap as indicated by reference symbol D in FIG. In such a case, one or both message areas are moved so that they are combined without overlapping as shown in FIG. 4B. The movement of the message writing area is performed by automatically avoiding the main subject and moving to a blank area in the background. Also, the composite image is displayed on display 2
6 is displayed on the keyboard 2.
It may be performed manually using the mouse 7 or the mouse 28. When moving the message writing area, if the message is a speech bubble or the like, the position of the start point S is respected so that the start point S of the speech bubble does not face another subject person. To do.

【0028】合成画像はプリンタ25に送られて、メッ
セージM1〜M3が画像合成されたメッセージ入りのプ
リントが得られる。このとき、ディスプレイ26にメッ
セージ入りの合成画像をシミュレート表示して、これを
オペレータが確認した後プリントするようにしてもよ
い。あるいは、プリントする前に、合成画像を再度各顧
客B1〜Bnに配布して確認をとるようにしてもよい。
The combined image is sent to the printer 25, and a print containing the message in which the messages M1 to M3 are combined is obtained. At this time, a composite image containing a message may be simulated on the display 26 and printed after the operator confirms the composite image. Alternatively, before printing, the composite image may be distributed again to each of the customers B1 to Bn for confirmation.

【0029】また、PC通信によりデータを送信する場
合には、参照画像の各コマの枠線およびバーコードとと
もに、ラボ20側にデータ転送される。したがって、こ
の場合には、ラボ20側で、前述したように送信分と受
信分の画像データの差分を求めて、これからメッセージ
部分を抽出することが必要なくなり、メッセージの受け
渡しが簡単になる。また、PCのプリンタにより参照画
像をプリントしたものにメッセージを上書きした場合に
は、上書きした参照画像をPCに接続されたスキャナで
読み取って、ラボ20側へデータ転送する。このとき
は、FAXの場合と同じように、ラボ20が送信したも
との参照画像と、メッセージが書き込まれてラボ20へ
返送された参照画像との差分データに基づき、メッセー
ジ部分が抽出される。
When data is transmitted by PC communication, the data is transferred to the laboratory 20 along with the frame line and bar code of each frame of the reference image. Therefore, in this case, it is not necessary for the lab 20 to obtain the difference between the image data for transmission and the image data for reception and extract the message part from the difference, thereby simplifying the message transfer. If the message is overwritten on the reference image printed by the PC printer, the overwritten reference image is read by the scanner connected to the PC, and the data is transferred to the laboratory 20. At this time, the message portion is extracted based on the difference data between the reference image transmitted from the lab 20 and the reference image in which the message is written and returned to the lab 20, as in the case of FAX. .

【0030】以上説明した実施形態によれば、1つの画
像データに複数の顧客B1〜Bnが同時にメッセージを
書き込むことができ、いわゆる寄せ書き風のプリントを
簡単に作成することができる。このとき、参照画像の各
配布先に順序をつけて、順番に各配布先に配布し、逐次
メッセージを合成した画像を次の配布先へ転送するよう
にすることもでき、この場合には、メッセージ書き込み
エリアの重複が発生することがないという利点はある
が、何度もラボからデータの送信と、顧客からのデータ
の返信が繰り返され、煩雑であり、時間もかかるため、
上記例のように1度に全配布先に配布して全員が同時に
メッセージを書き込むようにする方が好ましい。
According to the embodiment described above, a plurality of customers B1 to Bn can simultaneously write a message in one image data, so that a so-called side-by-side print can be easily created. At this time, it is also possible to assign an order to each distribution destination of the reference image, distribute the images sequentially to each distribution destination, and transfer the image obtained by combining the sequential messages to the next distribution destination, in this case, Although there is an advantage that the message writing area does not overlap, the data transmission from the lab and the reply from the customer are repeated many times, which is complicated and time consuming,
As in the above example, it is preferable to distribute the message to all the recipients at once and to write the message at the same time.

【0031】また、上記例では、メッセージは全て文字
データであったが、書き込み情報は文字に限定されな
い。例えば、PC通信による場合には、動画データや音
声データによる入出力も可能である。音声データであれ
ば、ラボにおいて、音声認識により文字データに変換さ
れる。また、文字でなく顧客が書き込んだメッセージと
しての画像(絵)から得られた画像データを合成用メッ
セージデータとしてもよい。この場合には、単純に、こ
のメッセージ用の画像(メッセージ画像)が合成され
る。
Further, in the above example, the messages are all character data, but the write information is not limited to characters. For example, in the case of PC communication, input / output with moving image data or audio data is also possible. If it is voice data, it is converted into character data by voice recognition in a laboratory. Further, image data obtained from an image (picture) as a message written by a customer instead of a character may be used as the message data for composition. In this case, the message image (message image) is simply synthesized.

【0032】なお、このように、顧客が、その都度メッ
セージ画像を入力するのではなく、予め、参照画像の配
布先の各顧客の顔画像または似顔絵データ、またはキャ
ラクタ画像データ、印鑑やサインのデータ等をラボ20
に登録しておき、画像合成時に自動的に各顧客の書き込
みエリアにその顔画像等を小さなサイズにして合成して
もよい。このようにすると、メッセージエリアの配置に
あまり考慮しなくても、そのメッセージのコメント者が
一目でわかり、写真の情報性、娯楽性等の付加価値が向
上したプリントを得ることができる。また、PCで再生
する場合には、動画出力や音声出力も可能である。例え
ば、PCの画面に画像を表示しておき、その画面上であ
る人物、あるいは小さく表示されているその人物の顔画
像をクリックすると、その人のメッセージ(文字や絵)
が再生されるようにしてもよい。このとき、その人のメ
ッセージが音声として再生されるようになっていてもよ
いし、ウィンドウが表示されるようになっていてもよ
い。このとき、そのウィンドウに表示される画像は動画
像でもよいし、さらに音声データが再生されるようにな
っていてもよい。
In this manner, the customer does not input the message image each time, but instead, in advance, the face image or portrait data of each customer to which the reference image is distributed, the character image data, the data of the seal and the signature. Lab 20
May be registered, and the face image or the like may be automatically combined into the writing area of each customer in a small size when combining the images. In this way, the commenter of the message can be recognized at a glance without much consideration of the arrangement of the message area, and a print with added value such as information and amusement of the photograph can be obtained. In the case of reproduction on a PC, moving image output and audio output are also possible. For example, when an image is displayed on the screen of a PC and a person or a face image of the person displayed in a small size is clicked on the screen, a message (character or picture) of the person is displayed.
May be reproduced. At this time, the person's message may be reproduced as a voice, or a window may be displayed. At this time, the image displayed in the window may be a moving image, or audio data may be reproduced.

【0033】各画像電送装置40がPCの場合には、も
ともとラボ20から配布される画像が動画データで、各
顧客Bxが、例えば市販の動画ソフト等を用いて、この
動画データに対して、動画によるメッセージを書き込む
ことも考えられる。以上、本発明のメッセージ付き画像
再生方法およびシステムについて詳細に説明したが、本
発明は、以上の例には限定されず、本発明の要旨を逸脱
しない範囲において、各種の改良や変更を行ってもよい
のはもちろんである。
When each image transmission device 40 is a PC, the image originally distributed from the lab 20 is moving image data, and each customer Bx uses, for example, commercially available moving image software or the like for this moving image data. It is conceivable to write a video message. As described above, the method and system for reproducing an image with a message according to the present invention have been described in detail. However, the present invention is not limited to the above example, and various modifications and changes are made without departing from the spirit of the present invention. Of course it is good.

【0034】[0034]

【発明の効果】以上、説明した通り、本発明によれば、
写真画像に対し複数人によるメッセージの書き込みを可
能とするとともに、写真の娯楽性を高めることができる
画像再生が可能となった。
As described above, according to the present invention,
A plurality of people can write a message on a photographic image, and the image can be reproduced so as to enhance the entertainment of the photographic image.

【図面の簡単な説明】[Brief description of the drawings]

【図1】 本発明に係るメッセージ付き画像再生システ
ムの一実施形態の概略を示すブロック図である。
FIG. 1 is a block diagram schematically showing an embodiment of a message-attached image reproducing system according to the present invention.

【図2】 参照画像を示す説明図である。FIG. 2 is an explanatory diagram showing a reference image.

【図3】 (a)、(b)、(c)は、参照画像に対し
各顧客がメッセージを書き込んだ状態を示す説明図であ
る。
FIGS. 3A, 3B, and 3C are explanatory diagrams illustrating a state where each customer writes a message to a reference image. FIG.

【図4】 (a)、(b)は、参照画像のメッセージエ
リアが重なった場合に、その重なりを解消する方法を示
す説明図である。
FIGS. 4A and 4B are explanatory diagrams showing a method of eliminating the overlap when message areas of a reference image overlap.

【符号の説明】[Explanation of symbols]

10 メッセージ付き画像再生システム 20 ラボ 21 スキャナ 22 メモリ 23 画像処理装置 24 (ラボ側の)画像電送装置 25 プリンタ 26 ディスプレイ 27 キーボード 28 マウス 30、40 (顧客側の)画像電送装置 50 参照画像 52 メッセージ書き込み用紙 53 ユーザーID番号 54、56 バーコード 55 受け付け番号 50a (メッセージの書き込まれた)参照画像 52a (メッセージの書き込まれた)メッセージ用紙 DESCRIPTION OF SYMBOLS 10 Image reproduction system with a message 20 Lab 21 Scanner 22 Memory 23 Image processing device 24 Image transmission device (of lab side) 25 Printer 26 Display 27 Keyboard 28 Mouse 30 and 40 Image transmission device of customer side 50 Reference image 52 Message writing Paper 53 User ID number 54, 56 Barcode 55 Reception number 50a Reference image (where the message is written) 52a Message paper (where the message is written)

Claims (12)

【特許請求の範囲】[Claims] 【請求項1】再生すべき画像データに対し、1人以上の
者によってそれぞれ作成された書き込みメッセージまた
はメッセージ画像を取得し、前記画像データと前記書き
込みメッセージまたはメッセージ画像とを合成して、可
視画像として再生することを特徴とするメッセージ付き
画像再生方法。
An image data to be reproduced is obtained by obtaining a written message or a message image created by one or more persons, and the image data is combined with the written message or the message image to obtain a visible image. A method of reproducing an image with a message, characterized in that the image is reproduced as a message.
【請求項2】前記画像データから、前記書き込みメッセ
ージまたはメッセージ画像を書き込むべき参照画像を作
成し、該参照画像を、前記書き込みメッセージまたはメ
ッセージ画像を書き込むべき前記1人以上の者に電送
し、該一人以上の者によって前記参照画像に基づいて作
成され、返送された、書き込みメッセージまたはメッセ
ージ画像を表す返送データに基づいて、前記画像データ
と、前記書き込みメッセージまたはメッセージ画像との
合成を行うようにした請求項1に記載のメッセージ付き
画像再生方法。
2. A reference image to which the writing message or the message image is to be written is created from the image data, and the reference image is transmitted to the one or more persons to which the writing message or the message image is to be written, Based on return data representing a written message or a message image created and returned by one or more persons based on the reference image, the image data is combined with the written message or the message image. The method of reproducing an image with a message according to claim 1.
【請求項3】前記返送データは、書き込みメッセージま
たはメッセージ画像の書き込まれた参照画像であり、該
返送された参照画像から書き込みメッセージまたはメッ
セージ画像およびその記録位置を読み出し、これらの情
報をもとに前記画像データに、前記書き込みメッセージ
またはメッセージ画像を合成する請求項2に記載のメッ
セージ付き画像再生方法。
3. The return data is a reference image in which a write message or a message image is written, reads out the write message or the message image and its recording position from the returned reference image, and based on the information, The method according to claim 2, wherein the writing message or the message image is combined with the image data.
【請求項4】前記返送データは、書き込みメッセージま
たはメッセージ画像及びこれらの前記画像データへの合
成エリアを含む加工情報である請求項2に記載のメッセ
ージ付き画像再生方法。
4. The method according to claim 2, wherein the return data is processing information including a write message or a message image and an area for combining the image with the image data.
【請求項5】前記書き込みメッセージは、音声データで
ある請求項1乃至4のいずれかに記載のメッセージ付き
画像再生方法。
5. The method according to claim 1, wherein the writing message is audio data.
【請求項6】前記メッセージ画像は、動画である請求項
1乃至5のいずれかに記載のメッセージ付き画像再生方
法。
6. The method according to claim 1, wherein the message image is a moving image.
【請求項7】前記画像データに前記書き込みメッセージ
またはメッセージ画像を合成する際、前記書き込みメッ
セージまたはメッセージ画像が重なった場合には、これ
らが重ならないようにその合成エリアを移動するように
した請求項1乃至4のいずれかに記載のメッセージ付き
画像再生方法。
7. When combining the writing message or the message image with the image data, if the writing message or the message image overlaps, the combining area is moved so that these do not overlap. 5. The method for reproducing an image with a message according to any one of 1 to 4.
【請求項8】前記画像データに前記書き込みメッセージ
またはメッセージ画像を合成する際、前記一人以上の者
に対応した所定の登録画像をも合成するようにした請求
項1乃至7のいずれかに記載のメッセージ付き画像再生
方法。
8. The image processing apparatus according to claim 1, wherein when the writing message or the message image is combined with the image data, a predetermined registered image corresponding to the one or more persons is also combined. Image playback method with message.
【請求項9】画像データから、書き込みメッセージまた
はメッセージ画像を書き込むべき参照画像を作成する手
段と、 該参照画像を1人以上の者に電送する手段と、 前記画像データに前記1人以上の者による書き込みメッ
セージまたはメッセージ画像を合成するための、前記1
人以上の者から返送された、前記参照画像に対応するデ
ータを、受信する手段と、 前記受信した参照画像に対応するデータに基づいて、前
記画像データに、前記書き込みメッセージまたはメッセ
ージ画像を合成する手段と、 を備えたことを特徴とするメッセージ付き画像再生シス
テム。
9. A means for creating a write message or a reference image to which a message image is to be written from image data, means for transmitting the reference image to one or more persons, and means for transmitting the one or more persons to the image data 1 for synthesizing a written message or message image according to
Means for receiving data corresponding to the reference image returned from more than one person, and combining the writing message or message image with the image data based on the data corresponding to the received reference image. Means, and an image reproducing system with a message.
【請求項10】請求項9に記載のメッセージ付き画像再
生システムであって、前記書き込みメッセージまたはメ
ッセージ画像を合成するためのデータは、書き込みメッ
セージまたはメッセージ画像の書き込まれた参照画像で
あり、さらに、該書き込みメッセージまたはメッセージ
画像の書き込まれた参照画像から書き込みメッセージま
たはメッセージ画像およびその記録位置を読み取る手段
と、を備えたメッセージ付き画像再生システム。
10. The image reproduction system with a message according to claim 9, wherein the data for synthesizing the written message or the message image is a written image or a reference image on which the message image is written, and Means for reading the written message or the message image and its recording position from the reference image on which the written message or the message image is written, and a means for reading the image with the message.
【請求項11】請求項9または10に記載のメッセージ
付き画像再生システムであって、 さらに、前記書き込みメッセージまたはメッセージ画像
を合成する際、前記書き込みメッセージまたはメッセー
ジ画像が重なった場合には、これらが重ならないように
その合成エリアを移動する手段を備えたメッセージ付き
画像再生システム。
11. The image reproduction system with a message according to claim 9 or 10, further comprising: when synthesizing the writing message or the message image, when the writing message or the message image overlaps with each other. An image reproduction system with a message, comprising: means for moving the combination area so as not to overlap.
【請求項12】請求項9乃至11のいずれかに記載のメ
ッセージ付き画像再生システムであって、さらに、前記
画像データに、前記一人以上の者の各々に対応した所定
の登録画像を合成する手段を備えたメッセージ付き画像
再生システム。
12. The image reproduction system with a message according to claim 9, further comprising: means for combining a predetermined registered image corresponding to each of said one or more persons with said image data. Image playback system with a message.
JP2000075559A 2000-03-17 2000-03-17 Message playback method and system with message Expired - Fee Related JP4076311B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000075559A JP4076311B2 (en) 2000-03-17 2000-03-17 Message playback method and system with message

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000075559A JP4076311B2 (en) 2000-03-17 2000-03-17 Message playback method and system with message

Publications (2)

Publication Number Publication Date
JP2001268342A true JP2001268342A (en) 2001-09-28
JP4076311B2 JP4076311B2 (en) 2008-04-16

Family

ID=18593435

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000075559A Expired - Fee Related JP4076311B2 (en) 2000-03-17 2000-03-17 Message playback method and system with message

Country Status (1)

Country Link
JP (1) JP4076311B2 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005244736A (en) * 2004-02-27 2005-09-08 Seiko Epson Corp Image processing system and image processing method
WO2006013956A1 (en) 2004-08-06 2006-02-09 Seiko Epson Corporation Image processing system and image processing method
JP2007049620A (en) * 2005-08-12 2007-02-22 Seiko Epson Corp Composite image forming system
JP2007049638A (en) * 2005-08-12 2007-02-22 Seiko Epson Corp Composite image formation system
US7646517B2 (en) 2004-02-27 2010-01-12 Seiko Epson Corporation Image processing system and image processing method
US8023145B2 (en) 2004-02-27 2011-09-20 Seiko Epson Corporation Image processing system and image processing method
JP2015053603A (en) * 2013-09-06 2015-03-19 東日本電信電話株式会社 Communication system, communication method, and computer program
JP2017138799A (en) * 2016-02-03 2017-08-10 富士フイルム株式会社 Image processing device, image processing method, program and recording medium

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005244736A (en) * 2004-02-27 2005-09-08 Seiko Epson Corp Image processing system and image processing method
US7646517B2 (en) 2004-02-27 2010-01-12 Seiko Epson Corporation Image processing system and image processing method
US8023145B2 (en) 2004-02-27 2011-09-20 Seiko Epson Corporation Image processing system and image processing method
WO2006013956A1 (en) 2004-08-06 2006-02-09 Seiko Epson Corporation Image processing system and image processing method
EP1696658A1 (en) * 2004-08-06 2006-08-30 Seiko Epson Corporation Image processing system and image processing method
EP1696658A4 (en) * 2004-08-06 2009-09-09 Seiko Epson Corp Image processing system and image processing method
JP2007049620A (en) * 2005-08-12 2007-02-22 Seiko Epson Corp Composite image forming system
JP2007049638A (en) * 2005-08-12 2007-02-22 Seiko Epson Corp Composite image formation system
JP4581902B2 (en) * 2005-08-12 2010-11-17 セイコーエプソン株式会社 Composite image forming device
JP4661446B2 (en) * 2005-08-12 2011-03-30 セイコーエプソン株式会社 Composite image forming device
JP2015053603A (en) * 2013-09-06 2015-03-19 東日本電信電話株式会社 Communication system, communication method, and computer program
JP2017138799A (en) * 2016-02-03 2017-08-10 富士フイルム株式会社 Image processing device, image processing method, program and recording medium

Also Published As

Publication number Publication date
JP4076311B2 (en) 2008-04-16

Similar Documents

Publication Publication Date Title
KR100805811B1 (en) Image processing apparatus and audio-coded recording media
US6819449B2 (en) Image printing and filing system
US6388681B1 (en) Apparatus for making recording media with audio code images
CA2812388A1 (en) Photography system
JPH0815784A (en) Laboratory system
JP4076311B2 (en) Message playback method and system with message
JP3753279B2 (en) Method and system for creating print with message
JP2001333378A (en) Image processor and printer
JP6996212B2 (en) Resume creation system
US7839517B1 (en) Image processing system, and image processing apparatus and portable information communication device for use in the image processing system
JPH0140543B2 (en)
JP3903110B2 (en) Method and system for creating print with message
JP2001326806A (en) Image processing system
JP2006309323A (en) Image editing method and image formation apparatus
JP4424072B2 (en) Photo service system
JP3973651B2 (en) Image file device
JP2001268486A (en) Camera and camera system
JP3903109B2 (en) Print production system with message
JP3766428B2 (en) Image file device
JP3766427B2 (en) Image file device
JP2002027366A (en) Printing system
JP2005096453A (en) Image printing apparatus
JP2009143232A (en) Message writing and reproduction apparatus
JPH08272990A (en) Visual information sheet generation system
JP2005065308A (en) Picture file printing device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050905

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070502

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070515

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071113

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080129

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4076311

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110208

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120208

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120208

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130208

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140208

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees