JP3521718B2 - Image data processing system and image processing device - Google Patents

Image data processing system and image processing device

Info

Publication number
JP3521718B2
JP3521718B2 JP34143597A JP34143597A JP3521718B2 JP 3521718 B2 JP3521718 B2 JP 3521718B2 JP 34143597 A JP34143597 A JP 34143597A JP 34143597 A JP34143597 A JP 34143597A JP 3521718 B2 JP3521718 B2 JP 3521718B2
Authority
JP
Japan
Prior art keywords
image data
image
data
output
data processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP34143597A
Other languages
Japanese (ja)
Other versions
JPH10243263A (en
Inventor
正雄 三本木
実 田木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP34143597A priority Critical patent/JP3521718B2/en
Publication of JPH10243263A publication Critical patent/JPH10243263A/en
Application granted granted Critical
Publication of JP3521718B2 publication Critical patent/JP3521718B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Television Signal Processing For Recording (AREA)

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】本発明は、撮像装置により撮
像された画像データを編集処理するシステムに関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a system for editing image data captured by an image pickup device.

【0002】[0002]

【従来の技術】近時、撮影した画像をフィルムの代わり
に電気的に記憶するデジタルカメラ(電子カメラ)が普
及してきている。かかるデジタルカメラは、シャッタボ
タンが押下されて被写体の画像の取り込みが指示される
と、CCD等の固体撮像素子により画像を電気的に取り
込み、この取り込んだ画像をJPEG等の圧縮処理技術
により圧縮し、圧縮した静止画像をフラッシュメモリ等
の固体メモリに記憶する。
2. Description of the Related Art Recently, digital cameras (electronic cameras) for electrically storing photographed images instead of films have become widespread. In such a digital camera, when the shutter button is pressed and an instruction to capture an image of a subject is given, the image is electrically captured by a solid-state image sensor such as a CCD, and the captured image is compressed by a compression processing technique such as JPEG. , Compressed still images are stored in solid-state memory such as flash memory.

【0003】デジタルカメラは、撮影した画像をその場
で確認できる機能を有していて、従来の現像して焼き付
けしないと撮影した画像を見ることができないフィルム
撮影によるカメラに比べ、即応性という点において優れ
ている。
A digital camera has a function of confirming a photographed image on the spot, and is more responsive than a conventional film photographing camera which cannot see the photographed image unless it is developed and printed. Is excellent in.

【0004】また最近では、電子手帳などのPDA(Pe
rsonal Digital Assistant )機能を有した装置に上
記デジタルカメラ機能を具備したものも商品化されて、
撮影した画像データを電話回線を通じて他へ送信するこ
とも可能になっている。
Recently, PDA (Pe
A device equipped with the digital camera function described above has also been commercialized,
It is also possible to send captured image data to others via a telephone line.

【0005】[0005]

【発明が解決しようとする課題】しかしながら、上記画
像データ送信機能付きのデジタルカメラでは、撮像した
画像データを、自宅のパーソナルコンピュータに送信し
てそのパーソナルコンピュータで画像データを処理して
いたが、画像データ処理はパソコンの画像データ処理能
力によって大きく左右されるため、折角撮った画像デー
タが持つ付加価値を十分に引き出せない場合があった。
However, in the digital camera with the image data transmission function, the image data taken is transmitted to the personal computer at home and the personal computer processes the image data. Since the data processing is greatly influenced by the image data processing ability of the personal computer, there are cases where the added value of the image data taken at a certain angle cannot be fully extracted.

【0006】そこで、本発明は上記事情に鑑みてなされ
たものであって、撮像した画像データの送信機能を活用
してこの画像データの付加価値を誰でも十分に引き出す
ことが可能な画像データ処理システムを提供することを
目的とする。
Therefore, the present invention has been made in view of the above circumstances, and image data processing by which anyone can fully derive the added value of this image data by utilizing the transmission function of the captured image data. The purpose is to provide a system.

【0007】[0007]

【課題を解決するための手段】この発明に係る画像処理
システムは、撮像装置とセンター装置とを有する画像デ
ータ処理システムであって、前記撮像装置は、被写体を
撮像して前記画像データを生成する撮像手段と、前記画
像データに付加する関連データを生成する関連データ生
成手段と、通信回線を介して前記画像データと関連デー
タを前記センター装置に送信する送信手段と、出力形式
を指定する指定手段と、通信回線を介して前記指定され
た出力形式を前記センター装置に送信する出力形式送信
手段を有し、前記センター装置は、前記撮像装置から通
信回線を介して送信される画像データと関連データを受
信する受信手段と、前記受信手段により受信した画像デ
ータと関連データを記憶する記憶手段と、指定された出
力形式を受信する手段と、前記記憶手段に記憶した画像
データを、関連データに基いて、指定手段により指定さ
れた出力形式に編集してプリント出力する出力手段とを
具備したことを特徴とする。
An image processing system according to the present invention is an image data processing system having an image pickup device and a center device, wherein the image pickup device picks up a subject and generates the image data. Imaging means, related data generating means for generating related data to be added to the image data, transmitting means for transmitting the image data and related data to the center device via a communication line, and designating means for designating an output format. And output format transmitting means for transmitting the designated output format to the center apparatus via a communication line, wherein the center apparatus transmits image data and related data transmitted from the imaging apparatus via the communication line. Receiving means, a storage means for storing the image data and related data received by the receiving means, and a designated output format And stage, the image data stored in the storage means, based on the relevant data, characterized by comprising an output means for editing the specified output format for printing out the specifying means.

【0008】また本発明に係る画像データ処理装置は、
通信回線を介して撮像装置と接続される画像データ処理
装置であって、前記撮像装置にて生成された画像データ
及び関連データを通信回線を介して受信する受信手段
と、前記受信手段により受信した画像データと関連デー
タを記憶する記憶手段と、前記撮像装置にてユーザによ
り指定された出力形式を通信回線を介して受信する出力
形式受信手段と、前記記憶手段に記憶した画像データ
を、関連データに基いて、前記出力形式受信手段により
受信された出力形式に編集してプリント出力する出力手
段とを具備したことを特徴とする。
The image data processing apparatus according to the present invention is
An image data processing device connected to an imaging device via a communication line, the receiving means receiving image data and related data generated by the imaging device via the communication line, and the receiving means. The storage means for storing the image data and the related data, the output format receiving means for receiving the output format designated by the user in the imaging device through the communication line, and the image data stored in the storage means are the related data. Output means for editing and printing out in the output format received by the output format receiving means.

【0009】したがって、撮像装置で生成された画像デ
ータ等は、ユーザーの希望する出力形式に従って編集し
て所定の出力形態で出力することが出来ることとなっ
て、従来のように、出力形式がユーザーの端末装置の機
能に影響されることがなく、撮像した画像データの付加
価値を十分に引き出すことができる。
Therefore, the image data generated by the image pickup device can be edited in accordance with the output format desired by the user and output in a predetermined output format. It is possible to sufficiently bring out the added value of the captured image data without being affected by the function of the terminal device.

【0010】また、例えば、旅行などに出かけたとき
は、予め撮像した画像データ等を自宅近くのセンター
(センター装置を有する。)に送信して希望する出力形
式での出力指示を出しておけば、旅行から帰宅する途中
でセンターに立ち寄って、出力されたもの(例えば、ア
ルバムなど)を持ち帰ることが出来ることとなって、自
分で画像データ等の編集をする必要がなく便利になると
ともに、出力結果をすぐに見ることが出来る。
Further, for example, when going on a trip or the like, it is possible to send the image data captured in advance to a center near the home (having a center device) and issue an output instruction in a desired output format. , You can come back to the center on the way home from your trip and take back the output (for example, an album), which is convenient because you do not need to edit the image data yourself and output it. You can see the result immediately.

【0011】[0011]

【0012】[0012]

【0013】[0013]

【発明の実施の形態】以下、図1〜図22を参照して本
発明に係る画像データ処理システムの実施の形態を詳細
に説明する。まず、構成について説明する。
BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of an image data processing system according to the present invention will be described in detail below with reference to FIGS. First, the configuration will be described.

【0014】図1に、本発明の実施の形態の画像データ
処理システムのシステム構成図を示す。図1において、
画像データ処理システム1は、撮像装置としてのPDA
(Personal Digital Assistant )2、センター装置
としての画像データ処理装置3、端末装置としてのパー
ソナルコンピュータ4等で構成され、各部は通信回線a
で接続されている。また、画像データ処理装置3には、
プリンタ5が接続されている。
FIG. 1 shows a system configuration diagram of an image data processing system according to an embodiment of the present invention. In FIG.
The image data processing system 1 is a PDA as an imaging device.
(Personal Digital Assistant) 2, an image data processing device 3 as a center device, a personal computer 4 as a terminal device, and the like.
Connected by. Further, the image data processing device 3 includes
The printer 5 is connected.

【0015】図2に、PDA2、図3に、画像データ処
理装置3の要部構成を示すブロック図を示す。PDA2
は、図2に示すように、CPU(Central Processing
Unit)11、イメージ入力部12、表示装置13、入
力装置14、縦横センサー15、通信装置16、RAM
(Random Access Memory)17、ROM(Read Only
Memory)18、記憶装置19、計時部20、GPS
(Global Positioning System)測定部21、計数部
22等から構成されており、各部はバス23により接続
されている。
FIG. 2 shows a PDA 2 and FIG. 3 shows a block diagram showing a main configuration of the image data processing device 3. PDA2
Is a CPU (Central Processing) as shown in FIG.
Unit) 11, image input unit 12, display device 13, input device 14, vertical / horizontal sensor 15, communication device 16, RAM
(Random Access Memory) 17, ROM (Read Only
Memory) 18, storage device 19, clock unit 20, GPS
A (Global Positioning System) measuring unit 21, a counting unit 22 and the like are configured, and each unit is connected by a bus 23.

【0016】CPU11は、ROM18に記憶されてい
る各種制御プログラムに従ってRAM17との間で、入
力装置14の入力に応じた各種動作に必要な演算処理を
行い、この演算処理に基づいてPDA2の各部を制御す
るための各種制御信号を生成して出力する。
The CPU 11 performs arithmetic processing necessary for various operations according to the input of the input device 14 with the RAM 17 according to various control programs stored in the ROM 18, and based on the arithmetic processing, each unit of the PDA 2 is executed. It generates and outputs various control signals for controlling.

【0017】イメージ入力部12は、図示しないが、C
CD(Charge Coupled Device)、レンズ、A/D変
換器、駆動回路、タイミングジェネレーター等から構成
され、レンズに結像した被写体の光をCCDで受光し、
CCDの受光面上に配された各転送電極毎に受光量に比
例した電荷を蓄積し、駆動回路により供給される駆動信
号に応じて、各転送電極に蓄えられた蓄積電荷を電気信
号(アナログ信号)として、1電極づつ順次A/D変換
器でデジタル画像データに変換する。
The image input section 12 is not shown in the figure, but is C
It is composed of a CD (Charge Coupled Device), a lens, an A / D converter, a drive circuit, a timing generator, etc., and the light of the object imaged on the lens is received by the CCD,
Charges proportional to the amount of light received are stored for each transfer electrode arranged on the light-receiving surface of the CCD, and the accumulated charge stored in each transfer electrode is converted into an electric signal (analog) in accordance with a drive signal supplied by a drive circuit. As a signal), each electrode is sequentially converted into digital image data by an A / D converter.

【0018】表示装置13は、液晶表示パネル等により
構成され、撮像した画像データに基づく画像を表示する
他、CPU11から入力される指示内容、或いは入力装
置14で入力したコメント、タイトルなどを表示する。
The display device 13 is composed of a liquid crystal display panel or the like, and displays an image based on the captured image data, and also displays the instruction content input from the CPU 11 or the comment, title, etc. input by the input device 14. .

【0019】入力装置14は、図示はしないが、カーソ
ルキー、数字入力キー、各種機能キー等を備えたキーボ
ードのキーを押下することにより押下信号をCPU11
に出力する装置であり、画像データに対するタイトル、
コメントを入力する他、出力形式の決定を行う。また、
入力装置14は、図示しない液晶ディスプレイ上に透明
の位置検出タブレットを重ね、指先の接触を感圧方式に
より加圧地点のXY座標を検出し、CPU11に出力す
る、いわゆるタブレットタイプのものであってもよい。
Although not shown, the input device 14 sends a press signal to the CPU 11 by pressing a key of a keyboard including cursor keys, numeral input keys, various function keys and the like.
It is a device to output to, a title for image data,
Besides inputting a comment, the output format is determined. Also,
The input device 14 is a so-called tablet type device in which a transparent position detection tablet is placed on a liquid crystal display (not shown), the XY coordinates of the pressure point are detected by a pressure-sensitive method, and the contact of the fingertip is output to the CPU 11. Good.

【0020】縦横センサー15は、PDA2を横にして
撮像したか或いは縦にして撮像したか検出するためのセ
ンサーで、PDA2内に振り子を設けてその回転によっ
て検出する。
The vertical / horizontal sensor 15 is a sensor for detecting whether the PDA 2 is imaged horizontally or vertically, and a pendulum is provided in the PDA 2 to detect the rotation.

【0021】通信装置16は、画像データ処理装置3或
いは端末装置4と通信回線aを介して画像データ等を送
受信するための通信プロトコルを実行する機能を有し、
通信回線aと接続可能な端子が備えられている。
The communication device 16 has a function of executing a communication protocol for transmitting and receiving image data and the like to and from the image data processing device 3 or the terminal device 4 via the communication line a,
A terminal connectable to the communication line a is provided.

【0022】RAM17は、画像データ等を一時的に記
憶する記憶領域とCPU11の作業領域を有し、入力装
置14からの入力に従い、データが書き換え可能となっ
ている。
The RAM 17 has a storage area for temporarily storing image data and the like and a work area for the CPU 11. The data can be rewritten according to an input from the input device 14.

【0023】ROM18は、PDA2内で実行される各
種制御プログラムや、そのプログラム処理で使用される
データ等を格納している。記憶装置19は、撮像した画
像データを記憶する装置である。また、記憶装置19
は、プログラムやデータなどが予め記憶されている記憶
媒体19aを有しており、この記憶媒体19aは磁気
的、光学的記憶媒体、若しくは半導体メモリで構成され
ている。この記憶媒体19aには記憶装置19に固定的
に設けられたもの、若しくは着脱自在に装着されるもの
がある。記憶媒体19aに記憶されるプログラム、デー
タなどは、通信回線などを介して接続された他の機器か
ら受信して記憶する構成としてもよい。
The ROM 18 stores various control programs executed in the PDA 2 and data used in the program processing. The storage device 19 is a device that stores captured image data. In addition, the storage device 19
Has a storage medium 19a in which programs and data are stored in advance. The storage medium 19a is composed of a magnetic or optical storage medium or a semiconductor memory. The storage medium 19a may be fixedly provided in the storage device 19 or detachably mounted. The program, data, and the like stored in the storage medium 19a may be configured to be received and stored from another device connected via a communication line or the like.

【0024】計時部20は、時計機能を有し、撮像した
時間を計時して、当該時間データをCPU11に出力す
る。GPS(Global Positioning System)測定部2
1は、ユーザーが画像データを撮像した場所を測定する
機能を有し、地上の制御局から複数の人口衛星(例え
ば、4つ以上)に送った電波の到達時間とこの人口衛星
からPDA2に送った電波の到達時間の差により画像デ
ータを撮像した場所を特定し、その座標データや地名等
をCPU11に出力する。
The clock section 20 has a clock function, clocks the time of image capturing, and outputs the time data to the CPU 11. GPS (Global Positioning System) measuring unit 2
1 has a function of measuring a place where a user has captured image data, and arrival time of radio waves sent from a ground control station to a plurality of artificial satellites (for example, 4 or more) and PDA 2 sent from the artificial satellites. The location where the image data was captured is specified based on the difference in the arrival time of the radio waves, and the coordinate data and the place name are output to the CPU 11.

【0025】計数部22は、図示しないが、カウンタ等
から構成され、所定の撮像開始時からの撮像枚数をカウ
ントし、得られた結果をCPU11に出力する。そし
て、PDA2は、ユーザーによる送信命令に従い画像デ
ータ、該画像データの撮影した時間のデータ、GPSデ
ータ、縦横データ、枚数データ、コメント、タイトル、
更に、希望する出力形式の命令信号も画像データ処理装
置3に送信する。
Although not shown, the counting unit 22 is composed of a counter or the like, counts the number of images picked up from the start of a predetermined image pickup, and outputs the obtained result to the CPU 11. Then, the PDA 2 receives the image data, the data of the shooting time of the image data, the GPS data, the vertical / horizontal data, the data of the number of sheets, the comment, the title, in accordance with the transmission command from the user.
Further, the command signal of the desired output format is also transmitted to the image data processing device 3.

【0026】次に、図3に、本発明を適用した一実施の
形態のセンターの画像データ処理装置3の要部構成を表
すブロック図を示す。図3に示す画像データ処理装置3
は、内部に、CPU31、RAM32、プログラムメモ
リ33、データ記憶装置34、通信装置35などを備え
ている。
Next, FIG. 3 is a block diagram showing the main configuration of the image data processing apparatus 3 at the center of one embodiment to which the present invention is applied. Image data processing device 3 shown in FIG.
Is internally provided with a CPU 31, a RAM 32, a program memory 33, a data storage device 34, a communication device 35, and the like.

【0027】CPU31は、プログラムメモリ33に格
納されている各種制御プログラムに従って、データ記憶
装置34に記憶された画像データやそれに関連するデー
タ(画像データ等)を取り出して画像データ編集処理
し、処理した結果を再びデータ記憶装置34に記憶した
り、プリンタ5などに出力したりする。
The CPU 31 retrieves the image data stored in the data storage device 34 and the data (image data, etc.) related thereto in accordance with various control programs stored in the program memory 33, edits the image data, and processes the image data. The result is stored again in the data storage device 34 or output to the printer 5 or the like.

【0028】RAM32は、CPU31で行われる画像
データ編集処理の作業領域を形成する。プログラムメモ
リ33は、プログラム、データ等が予め記憶されている
記憶媒体33aを有しており、この記憶媒体は磁気的、
光学的記憶媒体、若しくは半導体メモリで構成されてい
る。この記憶媒体33aは記憶装置に固定的に設けたも
の、若しくは着脱自在に装着するものである。また、前
記記憶媒体33aに記憶するプログラム、データ等は、
通信回線a等を介して接続された他の機器側に前記記憶
媒体を備えた記憶装置を設け、この記憶媒体33aに記
憶されているプログラム、データを通信回線aを介して
使用する構成にしてもよい。
The RAM 32 forms a work area for image data editing processing performed by the CPU 31. The program memory 33 has a storage medium 33a in which programs, data, etc. are stored in advance. This storage medium is magnetic,
It is composed of an optical storage medium or a semiconductor memory. The storage medium 33a is fixedly provided in the storage device or detachably mounted. Further, the programs, data, etc. stored in the storage medium 33a are
A storage device provided with the storage medium is provided on the side of another device connected via the communication line a or the like, and a program or data stored in the storage medium 33a is used via the communication line a. Good.

【0029】データ記憶装置34には、図11に示すよ
うなフォーマットメモリ34a、データメモリ34b、
アルバムメモリ34c等で構成され、PDA2から送信
される画像データやそれに関連するデータ或いは編集後
の画像データやそれに関連するデータが記憶されてい
る。
The data storage device 34 includes a format memory 34a, a data memory 34b, and a data memory 34b as shown in FIG.
The album memory 34c and the like store image data transmitted from the PDA 2 and data related thereto or edited image data and data related thereto.

【0030】通信装置35は、PDA2或いはパーソナ
ルコンピュータ4と通信回線a(例えば、電話回線)で
接続されて、通信回線aを介して画像データ等を送受信
するための通信プロトコルを実行する通信機能を有して
いる。
The communication device 35 is connected to the PDA 2 or the personal computer 4 via a communication line a (for example, a telephone line), and has a communication function for executing a communication protocol for transmitting and receiving image data and the like via the communication line a. Have

【0031】そして、画像データ処理装置3は、PDA
2から受信した画像データやそれに関連するデータ、或
いは出力形式の命令信号を通信装置35で受信し、受信
した画像データ等をデータ記憶装置34に記憶してお
く。そして、出力形式の命令信号に基づいて、CPU3
1によりデータ記憶装置34から画像データ等を取り出
し、画像データ等の編集処理を行い、処理した結果をパ
ーソナルコンピュータ4或いはプリンタ5に出力する。
また、画像データ処理装置3は、パーソナルコンピュー
タ4で再編集した画像データや画像データ関連情報を受
信してデータ記憶装置34に記憶する。
The image data processing device 3 is a PDA.
The communication device 35 receives the image data and the data related thereto or the command signal in the output format received from the communication device 2, and stores the received image data and the like in the data storage device 34. Then, based on the output format command signal, the CPU 3
The image data or the like is fetched from the data storage device 34 by 1, and the image data or the like is edited, and the processed result is output to the personal computer 4 or the printer 5.
Further, the image data processing device 3 receives the image data re-edited by the personal computer 4 and the image data related information and stores them in the data storage device 34.

【0032】次に、図4に、本発明を適用した一実施の
形態のパーソナルコンピュータ4の要部構成を示すブロ
ック図を示す。図4に示すパーソナルコンピュータ4
は、CPU41、RAM42、ROM43、ハードディ
スク44、キーボード45、表示装置46、通信装置4
7、音声出力装置48等で構成されている。
Next, FIG. 4 is a block diagram showing a main configuration of a personal computer 4 according to an embodiment of the present invention. Personal computer 4 shown in FIG.
Are CPU 41, RAM 42, ROM 43, hard disk 44, keyboard 45, display device 46, communication device 4
7, audio output device 48 and the like.

【0033】CPU41は、ROM43に格納されてい
る各種制御プログラムに従って、ハードディスク44に
記憶された画像データや画像データ関連情報を取り出し
て画像データ編集処理し、処理した結果を再びハードデ
ィスク44に記憶したり、画像データ処理装置3に出力
したりする。また、CPU41は、画像データ関連情報
を音声に変換する制御も行う。
In accordance with various control programs stored in the ROM 43, the CPU 41 retrieves the image data and the image data related information stored in the hard disk 44, edits the image data, and stores the processed result in the hard disk 44 again. , And output to the image data processing device 3. The CPU 41 also controls the conversion of the image data related information into sound.

【0034】RAM42は、CPU41で行われる画像
データ編集処理の作業領域を形成する。ROM43に
は、画像データ編集に必要な各種制御プログラムが格納
されている。
The RAM 42 forms a work area for image data editing processing performed by the CPU 41. The ROM 43 stores various control programs necessary for editing image data.

【0035】ハードディスク44には、PDA2から送
信される画像データやそれに関連するデータ或いは編集
後の画像データやそれに関連するデータが記憶されてい
る。キーボード45は、図示はしないが、カーソルキ
ー、数字入力キー、各種機能キー等を備えたキーボード
のキーを押下することにより押下信号をCPU41に出
力する装置であり、画像データに対するタイトル、コメ
ントを入力する他、出力形式の決定を行う。
The hard disk 44 stores image data transmitted from the PDA 2 and data associated therewith, edited image data and data associated therewith. The keyboard 45 is a device (not shown) that outputs a pressing signal to the CPU 41 by pressing a key of a keyboard including cursor keys, numeral input keys, various function keys, etc., and inputs a title and comment for image data. In addition, the output format is determined.

【0036】表示装置46は、CRT(Cathode Ray
Tube)等により構成され、CPU41から入力される
画像表示信号を指定された色で画像を表示する。通信装
置47は、PDA2或いは画像データ処理装置3と通信
回線a(例えば、電話回線)で接続されて、通信回線a
を介して画像データ等を送受信するための通信プロトコ
ルを実行する通信機能を有している。
The display device 46 is a CRT (Cathode Ray).
The image display signal input from the CPU 41 is displayed in a specified color. The communication device 47 is connected to the PDA 2 or the image data processing device 3 via a communication line a (for example, a telephone line), and the communication line a
It has a communication function of executing a communication protocol for transmitting and receiving image data and the like via the.

【0037】音声出力装置48は、図示しないスピーカ
ー等で構成され、音声出力変換された画像データ関連情
報を音声により出力する。そして、パーソナルコンピュ
ータ4は、画像データ処理装置3で編集された画像デー
タ等を通信回線aを介して通信装置47で取り込み、取
り込んだ画像データ等を表示装置46画面上に表示した
り、画像データ等を再編集して再び画像データ処理装置
33に出力したりする。このとき、出力形式の決定も行
うことが出来る。
The audio output device 48 is composed of a speaker (not shown) or the like, and outputs the image output-related information converted by audio output by audio. Then, the personal computer 4 takes in the image data edited by the image data processing device 3 by the communication device 47 through the communication line a, displays the taken image data and the like on the screen of the display device 46, and displays the image data. Or the like is re-edited and output again to the image data processing device 33. At this time, the output format can also be determined.

【0038】プリンタ5は、画像データ処理装置3と接
続されていて編集した画像データ等を所定の形式で出力
する。次に、動作について説明する。
The printer 5 is connected to the image data processing device 3 and outputs edited image data and the like in a predetermined format. Next, the operation will be described.

【0039】図5は、PDA2における被写体の撮像処
理の内容を示すフローチャートである。入力装置14の
カメラのシャッターボタンに相当するキーが押される
と、この撮像処理が開始される。ステップS1では、イ
メージ入力部12により撮像した被写体の画像データを
作成し、この画像データを記憶装置19に記憶する。
FIG. 5 is a flow chart showing the contents of the image pickup processing of the subject in the PDA 2. When a key corresponding to the shutter button of the camera of the input device 14 is pressed, this imaging process is started. In step S1, image data of the subject imaged by the image input unit 12 is created, and this image data is stored in the storage device 19.

【0040】ステップS2では、前記画像データ作成時
の時間を計時部20から読み取り、この時間データを記
憶装置19に記憶する処理を行う。ステップS3では、
前記画像データ作成時の測定場所(座標、地名等)をG
PS測定部21から読み取り、このGPSデータを記憶
装置19に記憶する。
In step S2, the time at which the image data was created is read from the timer 20 and the time data is stored in the storage device 19. In step S3,
Set the measurement location (coordinates, place name, etc.) when creating the image data to
The GPS data is read from the PS measurement unit 21 and the GPS data is stored in the storage device 19.

【0041】ステップS4では、撮像した画像データが
縦型か或いは横型かを縦横センサー15から読み取り、
この縦横データを記憶装置19に記憶する。ステップS
5では、撮像した画像データが所定の取り始めから何枚
目であるかを計数部22から読み取り、この枚数データ
を記憶装置19に記憶し、本撮像処理を終了する。
In step S4, whether the captured image data is vertical type or horizontal type is read from the vertical / horizontal sensor 15,
The vertical and horizontal data are stored in the storage device 19. Step S
In 5, the number of the captured image data from the predetermined start is read from the counting unit 22, the number data is stored in the storage device 19, and the main image capturing process ends.

【0042】図6は、PDA2におけるコメント入力処
理の内容を示すフローチャートである。このコメント入
力処理では、ステップS11で撮像した画像データを記
憶装置19から読み出す処理を行う。
FIG. 6 is a flow chart showing the contents of the comment input process in the PDA 2. In this comment input process, the image data captured in step S11 is read from the storage device 19.

【0043】ステップS12では、入力装置14のキー
ボード(図示省略)を使って、取り出した画像データに
対するコメントを入力する。ステップS13では、取り
出した画像データに対し、ユーザーの必要に応じて分類
(例えば、同一種類のものをグルーピングするために使
用する。)を入力する。
In step S12, a comment (not shown) of the input device 14 is used to input a comment for the extracted image data. In step S13, a classification (for example, used for grouping the same type) is input to the extracted image data as required by the user.

【0044】ステップS14では、入力したコメント及
び分類を、読み出した画像データに対応付けて記憶装置
19に記憶する処理を行い、本コメント記入処理を終了
する。
In step S14, the input comment and classification are stored in the storage device 19 in association with the read image data, and the comment writing process is terminated.

【0045】図7は、PDA2から画像データ処理装置
3にデータを送信するデータ送信処理の内容を示すフロ
ーチャートである。PDA2は画像データ処理装置3に
対して撮像した画像の送信と画像の出力依頼を送信でき
る。データ送信処理では、ステップS21で画像データ
処理装置3に対し出力を依頼する出力依頼があるか否か
を判定し、判定の結果、出力依頼がある場合には、出力
形式指定処理(ステップS22)を行った後、PDA2
の通信装置16から画像データ処理装置3の通信装置3
5に出力依頼信号を送信(ステップS23)して、本デ
ータ送信処理を終了するが、ステップS21の判定の結
果、出力依頼がない場合は、ステップS24に移行す
る。
FIG. 7 is a flow chart showing the contents of the data transmission process for transmitting data from the PDA 2 to the image data processing device 3. The PDA 2 can transmit a captured image and an image output request to the image data processing device 3. In the data transmission process, it is determined in step S21 whether or not there is an output request for requesting output from the image data processing device 3. If the result of the determination is that there is an output request, the output format designation process (step S22) After performing PDA2
From the communication device 16 to the communication device 3 of the image data processing device 3
The output request signal is transmitted to step 5 (step S23), and the present data transmission process ends, but if there is no output request as a result of the determination in step S21, the process proceeds to step S24.

【0046】ステップS24では、データ転送指示があ
るか否かを判定し、判定の結果、データ転送指示がない
場合は、ステップS21に戻って本処理を繰り返すが、
データ転送指示がある場合には、ステップS25でPD
A2の通信装置16から画像データ処理装置3の通信装
置35に転送指定された画像データ及びその関連データ
を送信する処理を行って、本データ送信処理を終了す
る。
In step S24, it is determined whether or not there is a data transfer instruction. If the result of the determination is that there is no data transfer instruction, the process returns to step S21 and this processing is repeated.
If there is a data transfer instruction, the PD is sent in step S25.
The process of transmitting the image data designated for transfer and its related data from the communication device 16 of A2 to the communication device 35 of the image data processing device 3 is performed, and this data transmission process is ended.

【0047】ここで、ステップS22において行われる
出力形式指定処理は、画像データ処理装置3が受信し記
録した画像をどのようにプリントするかを指定する処理
である。具体的には、出力形式は、予め、時間単位、場
所単位、縦横単位、分類単位、枚数単位、即ち、画像デ
ータの関連データ単位での出力選択が可能になってい
て、その中から一つをユーザが選択することで行われる
出力形式の指定により、後述する図13に示すようなア
ルバムサイズで画像の配置が決定される。
The output format designation process performed in step S22 is a process for designating how to print the image received and recorded by the image data processing device 3. Specifically, the output format can be selected in advance by time unit, place unit, vertical / horizontal unit, classification unit, number of sheets, that is, output unit of related data of image data, and one of them can be selected. The layout of images is determined by the album size as shown in FIG.

【0048】次に、PDA2から出力される画像データ
等或いは出力依頼信号に基づいて画像データ処理装置3
で実行されるセンター側の画像データ処理を図8のフロ
ーチャートを使って説明する。このフローチャートに記
載したセンターの各機能を実現するプログラムはCPU
31が読み取り可能なプログラムコードの形態で前記記
憶媒体33aに記憶されている。
Next, based on the image data or the like output from the PDA 2 or the output request signal, the image data processing device 3
The image data processing on the side of the center executed in step S1 will be described with reference to the flowchart of FIG. The program that implements each function of the center described in this flowchart is the CPU
31 is stored in the storage medium 33a in the form of a readable program code.

【0049】画像データ処理装置3において、まず、ス
テップS31において、図7のステップS25でPDA
2から送信された画像データ及びその関連データを通信
装置35で受信したか否かを判定する。この判定の結
果、画像データ及びその関連データの受信がある場合に
は、ステップS32に移行してデータメモリ34bに画
像データ及びその関連データを記憶する。(例えば、図
12に示すように画像データ50に対応付けて関連デー
タ(時間51、場所52、コメント53、枚数54、分
類55)が記憶される)ステップS31で画像データ等
の受信がないと判断されると、ステップS33に移行
し、図7のステップS23の出力依頼信号を通信装置3
5で受信したか否かを判定する。出力依頼信号を受信し
た場合には、ステップS34で指定された出力形式をフ
ォーマットメモリ34aに記憶し、ステップS35でプ
リンタ5よりプリントアウト(例えば、図13の(a)
又は(b)に示すような出力結果)して処理を終了す
る。一方、出力依頼を受信していない場合は、ステップ
S31に戻って処理を繰り返す。
In the image data processing device 3, first, in step S31, the PDA is processed in step S25 of FIG.
It is determined whether the communication device 35 has received the image data transmitted from No. 2 and its related data. If the result of this determination is that the image data and its related data have been received, the processing moves to step S32 and the image data and its related data are stored in the data memory 34b. (For example, as shown in FIG. 12, related data (time 51, place 52, comment 53, number of sheets 54, classification 55) is stored in association with the image data 50). If no image data or the like is received in step S31. If it is determined, the process proceeds to step S33, and the output request signal of step S23 in FIG.
It is determined whether or not it is received in 5. When the output request signal is received, the output format designated in step S34 is stored in the format memory 34a, and is printed out from the printer 5 in step S35 (for example, (a) in FIG. 13).
Or the output result as shown in (b)) and the process is terminated. On the other hand, when the output request has not been received, the process returns to step S31 and is repeated.

【0050】続いて、パーソナルコンピュータ4とセン
ターの画像データ処理装置3の間で行う、画像データ等
の通信及び編集処理のフローを図9を使用して説明す
る。パーソナルコンピュータ4からはセンターに対して
出力を指定して画像の出力をを依頼することができる。
まず、パーソナルコンピュータ4から画像データ処理装
置3に対し画像データ等の出力依頼(ステップS41)
が送信されると、画像データ処理装置3は、ステップS
42で、その出力依頼がパーソナルコンピュータ4への
出力か或いはプリンタ5への出力かを判断する。その判
断の結果、プリンタ5への出力の場合には、ステップS
43に移行して画像データ等を指定されたフォーマット
にて出力する。一方、PC4への出力の場合には、画像
データ等を指定された出力フォーマットに編集し(ステ
ップS44)、編集した画像データ等を通信装置35か
らパーソナルコンピュータ4の通信装置47に送信す
る。(ステップS45)パーソナルコンピュータ4で
は、ステップS46でセンターの画像データ処理装置3
から送信された画像データ等を受信し、受信した画像デ
ータ等を表示装置46に表示する。この表示画面でユー
ザはキーボード45を使って不要な写真などの削除等の
再編集処理を実行(ステップS47)する。このとき、
テキストデータを音声に変換する指定をすることもで
き、この指定があると、テキストデータが音声データに
変換され、テキストの表示の代りに音声アイコンが画像
の添付されるようになる。
Next, a flow of communication and editing processing of image data and the like performed between the personal computer 4 and the image data processing device 3 of the center will be described with reference to FIG. From the personal computer 4, it is possible to specify the output to the center and request the output of the image.
First, the personal computer 4 requests the image data processing device 3 to output image data and the like (step S41).
Is transmitted, the image data processing device 3 proceeds to step S
At 42, it is determined whether the output request is output to the personal computer 4 or the printer 5. If the result of the determination is that output to the printer 5, step S
In step S43, the image data and the like are output in the designated format. On the other hand, in the case of output to the PC 4, the image data and the like are edited in the designated output format (step S44), and the edited image data and the like are transmitted from the communication device 35 to the communication device 47 of the personal computer 4. (Step S45) In the personal computer 4, in step S46, the image data processing device 3 of the center
The image data and the like transmitted from are received, and the received image data and the like are displayed on the display device 46. On this display screen, the user uses the keyboard 45 to execute re-editing processing such as deletion of unnecessary photos (step S47). At this time,
It is also possible to specify the conversion of text data into voice, and when this is specified, the text data is converted into voice data and a voice icon is attached to the image instead of displaying the text.

【0051】ステップS48では、この再編集した画像
データ等を画像データ処理装置3に送信する処理を行
う。ステップS49では、画像データ処理装置3は、パ
ーソナルコンピュータ4から送信された再編集画像デー
タ等を通信装置35で受信し、この受信した再編集画像
データ等をデータ記憶装置34内のアルバムメモリ34
cに記憶する処理(ステップS50)を行い、本画像デ
ータ通信及び編集処理を終了する。
In step S48, the re-edited image data and the like are transmitted to the image data processing device 3. In step S49, the image data processing device 3 receives the reedited image data and the like transmitted from the personal computer 4 by the communication device 35, and receives the received reedited image data and the like in the album memory 34 in the data storage device 34.
The process of storing in c (step S50) is performed, and the main image data communication and editing process ends.

【0052】続いて、パーソナルコンピュータ4とセン
ターの画像データ処理装置3で行われるアルバムデータ
通信処理の処理フローを図10を使って説明する。パー
ソナルコンピュータ4から画像データ処理装置3に対し
データ記憶装置34のアルバムメモリ34cに記憶され
たアルバムデータ等の出力依頼(ステップS51)が送
信されると、画像データ処理装置3は、ステップS52
で、アルバムメモリ34cに格納したアルバムデータを
読み出して通信装置35によりパーソナルコンピュータ
4へ送信する。
Next, a processing flow of album data communication processing performed by the personal computer 4 and the image data processing device 3 of the center will be described with reference to FIG. When the personal computer 4 sends an output request (step S51) for the album data or the like stored in the album memory 34c of the data storage device 34 to the image data processing device 3, the image data processing device 3 causes the image data processing device 3 to perform step S52.
Then, the album data stored in the album memory 34c is read out and transmitted to the personal computer 4 by the communication device 35.

【0053】パーソナルコンピュータ4は、ステップS
53で、画像データ処理装置3から送信されたアルバム
データを通信装置47で受信し、受信したアルバムデー
タを表示装置46(例えば、CRT画面)に表示する。
(ステップS54)ステップS55では、表示したアル
バムデータの画面上の音声アイコンがクリックされたか
否かを判定し、判定の結果、音声アイコンの指定がない
場合には、ステップS54に移行して、表示を繰り返す
が、音声アイコンの指定がある場合には、ステップS5
6で音声出力装置48によりテキストデータの音声変換
出力を行う。
The personal computer 4 executes step S
At 53, the communication device 47 receives the album data transmitted from the image data processing device 3, and the received album data is displayed on the display device 46 (for example, a CRT screen).
(Step S54) In step S55, it is determined whether or not the audio icon on the screen of the displayed album data is clicked. If the result of the determination is that the audio icon is not designated, the process proceeds to step S54 to display. Repeat, but if the voice icon is specified, step S5
At 6, the voice output device 48 performs voice conversion output of the text data.

【0054】以上説明した画像データ処理システム1
は、上記のように構成されているので、例えば、以下に
示すような、画像データ処理が可能となる。まず、PD
A2を持って旅行に出かけたユーザーは、旅行先で風景
や人物等を撮像する。これにより、イメージ入力部12
で画像データが作成されると同時に、計時部20により
撮像した時間が、GPS測定部21により撮像した場所
が、縦横センサー15により縦型で撮像したか或いは横
型で撮像したかが、計数部22により所定の撮像始めか
ら何枚目の画像データであるかがそれぞれ計測され、画
像データ及びこれに関連するデータは記憶装置19に記
憶される。
The image data processing system 1 described above
Is configured as described above, it is possible to perform image data processing as described below, for example. First, PD
A user who travels with A2 images a landscape, a person, or the like at a travel destination. As a result, the image input unit 12
At the same time that the image data is created, the counting unit 22 determines whether the time taken by the time measuring unit 20 is the position taken by the GPS measuring unit 21 is vertically or horizontally taken by the vertical / horizontal sensor 15. Thus, the number of the image data from the start of the predetermined image pickup is measured, and the image data and the data related thereto are stored in the storage device 19.

【0055】続いて、ユーザーは、撮像した各画像デー
タを記憶装置19から取り出して、表示装置13に表示
させ、画像データに対するコメント或いはタイトルを入
力装置14で入力する。このとき、ユーザーは、風景画
像と人物画像とを分けるため、分類を入力する。そし
て、この画像データ及びその関連データを通信装置16
により通信回線aを介してユーザーの家の近くの画像デ
ータ処理装置3を有するセンターの通信装置35に送信
させる。
Subsequently, the user takes out each imaged image data from the storage device 19, displays it on the display device 13, and inputs a comment or a title for the image data with the input device 14. At this time, the user inputs the classification in order to separate the landscape image and the portrait image. Then, the image data and its related data are transferred to the communication device 16
Is transmitted to the communication device 35 at the center having the image data processing device 3 near the user's house via the communication line a.

【0056】センターの画像データ処理装置3は、受信
した画像データ及びその関連データをデータ記憶装置3
4に記憶しておく。そして、ユーザーは旅行最終日に、
画像データ及びその関連データに基づく画像等を、例え
ば、時間順でプリントする出力依頼を、入力装置14で
入力し、この出力依頼信号をセンターの画像データ処理
装置3に送信する。
The image data processing device 3 at the center stores the received image data and its related data in the data storage device 3.
Remember in 4. And on the last day of the trip, the user
For example, an output request for printing images based on the image data and the related data in time order is input by the input device 14, and this output request signal is transmitted to the image data processing device 3 at the center.

【0057】センターの画像データ処理装置3は、この
受信した出力依頼信号に従い、画像データ及びその関連
データに基づく画像等のアルバムをプリンタ5に出力す
る。具体的には、図13に示すように、時間順で画像
(写真)57の他、時間58、場所59、コメント6
0、タイトル61なども一緒にアルバムとして印刷され
る。
The image data processing device 3 at the center outputs to the printer 5 an album of images based on the image data and its related data according to the received output request signal. Specifically, as shown in FIG. 13, in addition to images (photographs) 57 in time order, time 58, place 59, comment 6
0, title 61, etc. are printed together as an album.

【0058】そして、ユーザーは、旅行帰りにセンター
に立ち寄り、出力されたアルバムを持ち帰る。したがっ
て、PDA2(撮像装置)で生成された画像データ等
は、ユーザーの希望する出力形式に従って編集して所定
の出力形態で出力することが出来ることとなって、従来
のように、出力形式がユーザーのパーソナルコンピュー
タ4(端末装置)の機能に影響されることがなく、撮像
した画像データの付加価値を十分に引き出すことができ
る。
Then, the user stops at the center on the way home from the trip and brings back the output album. Therefore, the image data generated by the PDA 2 (imaging device) can be edited according to the output format desired by the user and output in a predetermined output format. It is possible to sufficiently bring out the added value of the captured image data without being affected by the function of the personal computer 4 (terminal device).

【0059】また、予め撮像した画像データ等を自宅近
くのセンターに送信して希望する出力形式での出力が出
来るので、自分で画像データ等の編集をする必要がなく
便利になるとともに、出力結果をすぐに見ることが出来
る。
Further, since it is possible to send pre-captured image data and the like to a center near the home and output it in a desired output format, it is not necessary to edit the image data and the like by itself, and the output result can be obtained. Can be seen immediately.

【0060】また、この場合、自宅のパーソナルコンピ
ュータ4と画像データ処理装置3が通信回線aを介して
接続されている。従って、ユーザーは、画像データ処理
装置3で編集した画像データ及び画像データ関連情報を
パーソナルコンピュータ4に取り込んで、不要な画像デ
ータの削除、配置換え、或いはコメントやタイトルなど
の追加変更等の再編集が出来ることとなって、撮像した
画像データの編集が更に思い通りにできる。
In this case, the personal computer 4 at home and the image data processing device 3 are connected via the communication line a. Therefore, the user takes in the image data edited by the image data processing device 3 and the image data related information into the personal computer 4, and re-edits the unnecessary image data such as deletion, rearrangement, or addition / change of comment or title. As a result, the captured image data can be edited as desired.

【0061】また、この場合、再編集処理した画像デー
タ或いは画像データ関連情報は、再び画像データ処理装
置3に送信してプリンタ5から出力することも出来る。
従って、ユーザーは撮像装置或いは端末装置の何れでも
出力形式の決定を行うことが出来ることとなって、更に
使い勝手のよい画像データ処理システムとなる。
In this case, the re-edited image data or the image data related information can be transmitted to the image data processing device 3 again and output from the printer 5.
Therefore, the user can determine the output format by either the image pickup device or the terminal device, and the image data processing system becomes more convenient.

【0062】また、この場合、パーソナルコンピュータ
4により、コメントやタイトルなどのテキスト情報を音
声出力指示が可能である。従って、パソコン等で電子ア
ルバムを再生する場合、テキスト情報を音声出力するこ
とが出来ることとなって、より付加価値の高い画像デー
タ編集が可能となる。
In this case, the personal computer 4 can instruct the voice output of the text information such as the comment and the title. Therefore, when the electronic album is played back on a personal computer or the like, the text information can be output by voice, and image data editing with higher added value becomes possible.

【0063】次にこの発明の他の実施の形態について図
14乃至図22を参照して説明する。図14はこの発明
の他の実施の形態を示す画像処理装置のシステムブロッ
ク図である。図14において、パーソナルコンピュータ
(以下PC)51、形態端末装置(以下PDA)53お
よびサーバー55は通信ネットワーク57を介して接続
されている。サーバ55にはデータベース59が接続さ
れる。データべース59は位置情報(地理的座標のよう
な物理的情報)とその位置に関連する情報(地名等の社
会的情報)を記憶する。
Next, another embodiment of the present invention will be described with reference to FIGS. 14 to 22. FIG. 14 is a system block diagram of an image processing apparatus showing another embodiment of the present invention. In FIG. 14, a personal computer (hereinafter referred to as PC) 51, a portable terminal device (hereinafter referred to as PDA) 53, and a server 55 are connected via a communication network 57. A database 59 is connected to the server 55. The database 59 stores position information (physical information such as geographical coordinates) and information related to the position (social information such as a place name).

【0064】図15は図14に示すPDA53のシステ
ムブロック図である。図15に示すようにPDA53は
CPU59、キーボード61、撮像装置63、表示装置
65、GPS67、ROM69、RAM71、通信装置
73、および方位センサ75から構成され、各装置はシ
ステムバス77を介して接続されている。上記各装置の
うちCPU59、キーボード61、撮像装置63、表示
装置65、GPS67、ROM69、RAM71、およ
び通信装置73は図2に示すCPU11、入力装置1
4、イメージ入力装置12、表示装置13、GPS2
1、ROM18、RAM71、通信装置73とそれぞれ
同等の構成であるので、その説明を省略する。方位セン
サ75は撮像装置63により撮像した際の方位(すなわ
ちどの方向を向いて撮像しているか)を測定する。
FIG. 15 is a system block diagram of the PDA 53 shown in FIG. As shown in FIG. 15, the PDA 53 comprises a CPU 59, a keyboard 61, an image pickup device 63, a display device 65, a GPS 67, a ROM 69, a RAM 71, a communication device 73, and a direction sensor 75, and each device is connected via a system bus 77. ing. Of the above devices, the CPU 59, the keyboard 61, the imaging device 63, the display device 65, the GPS 67, the ROM 69, the RAM 71, and the communication device 73 are the CPU 11 and the input device 1 shown in FIG.
4, image input device 12, display device 13, GPS2
1, the ROM 18, the RAM 71, and the communication device 73 have the same configurations, and the description thereof will be omitted. The azimuth sensor 75 measures the azimuth (that is, in which direction the image is picked up) when the image is picked up by the image pickup device 63.

【0065】図16はサーバ55内のメモリ構成を示
す。図16のメモリ構成は、図12に示すメモリ構成に
加えて、さらに方位の情報およびその他の情報を記憶す
る。方位の情報はPDA53の方位センサ75により計
測された方位情報を記憶する。また、他の情報は例え
ば、旅先で知り合った人を撮影したとき、その人の電子
メールアドレスを聞き、それをPDA53からサーバ5
5に送ることにより、その電子メールアドレスが記憶さ
れる。この結果、後で、その撮像した画像データをその
電子メールアドレスに送信することができる。
FIG. 16 shows a memory configuration in the server 55. The memory configuration of FIG. 16 further stores azimuth information and other information in addition to the memory configuration shown in FIG. As the azimuth information, the azimuth information measured by the azimuth sensor 75 of the PDA 53 is stored. Further, other information is, for example, when a person who has been acquainted on a trip is photographed, the e-mail address of the person is heard, and the information is sent from the PDA 53 to the server 5.
By sending to 5, the electronic mail address is stored. As a result, the captured image data can be transmitted to the electronic mail address later.

【0066】図17および図18は図14に示すデータ
ベース58内の構成を示す図である。図17に示す第1
のデータベースは、位置情報(GPS67により測定し
た座標情報)83およびその位置情報に対応する地名情
報(著名な観光地名等)85をあらかじめ記憶してい
る。一方図18に示す第2データベースは位置情報(G
PS67により測定した座標情報)87、方位情報8
9、およびその方位に対応する地理情報91を有する。
例えばある位置座標(北緯何度、東経何度)の北側に何
があり、南側に何があり、西側に何があり、東側に何が
あるかその地名をそれぞれあらかじめ記憶している。
FIG. 17 and FIG. 18 are diagrams showing the structure in the database 58 shown in FIG. First shown in FIG.
The position information (coordinate information measured by the GPS 67) 83 and place name information (famous tourist place name, etc.) 85 corresponding to the position information are stored in advance in the database. On the other hand, the second database shown in FIG.
Coordinate information measured by PS67) 87, direction information 8
9 and geographical information 91 corresponding to the direction.
For example, the place name of what is on the north side, what is on the south side, what is on the west side, and what is on the east side of a certain position coordinate (the number of north latitude and the number of east longitude) are stored in advance.

【0067】図19はサーバの受信処理を示すフローチ
ャートである。サーバ55はステップS93において、
PDA53から通信ネットワーク57を介して画像デー
タおよび位置データを受信する。次に、ステップS95
において、受信した画像情報および位置情報を送信者に
割り当てられたデータベース58内の特定領域に格納す
る。
FIG. 19 is a flow chart showing the receiving process of the server. The server 55, in step S93,
The image data and the position data are received from the PDA 53 via the communication network 57. Next, step S95.
At, the received image information and position information are stored in a specific area in the database 58 assigned to the sender.

【0068】図20はPC51からの種々の要求に応答
してサーバ55が処理する内容を表わすフローチャート
および図21はPC51がサーバ55に対して種々の出
力要求を行う際の処理を示すフローチャートである。図
21のステップS117において、PC51は通信ネッ
トワーク57を介して所望の画像データの出力要求をサ
ーバ55に送る。サーバ55は、図20のステップS9
7において、PC51からの画像出力要求を受け取る。
そして、ステップS99において、その出力要求に応答
してそのユーザに割り当てられているデータベース58
の特定エリアから格納している画像データのうち、指定
された画像データおよびその関連情報(図16)を読み
出しPC51に送信する。PC51は図21のステップ
S119において、サーバ55から送られてきた画像デ
ータおよびその関連情報を、図22Aに示すように表示
装置65に表示する。ユーザは、ステップS121にお
いて、表示装置65に表示された画像データのさらなる
関連情報(地理的情報)を指示することができる。例え
ば、GPS67で測定した位置情報からその場所の観光
地名を知りたい場合には、ユーザはカーソルをその位置
情報フィールド(図22Aの133)に合わせてマウス
61をクリックする。あるいは方位センサ75により測
定された方位にもとづいて、撮影した場所の地名を知り
たければ、図22Aに示す方位フィールド135にカー
ソルを合わせてマウスをクリックする。これによりPC
51はステップS123において、クリックされた位置
情報や方位情報をサーバ55に送る。サーバ55は図2
0のステップS101において、このPC51からの要
求を判断し、ステップS109において、データベース
58をサーチして、指定された情報(位置情報に対応す
る地名や方位情報に対応する地名)を読み出し、ステッ
プS111において、PC51に出力する。
FIG. 20 is a flowchart showing the contents processed by the server 55 in response to various requests from the PC 51, and FIG. 21 is a flowchart showing the processing when the PC 51 makes various output requests to the server 55. . In step S117 of FIG. 21, the PC 51 sends an output request for desired image data to the server 55 via the communication network 57. The server 55 executes step S9 of FIG.
At 7, the image output request from the PC 51 is received.
Then, in step S99, the database 58 assigned to the user in response to the output request.
Of the image data stored from the specified area of No. 3, the designated image data and its related information (FIG. 16) are read out and transmitted to the PC 51. In step S119 of FIG. 21, the PC 51 displays the image data and its related information sent from the server 55 on the display device 65 as shown in FIG. 22A. In step S121, the user can instruct further related information (geographical information) of the image data displayed on the display device 65. For example, when the user wants to know the tourist attraction name of the place from the position information measured by the GPS 67, the user moves the cursor to the position information field (133 in FIG. 22A) and clicks the mouse 61. Alternatively, if the user wants to know the place name of the shooting location based on the azimuth measured by the azimuth sensor 75, the cursor is moved to the azimuth field 135 shown in FIG. 22A and the mouse is clicked. This allows the PC
51 sends the clicked position information and direction information to the server 55 in step S123. The server 55 is shown in FIG.
In step S101 of 0, the request from the PC 51 is determined, and in step S109, the database 58 is searched to read specified information (place name corresponding to position information or place name corresponding to direction information), and step S111. In, it outputs to PC51.

【0069】PC51はステップS125において、サ
ーバ55から上記位置情報や方位情報に対応する地名情
報を受け取り、図22Bに示すように「甲府」や「富士
山」を表示する。
In step S125, the PC 51 receives the place name information corresponding to the position information and the direction information from the server 55 and displays "Kofu" and "Mt. Fuji" as shown in FIG. 22B.

【0070】また、ユーザが表示装置65に表示された
画像データを図22Cに示すように表示されている電子
メールの宛先に送りたい場合には、その電子メールアド
レスにカーソルを合わせてマウスをクリックすることに
より、PCはメール発信リクエストをその電子メールア
ドレスとともにサーバに送信する。
Further, when the user wants to send the image data displayed on the display device 65 to the destination of the electronic mail displayed as shown in FIG. 22C, the cursor is moved to the electronic mail address and the mouse is clicked. By doing so, the PC sends the mail transmission request to the server together with the electronic mail address.

【0071】サーバは図21のステップS127におい
て、PCから電子メールによる画像データの送信要求が
あったことを判断し、ステップS129において、その
電子メールアドレスに画像データを送信する。
The server determines in step S127 of FIG. 21 that the PC has requested the transmission of the image data by electronic mail, and in step S129, transmits the image data to the electronic mail address.

【0072】また、ユーザが表示装置65に表示された
画像データを印刷したい場合には、図16の画面におい
て、表示装置65上の図示しない印刷のボタンをマウス
でクリックすることにより、印刷要求がPCから通信ネ
ットワーク57を介してサーバ55に送られる。
When the user wants to print the image data displayed on the display device 65, a print request is made by clicking a print button (not shown) on the display device 65 with a mouse on the screen of FIG. It is sent from the PC to the server 55 via the communication network 57.

【0073】サーバ55は図21のステップS127に
おいて、PCからの印刷要求を判断し、ステップS13
1において、指定された画像データを印刷する。また、
ユーザが表示されている画像データに対してなんらかの
コメントを入れたい場合がある。その場合には、キーボ
ード装置61からコメントを入力し、PC51は入力さ
れたコメントをサーバ55に送信する。サーバ55はP
Cからコメント入力要求をステップS127において判
断し、ステップS129において、図16に示す対応す
るコメントフィールド54にそのコメントを書き込む。
The server 55 determines the print request from the PC in step S127 of FIG.
In 1, the designated image data is printed. Also,
There is a case where the user wants to enter some comment on the displayed image data. In that case, a comment is input from the keyboard device 61, and the PC 51 transmits the input comment to the server 55. Server 55 is P
In step S127, the comment input request from C is determined, and in step S129, the comment is written in the corresponding comment field 54 shown in FIG.

【0074】なお、画像データの関連データは、上記し
た実施の形態に限るものではなく、画像データと関連が
ある情報であればよい。また、所定の出力形態として
は、印刷装置による出力、表示装置による出力、音声装
置による出力等が含まれる。
The related data of the image data is not limited to the above-mentioned embodiment, and may be any information related to the image data. Further, the predetermined output form includes output by a printing device, output by a display device, output by an audio device, and the like.

【0075】また、出力形式は、上記実施の形態では画
像データの関連データに基づいて行うが、画像データの
関連データとは、別個のデータに基づいて行うようにし
てもよい。
Further, although the output format is performed based on the related data of the image data in the above-mentioned embodiment, it may be performed based on the data different from the related data of the image data.

【0076】[0076]

【発明の効果】本発明によれば、撮像装置にて生成され
た画像データ及び関連データが通信回線を介してセンタ
ー装置あるいは画像データ処理装置に送信され、ユーザ
が撮像装置で指定した出力形式が送信されることで、セ
ンター装置は指定された出力形式で画像データを編集し
てプリントするようになる。
According to the present invention, the image data generated by the image pickup device and the related data are transmitted to the center device or the image data processing device through the communication line, and the output format specified by the user in the image pickup device is obtained. By being transmitted, the center device edits the image data in the designated output format and prints it.

【0077】したがって、例えば、旅行などに出かけた
ときは、予め撮像した画像データ等を自宅近くのセンタ
ー(センター装置を有する。)に送信して希望する出力
形式での出力を指示しておけば、旅行から帰宅する途中
でセンターに立ち寄って、出力されたもの(例えば、ア
ルバムなど)を持ち帰ることができ、自分で画像データ
等の編集をしなくても、出力結果をすぐに見ることがで
きる。
Therefore, for example, when going out on a trip or the like, it is possible to send the imaged image data or the like in advance to a center (having a center device) near home to instruct output in a desired output format. , You can stop at the center on the way home from the trip and take back the output (for example, album), and you can immediately see the output result without editing the image data etc. yourself. .

【0078】[0078]

【0079】[0079]

【0080】[0080]

【0081】[0081]

【0082】[0082]

【0083】[0083]

【0084】[0084]

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明の実施の形態の画像データ処理システム
のシステム構成図である。
FIG. 1 is a system configuration diagram of an image data processing system according to an embodiment of the present invention.

【図2】PDA2の要部構成を表すブロック図をであ
る。
FIG. 2 is a block diagram showing a main configuration of a PDA 2.

【図3】画像データ処理装置3の要部構成を表すブロッ
ク図である。
FIG. 3 is a block diagram showing a main configuration of an image data processing device 3.

【図4】パーソナルコンピュータ4の要部構成を表すブ
ロック図である。
FIG. 4 is a block diagram showing a main configuration of a personal computer 4.

【図5】PDA2における被写体の撮像処理の内容を示
すフローチャートである。
FIG. 5 is a flowchart showing the contents of subject image pickup processing in the PDA 2.

【図6】PDA2におけるコメント記入処理の内容を示
すフローチャートである。
FIG. 6 is a flowchart showing the contents of comment entry processing in PDA2.

【図7】PDA2から画像データ処理装置3にデータを
送信するデータ送信処理の内容を示すフローチャートで
ある。
FIG. 7 is a flowchart showing the contents of a data transmission process for transmitting data from the PDA 2 to the image data processing device 3.

【図8】画像データ処理装置3における画像データ処理
の内容を示すフローチャートである。
8 is a flowchart showing the contents of image data processing in the image data processing device 3. FIG.

【図9】パーソナルコンピュータ4と画像データ処理装
置3で行う、画像データ等の通信及び編集処理の内容を
示すフローチャートである。
FIG. 9 is a flowchart showing the contents of communication and editing processing of image data and the like performed by the personal computer 4 and the image data processing device 3.

【図10】パーソナルコンピュータ4と画像データ処理
装置3で行う、アルバムデータ通信処理の内容を示すフ
ローチャートである。
FIG. 10 is a flowchart showing the contents of album data communication processing performed by the personal computer 4 and the image data processing apparatus 3.

【図11】画像データ処理装置3のデータ記憶装置34
のメモリ構成を示した図である。
FIG. 11 is a data storage device 34 of the image data processing device 3.
It is a diagram showing a memory configuration of.

【図12】画像データ処理装置3のデータ記憶装置34
のデータメモリ構成を示した図である。
FIG. 12 is a data storage device 34 of the image data processing device 3.
3 is a diagram showing a data memory configuration of FIG.

【図13】画像データ処理システム1による画像データ
等の出力結果の一形態を模式的に示した図である。
FIG. 13 is a diagram schematically showing one form of an output result of image data and the like by the image data processing system 1.

【図14】この発明の他の実施の形態を示す画像処理装
置のシステムブロック図である。
FIG. 14 is a system block diagram of an image processing apparatus showing another embodiment of the present invention.

【図15】図14に示すPDAのシステムブロック図で
ある。
FIG. 15 is a system block diagram of the PDA shown in FIG.

【図16】図14に示す実施の形態において、サーバの
メモリ構成を示す図。
16 is a diagram showing a memory configuration of a server in the embodiment shown in FIG.

【図17】図14に示すデータベース内構成を示す図。17 is a diagram showing the internal structure of the database shown in FIG.

【図18】図14に示すデータベース内構成を示す図。18 is a diagram showing the internal structure of the database shown in FIG.

【図19】この発明の他の実施の形態において、サーバ
の受信処理を示すフローチャート。
FIG. 19 is a flowchart showing a receiving process of the server in another embodiment of the present invention.

【図20】この発明の他の実施の形態において、PCか
らの種々の要求に応答してサーバが処理する内容を表わ
すフローチャート。
FIG. 20 is a flowchart showing the contents processed by a server in response to various requests from a PC in another embodiment of the present invention.

【図21】この発明の他の実施の形態において、PCが
サーバに対して種々の出力要求を行う際の処理を示すフ
ローチャート。
FIG. 21 is a flowchart showing processing when the PC makes various output requests to the server in another embodiment of the present invention.

【図22】PCにおける画像データおよびその関連情報
の画面表示例を示す図である。
FIG. 22 is a diagram showing a screen display example of image data and related information on a PC.

【符号の説明】[Explanation of symbols]

1 画像データ処理システム 2 PDA(撮像装置) 3 画像データ処理装置(センター装置) 4 パーソナルコンピュータ(端末装置) 5 プリンタ(画像データ出力手段) 11 CPU(撮像手段、出力形式決定手段) 12 イメージ入力部(撮像手段) 13 表示装置 14 入力装置(出力形式決定手段) 15 縦横センサー(画像データ関連情報生成手段) 16 通信装置(通信手段) 17 RAM 18 ROM 19 記憶装置 19a 記憶媒体 20 計時部(画像データ関連情報生成手段) 21 GPS測定部(画像データ関連情報生成手段) 22 計数部(画像データ関連情報生成手段) 31 CPU(画像データ編集手段、第1の画像デー
タ編集手段) 32 RAM 33 プログラムメモリ 33a 記憶媒体 34 データ記憶装置(記憶手段) 35 通信装置(通信手段) 41 CPU(第2の画像データ編集手段、音声出力
制御手段) 42 RAM 43 ROM 44 ハードディスク 45 キーボード(出力形式決定手段) 46 表示装置 47 通信装置 48 音声出力装置(音声出力手段) 55 サーバー 57 通信ネットワーク 59 CPU 61 キーボード 63 撮像装置 65 表示装置 67 GPS 69 ROM 71 RAM 73 通信装置 75 方位センサ 77 システムバス 79 方位情報 83 位置情報 85 地理的情報
1 Image Data Processing System 2 PDA (Imaging Device) 3 Image Data Processing Device (Center Device) 4 Personal Computer (Terminal Device) 5 Printer (Image Data Output Means) 11 CPU (Imaging Means, Output Format Determining Means) 12 Image Input Unit (Imaging means) 13 Display device 14 Input device (output format determining means) 15 Vertical / horizontal sensor (image data related information generating means) 16 Communication device (communication means) 17 RAM 18 ROM 19 Storage device 19a Storage medium 20 Clock part (image data) Related information generating means) 21 GPS measuring section (image data related information generating means) 22 Counting section (image data related information generating means) 31 CPU (image data editing means, first image data editing means) 32 RAM 33 program memory 33a Storage medium 34 Data storage device (storage means) 35 Communication device (communication means) 41 CPU (second image data editing means, audio output control means) 42 RAM 43 ROM 44 Hard disk 45 Keyboard (output format determining means) 46 Display device 47 Communication device 48 Audio output device (audio output means) ) 55 server 57 communication network 59 CPU 61 keyboard 63 image pickup device 65 display device 67 GPS 69 ROM 71 RAM 73 communication device 75 direction sensor 77 system bus 79 direction information 83 position information 85 geographical information

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平8−36217(JP,A) 特開 平5−110972(JP,A) 特開 平6−67291(JP,A) 特開 平4−70729(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 5/76 - 5/956 H04N 5/222 - 5/257 ─────────────────────────────────────────────────── --Continued from the front page (56) References JP-A-8-36217 (JP, A) JP-A-5-110972 (JP, A) JP-A-6-67291 (JP, A) JP-A-4- 70729 (JP, A) (58) Fields investigated (Int. Cl. 7 , DB name) H04N 5/76-5/956 H04N 5/222-5/257

Claims (5)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 撮像装置とセンター装置とを有する画
像データ処理システムであって、 前記撮像装置は、 被写体を撮像して前記画像データを生成する撮像手段
と、前記画像データに付加する関連データを生成する関連デ
ータ生成手段と、 通信回線を介して前記画像データと関連データを前記セ
ンター装置に送信する送信手段と ユーザに出力形式を指定させる指定手段と、 通信回線を介して前記指定された出力形式を前記センタ
ー装置に送信する出力形式送信手段を有し、 前記センター装置は、 前記撮像装置から通信回線を介して送信される画像デー
と関連データを受信する受信手段と、 前記受信手段により受信した画像データと関連データ
記憶する記憶手段と、前記指定された出力形式を受信する手段と、 前記記憶手段に記憶した画像データを、関連データに基
いて、指定手段により指定された出力形式に編集してプ
リント出力する出力手段とを具備したことを特徴とする
画像データ処理システム。
1. An image data processing system having an image pickup device and a center device, wherein the image pickup device includes image pickup means for picking up an image of a subject and generating the image data, and related data to be added to the image data. Related data to generate
The image data and the related data are transmitted to the data generation means and the communication line via a communication line.
The center and the transmitting means, specifying means for specifying the output format to the user, the specified output format via the communication line for transmitting the centers apparatus
The image data is transmitted from the image pickup device via the communication line, the center device receives the image data and related data , and the image data received by the receiving device. And storage means for storing related data , means for receiving the designated output format, and image data stored in the storage means based on the related data.
Edit the output format specified by the specifying
An image data processing system, comprising: an output unit for outputting a lint .
【請求項2】 前記関連データ生成手段は、前記画像デ
ータを撮像した位置を測定する位置測定手段、前記画像
データを撮像した時間を計時する計時手段の少なくとも
1つを有し、前記指定手段は、撮像した場所または時間
を単位とした出力を指定する手段を含むことを特徴とす
る請求項1に記載の画像データ処理システム
2. The related data generating means is configured to generate the image data.
Position measuring means for measuring the position where the data is captured, the image
At least a time measuring means for measuring the time when the data is imaged
The one having the one, and the designation means is the place or time when the image is taken.
Characterized by including means for designating the output in units of
The image data processing system according to claim 1 .
【請求項3】 前記関連データ生成手段は、画像データ
の分類を入力する手段を含み、前記指定手段は、画像デ
ータの分類の従った出力を指定する手段を含むことを特
徴とする請求項1に記載の画像データ処理システム
3. The related data generating means is image data.
Of the image data.
It includes a means for specifying the output according to the data classification.
The image data processing system according to claim 1, which is a characteristic .
【請求項4】 通信回線を介して撮像装置と接続される
画像データ処理装置であって、 前記撮像装置にて生成された画像データ及び関連データ
を通信回線を介して受信する受信手段と、 前記受信手段により受信した画像データと関連データを
記憶する記憶手段と、 前記撮像装置にてユーザにより指定された出力形式を通
信回線を介して受信する出力形式受信手段と、 前記記憶手段に記憶した画像データを、関連データに基
いて、前記出力形式受信手段により受信された出力形式
に編集してプリント出力する出力手段とを具備したこと
を特徴とする画像データ処理装置
4. An image pickup device is connected via a communication line.
An image data processing device, wherein image data and related data generated by the imaging device
Receiving means for receiving via a communication line, the image data and associated data received by the receiving means
The storage means for storing and the output format specified by the user in the imaging device
The output format receiving means for receiving via the communication line and the image data stored in the storage means are based on the related data.
The output format received by the output format receiving means
Output means for editing and printing out
An image data processing device characterized by:
【請求項5】 前記記憶手段に記憶される関連データ
は、前記画像データを撮像した位置情報と、前記画像デ
ータを撮像した時間情報の少なくとも1つであり、前記
出力手段は、画像データを、受信した出力形式にしたが
って、撮像した場所または時間を単位とした編集を行う
ことを特徴とする請求項4に記載の画像データ処理装
5. Related data stored in said storage means
Indicates the position information of the image data captured and the image data.
At least one of the time information when the image of the data is captured,
The output means uses the image data in the received output format.
Edit the location or time taken as a unit.
The image data processing device according to claim 4, wherein
Place
JP34143597A 1996-12-25 1997-12-11 Image data processing system and image processing device Expired - Lifetime JP3521718B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP34143597A JP3521718B2 (en) 1996-12-25 1997-12-11 Image data processing system and image processing device

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP8-346201 1996-12-25
JP34620196 1996-12-25
JP34143597A JP3521718B2 (en) 1996-12-25 1997-12-11 Image data processing system and image processing device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2001121479A Division JP3622688B2 (en) 1996-12-25 2001-04-19 Image processing device

Publications (2)

Publication Number Publication Date
JPH10243263A JPH10243263A (en) 1998-09-11
JP3521718B2 true JP3521718B2 (en) 2004-04-19

Family

ID=26576966

Family Applications (1)

Application Number Title Priority Date Filing Date
JP34143597A Expired - Lifetime JP3521718B2 (en) 1996-12-25 1997-12-11 Image data processing system and image processing device

Country Status (1)

Country Link
JP (1) JP3521718B2 (en)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3223506B2 (en) 1998-11-19 2001-10-29 日本電気株式会社 Image editing service system
JP2000224566A (en) * 1999-02-02 2000-08-11 Sony Corp Device, method and system for processing information and providing medium
US7542070B2 (en) 2000-01-17 2009-06-02 Fujifilm Corporation Image processing apparatus, and photographing system for receiving and creating processing information
JP2002281421A (en) * 2001-03-14 2002-09-27 Nec Corp System and method for managing image and video data
JP2002290599A (en) * 2001-03-23 2002-10-04 Denso Corp Portable telephone
JP2005051278A (en) * 2001-07-30 2005-02-24 Matsushita Electric Ind Co Ltd Video image recording apparatus
JP2003204297A (en) * 2001-08-07 2003-07-18 Asia Air Survey Co Ltd Site condition transmission terminal and site condition transmission system
JP4767453B2 (en) * 2001-08-30 2011-09-07 富士通株式会社 Data transmission method, transmission destination determination device, and photographing terminal
KR100744052B1 (en) 2003-12-11 2007-07-30 삼성전자주식회사 Image Scanning and storage system and method thereof
JP2006345235A (en) * 2005-06-09 2006-12-21 Ricoh Co Ltd Image processing apparatus and print specifying method
US8705081B2 (en) 2006-11-22 2014-04-22 Fuji Xerox Co., Ltd. System and method for including input method information on a printed document
JP6221107B2 (en) * 2012-02-09 2017-11-01 株式会社ニコン Control device and program
CN102853786B (en) * 2012-08-31 2014-11-26 深圳先进技术研究院 Apparatus and method for detecting flatness

Also Published As

Publication number Publication date
JPH10243263A (en) 1998-09-11

Similar Documents

Publication Publication Date Title
KR100317643B1 (en) Image Data Processing System
US11647276B2 (en) Portable information device having real-time display with relevant information
JP4366601B2 (en) Time shift image distribution system, time shift image distribution method, time shift image request device, and image server
JP4582428B2 (en) Place name registration device and place name registration method
JP3521718B2 (en) Image data processing system and image processing device
JP2009239397A (en) Imaging apparatus, imaging system, control method of imaging apparatus, and control program
US20220215050A1 (en) Picture Search Method and Device
JPH08315106A (en) Digital camera and image data distribution system
JP2008252930A (en) Electronic camera, image display device and image display method
JP2008160879A (en) Electronic camera, image display device and image display method
JP3622688B2 (en) Image processing device
JP2006135515A (en) System, device, and method for providing photographic information, and program
JP5458411B2 (en) Photographed image display device, photographed image display method, and electronic map output by photographed image display method
CN115767291A (en) Virtual photographing method, device, equipment and storage medium

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040202

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090220

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090220

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100220

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110220

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110220

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120220

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120220

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130220

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130220

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140220

Year of fee payment: 10

EXPY Cancellation because of completion of term