JP2004511368A - 写真の誤り許容データ記憶のための方法及び装置 - Google Patents

写真の誤り許容データ記憶のための方法及び装置 Download PDF

Info

Publication number
JP2004511368A
JP2004511368A JP2002537547A JP2002537547A JP2004511368A JP 2004511368 A JP2004511368 A JP 2004511368A JP 2002537547 A JP2002537547 A JP 2002537547A JP 2002537547 A JP2002537547 A JP 2002537547A JP 2004511368 A JP2004511368 A JP 2004511368A
Authority
JP
Japan
Prior art keywords
data
image
printing
error
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002537547A
Other languages
English (en)
Other versions
JP3937328B2 (ja
Inventor
シルバーブルック, カイア
ラプスタン, ポール
ワルムズリー, サイモン, ロバート
Original Assignee
シルバーブルック リサーチ ピーティワイ リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シルバーブルック リサーチ ピーティワイ リミテッド filed Critical シルバーブルック リサーチ ピーティワイ リミテッド
Publication of JP2004511368A publication Critical patent/JP2004511368A/ja
Application granted granted Critical
Publication of JP3937328B2 publication Critical patent/JP3937328B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B41PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41JTYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J3/00Typewriters or selective printing or marking mechanisms characterised by the purpose for which they are constructed
    • B41J3/44Typewriters or selective printing mechanisms having dual functions or combined with, or coupled to, apparatus performing other functions
    • B41J3/50Mechanisms producing characters by printing and also producing a record by other means, e.g. printer combined with RFID writer
    • B41J3/51Mechanisms producing characters by printing and also producing a record by other means, e.g. printer combined with RFID writer the printed and recorded information being identical; using type elements with code-generating means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Record Information Processing For Printing (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Ink Jet (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)

Abstract

赤外線インク及びインクジェット印刷プロセスを用いて写真上或いは写真と共にデジタルデータを印刷する方法を開示する。写真の損傷に関わらず、データは写真をコピー或いは修復可能な符号化された誤り許容フォーム内のイメージの詳細を記憶できる。また、写真に符号化誤り許容デジタルデータを赤外線インクで印刷する装置は、a)イメージを映し、前記イメージをデジタルフォーマットで出力するカメラシステムと;b)前記イメージの前記デジタルフォーマットを誤り許容符号化デジタルフォームに処理する手段と;c)インクジェット印刷プロセスを用いて前記イメージ及び前記誤り許容符号化デジタルフォームを印刷する手段と;を含む。前記誤り許容符号化デジタルフォームは赤外線インクを用いて印刷され、写真に符号化誤り許容デジタルデータを赤外線インクで印刷する。
【選択図】図1

Description

【0001】
【発明の属する技術分野】
本発明はデータ処理方法及び装置に関し、特に、赤外線インクを使用して写真からの誤り許容におけるデータを記憶するためのデータ符号化方法及び装置を開示する。このデータは、カメラシステムから得たオリジナルのイメージデータである。
【0002】
(同時係属出願)
本発明に関連する種々の方法、システム及び装置が本発明と同時に本発明の出願人により出願された以下の同時係属出願に開示されている。
【0003】
【表1】
Figure 2004511368
これらの同時係属出願の開示は、参照して本明細書に組み入れる。
【0004】
本発明に関連する種々の方法、システム及び装置が本発明と同時に本発明の出願人により1998年7月10日に出願された以下の同時係属出願に開示されている。
【0005】
USSN 09/113,070
USSN 09/112,785
これらの同時係属出願の開示は、参照して本明細書に組み入れる。
【0006】
本発明に関連する種々の方法、システム及び装置が本発明と同時に本発明の出願人により2000年6月30日に出願された以下の同時係属出願に開示されている。
【0007】
PCT/AU00/00743、PCT/AU00/00744、PCT/AU00/00745、PCT/AU00/00746、PCT/AU00/00747及びPCT/AU00/00748
これらの同時係属出願の開示は、参照して本明細書に組み入れる。
【0008】
【発明の背景】
係属中の出願USSN 09/113,070及び USSN 09/112,785の中で出願人が言及しているように、カード等の簡単な印刷メディアに記憶される大量のコンピュータデータを許容し、同時に走査装置により読み込まれる際の高い破損度合を許容する印刷メディア走査システムが一般に要求されている。例えば、分配の形態は走査装置により表面を走査する時の大量のデータ破損エラーを被り得る。エラーには以下のものがある:
1.線の欠陥のある画素リーダを有するリニアCCDを有するカード表面の読み取りの結果に起き、そのため線上の全ての点に同じ値を生成するデッド画素エラー。
2.採用されたシステムは、テキストがカードの表面に所有者により書かれたエラーを許容できるのが好ましい。このようなエラーはカードを走査する走査システムにより許容されるのが理想的である。
3.カードの表面には種々のデータエラーが生じ得る。如何なる損傷或いは欠陥もカード表面に記憶された情報を判断するシステムが許容すべきである。
4.カードをカード読み取り装置に挿入する際には、ある程度の「遊び」がある。この遊びは、カード読み取り装置による読み取り時のある程度のカードの回転を含み得る。
5.さらに、カード読み取り装置は、電気モータによりCCD等のリニアイメージセンサを通り過ぎるように駆動されると仮定する。電気モータは、ある程度の変動を受けることがあり、これがCCDの表面を横断するデータの伝達率に変動をもたらす。モータの変動エラーもカードの表面のデータ符号化方法により許容されるべきである。
6.カード表面のスキャナは種々の装置の変動を受け、個々の画素の強度が変化する。読み取り装置の強度の変化も、カード表面に含まれるデータに実行されるシステム或いは方法により許容されるべきである。
【0009】
理想的には、如何なる走査システムも上記要因によりエラーがあったとしてもその正確度は維持されるべきである。
【0010】
米国特許出願USSN 09/113,070及びUSSN 09/112,785では、出願人は好ましくは白の背景の上に黒インクを用いて写真の裏に符号化誤り許容フォームにおいて、データを印刷する方法及び装置を開示している。そのデータは、イメージを再現したり或いはイメージにある効果を施したりするコンピュータプログラムスクリプトよりなるデジタルイメージファイルフォーマット及び/又はデータにおける写真を示している。ヴァーク(VARK)スクリプトと呼ばれるプログラミング言語は、携帯式で独立した装置として設計されたこの目的のために発明された。
【0011】
【課題を解決するための手段】
本発明は、赤外線インクを用いてイメージ上に或いはイメージと共に符号化誤り許容デジタルフォームにおけるイメージに対応するデジタルデータを印刷することにより、データを符号化及び記憶する別の方法を提供しようとするものであり、このイメージ及びデータは本出願人により開示されたインクジェット印刷システムを用いて印刷媒体に記憶されている。
【0012】
本発明の目的は、写真にデジタルデータを印刷する方法を提供することであり、以下のステップ:
a)イメージに対応するイメージデータを受信するステップと;
b)前記イメージデータを符号化誤り許容デジタルフォームに変換するステップと;
c)インクジェット印刷プロセスを用いて前記イメージデータの前記誤り許容デジタルフォームを印刷媒体の表面に見えないインクで印刷し、同時に、前記イメージデータを表す写真イメージとして前記イメージデータを同じ表面に見えるように、且つ人間が読める形態で印刷するステップと;を含む。
【0013】
好ましくは、前記符号化するステップは、前記イメージデータを圧縮するステップ及びリードソロモンアルゴリズムを用いて処理するステップを含む。
【0014】
前記見えないインクは、可視スペクトルを殆ど吸収しない赤外線吸収インクであってもよい。
【0015】
本発明の更なる目的は、写真に符号化誤り許容デジタルデータを赤外線インクで印刷する装置を提供することであり、この装置は:
a)イメージを映し、前記イメージをデジタルフォーマットで出力するカメラシステムと;
b)前記イメージの前記デジタルフォーマットを誤り許容符号化デジタルフォームに処理する手段と;
c)インクジェット印刷プロセスを用いて前記イメージ及び前記誤り許容符号化デジタルフォームを印刷する手段と;
を含み、前記誤り許容符号化デジタルフォームは赤外線インクを用いて印刷される、装置である。
【0016】
前記印刷する手段は、プリントロールが印刷媒体を与えるインクジェット構造を用いたページ幅プリントヘッドを使用するのが好ましい。ページ幅プリントヘッドは、例えば本出願人による以下の出願に開示されている:PCT/AU00/00743、PCT/AU00/00744、PCT/AU00/00745、PCT/AU00/00746、PCT/AU00/00747及びPCT/AU00/00748。印刷媒体を供給するプリントロールは、本出願人によるアートキャム(Artcam)に関する出願USSN 09/113,070及びUSSN 09/112,785に開示されている。
【0017】
本発明の好適な形式によれば、従来の85mm×55mm(略クレジットカードのサイズ)のフォーマットのデータ符号化カードと比較して、約102(152mm(4’’×6’’)の標準サイズの写真に情報が印刷される。記憶媒体のサイズを大きくしたことにより、従来と同様或いは同一のデータ符号化技術を用いながらも、従来のフォーマットと比較して写真に記憶されるデータ量が約3〜4倍多くなる。
【0018】
【発明の実施の形態】
本発明は、好ましくはページ幅プリントヘッドにて印刷されるドットにつき少なくとも4つのインクジェット印刷ノズルを有するインクジェット印刷システムを含む。4つのインクとはカラーイメージを印刷するためのシアン、マゼンタ、黄色、及び符号化誤り許容フォームでカラーイメージと共にデータを印刷するための赤外線(IR)インクである。4つのインクを用いて印刷できるインクジェットプリントヘッドは、本出願人による同時係属出願PCT/AU00/00743、PCT/AU00/00744、PCT/AU00/00745、PCT/AU00/00746、PCT/AU00/00747及びPCT/AU00/00748に開示されている。
【0019】
本発明で使用される赤外線インクは、本出願人による同時係属出願である以下のオーストラリア仮出願:2000年8月14日に出願されたPQ9412及びPQ9376、2000年8月18日に出願されたPQ9509、2000年8月21日に出願されたPQ9571及びPQ956lに開示されている。
【0020】
本発明によれば、イメージはデジタルカメラ領域イメージセンサにより撮られ、走査されたイメージはデータとして読み出される。このデータは処理装置により処理され、リードソロモンフォーマットを用いるなどの誤り許容符号化方法を使用して、符号化フォームに変換される。このように符号化変換されたデータは、インクジェット印刷プロセスを使用して符号化データを印刷するプリンタ手段に供給される。これらの機能を発揮する装置、及びイメージデータを符号化するのに使用できる技術は、本出願人による同時係属出願であるUSSN 09/113,070及びUSSN09/112,785に開示されており、プリンタ手段はPCT/AU00/00743、PCT/AU00/00744、PCT/AU00/00745、PCT/AU00/00746、PCT/AU00/00747及びPCT/AU00/00748に開示されている。これらの内容は、参照して本明細書に組み入れる。これらの技術は、アートカード(Artcard)、オルタナティブアートカード(alternative Artcard)或いはドットカード(Dotcard)フォーマットに記載されている。これらの出願では、80mm×50mmの活性データ領域における85mm×55mmのカードの裏の白の背景に、黒インクを用いて印刷される。この方法では、15,876,000個の印刷ドットを用いて1.89メガバイトのデータとして967キロバイトのデータが誤り許容として符号化される。
【0021】
符号化データフォーマット
別の符号化データフォーマットも可能であるが、1つの符号化データフォーマットを多くの好適な特徴と共に説明する。
【0022】
符号化データの概要
符号化データは、書かれたイメージを修復したり、例えばデジタル通信ネットワークへの転送或いはコンピュータ内でのイメージ処理等の応用における操作のデジタルフォーマットを提供するために使用できる。
【0023】
符号化データの技術は、印刷の解像度からは独立し得る。印刷媒体へのドットなどのデータを記憶する概念は、同じスペースにより多くのドットを置くことができれば(解像度を上げることにより)、これらのドットはより多くのデータを表現できることを意味する。好適な実施の形態では、102mm×152mm(4’’×6’’)への1600dpiの利用をサンプル写真とみなすが、他の写真サイズ及び/又は他の印刷解像度のために等価のレイアウト及びデータサイズを判断することは簡単である。例えば、本出願人のインクジェット印刷カメラシステムでは、普通サイズの写真より長さが2倍のパノラマプリントを製作することができ、これは2倍のデータを記録することになり、イメージデータの重複を増大する。印刷の解像度に関わりなく、読み取り技術は同じままである。全ての解読及びその他のオーバーヘッドを考慮した後、符号化データフォーマットは1600dpiまでの印刷解像度で4’’×6’’のプリントサイズのために3〜4メガバイトのデータを記憶できる。1600dpi以上の印刷解像度であれば、更なる符号化データを記憶することができる。
【0024】
符号化データフォーマット
従って、写真のデータの構造は、特にデータの修復を支援するように設計されている。この節では写真のデータフォーマットを説明する。このフォーマットは、本出願人のUSSN 09/113,070及びUSSN 09/112,785にオルタナティブアートカード(alternative Artcard)フォーマットとして記載されている。
【0025】
ドット
写真に印刷されるドットは、赤外線インクで、或いはカラーイメージである。従って、「データドット」は「ノンデータドット」とは物理的に異なる。写真を赤外線インクの吸収特性に対して補色のスペクトル特性を有する赤外線源で照らすと、データは「白」ドットに「黒」のモノクロディスプレイとして見える。黒のドットはドットに対応し、赤外線インクは吸収された赤外線照射を有し、「白」ドットは赤外線インクが印刷されず実質的に減衰しない或いは部分的にしか減衰しない赤外線照射を反射するカラーイメージのエリアに対応する。以下、上で定義した黒、白という用語はデータを記録する赤外線インクドットに言及して使用される。
【0026】
この実施の態様の説明では、ドットという用語は写真に物理的に印刷されたドット(或いは赤外線インク)を意味する。符号化データの読み取り装置が符号化データを走査する場合、ナイキスト(Nyquist)の定理を満たすべく少なくとも2倍の印刷解像度でドットを抽出しなければならない。画素という用語は、符号化データの読み取り装置からのサンプル値を意味する。例えば、1600dpiドットが4800dpiで走査される場合、ドットの各次元には3つの画素があり、即ち各ドットに9つの画素がある。サンプリングステップについては後述する。
【0027】
図1を参照すると、符号化データのサンプルが書かれたデータ面101が示されている。符号化データを有する各写真は、境界領域103に囲まれた「活性」領域102を有する。境界103にはデータ情報は含まれていないが、符号化データの読み取り装置により使用されて信号レベルを較正する。活性領域は、例えばデータブロック104の配列であり、各データブロックは隣のデータブロックと8個の例えばイメージドット106だけ離れている。印刷解像度によっては写真上のデータブロックの数は異なる。印刷された4’’×6’’の写真の1600dpiの解像度では、2.5mmの余白で約97mm×147mmの領域でこの配列は15(14のデータブロックである。各データブロック104は8個のイメージドットのブロック間の間隙106を有する627(394ドットの寸法である。
【0028】
データブロック
ここで図2を参照すると、単一のデータブロック107が示されている。符号化データの活性領域は、独立して構成されたデータブロック107の配列を有する。各データブロックは以下の構造:クロックマーク109に囲まれたデータ領域108、境界110及びターゲット111を有する。データ領域は、適切な符号化データを保持し、クロックマーク、境界及びターゲットはデータ領域の位置決めを助け、その領域からデータを修復させるためにある。
【0029】
各データブロック107は627(394ドットの寸法を有する。そのうち、594(384ドットの中央のエリアがデータ領域108である。包囲しているドットはクロックマーク、境界及びターゲットを保持するために使用される。
【0030】
境界及びクロックマーク
図3はデータブロックを示し、図4及び5はその縁部の拡大図である。図4及び5は各データブロック内の2つの高い境界5ドット及びクロックマーク領域107及び177を示す。一方の領域はデータ領域の上方にあり、他方は下方にある。例えば上から5個の高い領域は外側の黒のドット境界線112(これはデータブロックの長さを引き伸ばす)と、白のドット分離線113(境界線が独立していることを保障する)と、3ドットの高いクロックマークの組114とを有する。クロックマークは白と黒の段の間で交互に置かれ、データブロックのどちらかの端部から8列目の黒のクロックマークから始まる。データ領域ではクロックマークのドット間では分離はない。
【0031】
クロックマークは対称的であり、符号化データが挿入されて180度回転すると、同じ関連する境界/クロックマーク領域が遭遇する。境界112,113は、データがデータ領域から読み取られる時に垂直なトラッキングを維持するように符号化データの読み取り装置により使用される。クロックマーク114はデータ領域データを読み取る時に水平なトラッキングを維持するためのものである。ドットの白の線による境界とクロックマークとの分離は、読み取り間におきるブラーリングの結果として好ましい。従って、境界は何れかの側で白を有する黒の線となり、読み取りの頻度の応答性を高める。クロックマークを白と黒とに交互に置いても、垂直の寸法ではなく水平における以外は同様な結果となる。如何なる符号化データの読み取り装置も、トラッキングに使用するのであればクロックマークと境界を配置しなければならない。次の項ではクロックマーク、境界及びデータへの道を示すターゲットについて説明する。
【0032】
ターゲット領域におけるターゲット
図7は、各データブロックにおける2つの15ドットの広いターゲット領域116、117を示し、一方のターゲット領域はデータ領域の左側にあり、他方は右側にある。ターゲット領域は、方向付けに使用される単一の列によりデータ領域から分離している。ターゲット領域116、117の目的は、クロックマーク、境界及びデータ領域への道を示すことである。各ターゲット領域は6つのターゲット118を含み、これらは符号化データの読み取り装置により簡単に見つかるように設計されている。図6は単一のターゲット120の構造を示す。各ターゲット120は15(15ドットの黒の四角形をなし、中心構造121及びランレングス符号化ターゲットナンバー122を有する。中心構造121は簡単な白の十字であり、ターゲットナンバー構成要素122は白ドットの簡単な2列であり、両方共ターゲットナンバーの各部は2ドットの長さである。ターゲットナンバーのターゲットid122は2ドットの長さである。ターゲットナンバー2のターゲットid122は4ドットの幅等である。
【0033】
図7に示すように、カードの挿入に関して回転が不変となるように、ターゲットが配置される。これは左のターゲットと右のターゲットが180度回転していること以外は同じであることを意味する。左のターゲット領域116では、ターゲット1〜6がそれぞれ上から下に配置される。右のターゲット領域116では、ターゲット1〜6がそれぞれ下から上に配置される。ターゲットナンバーidは常にデータ領域に半分最も近くにある。部分的拡大図である図7は、右のターゲットが左のターゲットと180度回転している以外は同じであることを明瞭に示している。
【0034】
図8に示すように、ターゲット124、125は中心55ドットが離れた上体でターゲット領域内に位置している。また、ターゲット1(124)の中心から上部クロックマーク領域における第1クロックマークドット126までに55ドットの距離があり、ターゲットの中心から下部クロックマーク領域(図示せず)における第1クロックマークドットまでに55ドットの距離がある。両領域における第1黒クロックマークは、ターゲットの中心の線から直接始まる(8番目のドットの位置は15ドット幅のターゲットの中心にある)。
【0035】
概略図8は、ターゲットの中心間の距離と、ターゲット1(124)から上部境界/クロックマーク領域における第1黒クロックマーク(126)の第1ドットまでの距離を示している。上部及び下部の両ターゲットからクロックマークまでに55ドットの距離があり、符号化データの両側が対称(180度回転)であるため、カードは左から右へ、また右から左へ読むことができる。読み取り方向に関わらず、データ領域からデータを抽出するためには方向を決定しなければならない。
【0036】
方向列
図9に示すように、各データブロック内に2つの1ドット広域方向列127、128があり、一方はデータ領域の左側にあり、他方は右側にある。方向列は符号化データ読み取り装置に方向情報を提供するためにある。(左のターゲットの右への)データ領域の左側は、白ドット127の単一の列である。(右のターゲットの左への)データ領域の右側は、黒ドット128の単一の列である。ターゲットは回転が不定であるため、写真が正しい方向、つまり後ろから前に挿入されると、これらの2列のドットが符号化データ読み取り装置に写真の方向を判断させる。
【0037】
符号化データ読み取り装置から見ると、ドットに劣化がないと仮定して、以下の2つの可能性がある:
・データ領域の左へのドット列が白だとすると、データ領域の右への列は黒であり、読み取り装置は写真が上記正しい方向に挿入されたことを認識する。
・データ領域の左へのドット列が黒だとすると、データ領域の右への列は白であり、読み取り装置は写真が逆に挿入されたことを認識し、データ領域は適切に回転される。読み取り装置写真から情報を正しく修復する適切な処置を取らなければならない。
【0038】
データ領域
図10に示すように、データブロックのデータ領域は各384ドットの595列、計228,480個のドットよりなる。これらのドットは分析されて解読されオリジナルデータを生成する。各ドットは単一のビットであるため、228,480ドットは228,480ビット或いは28,560バイトである。各ドットの分析を以下に示す。
【0039】
【表2】
Figure 2004511368
ドットから得られるドットの実際の解析には、オリジナルデータから写真のデータ領域におけるドットへのマッピングの理解が必要である。
【0040】
データ領域ドットへのオリジナルデータのマッピング
最大サイズ2,986,206バイトのオリジナルデータファイルを取り出して、それを1600dpiの写真の210データブロックにおけるデータ領域のドットにマッピングするプロセスを説明する。符号化データの読み取り装置は写真のドットからオリジナルデータを抽出するためにプロセスを逆にする。一見、ドットにデータをマッピングするのは取るに足らないように見える。バイナリデータは1と0よりなるため、カードに単に黒と白ドットを書くのは可能であるように見える。しかしこの方法では、インクが色あせ、カードが汚れやしみや引っかきにより部分的に損傷するという事実は許容されない。エラー検出の符号化なしでは、カードから取り戻したデータが正確かどうかを検出することは不可能である。符号の冗長化がなければ検出されたエラーを補正することは不可能である。マッピングステップの目的はデータの回復を高い信頼性で行い、符号化データの読み取り装置にデータを正しく読み出すことを知る能力を与えることである。
【0041】
オリジナルデータファイルをデータ領域のドットにマッピングするには、以下の4つの基本ステップがある:
・オリジナルデータを圧縮する。
【0042】
・圧縮データを冗長符号化する。
【0043】
・符号化データを決定性方法で再編成して、部分的な符号化データの損傷の影響を低減する。
【0044】
・再編成されたドットとしての符号化データを写真上のデータブロックに書き出す。
【0045】
これらの各ステップを次の節で詳細に検証する。
【0046】
オリジナルデータの圧縮
写真に記録されるデータは以下のいくつかののブロックを含む:
1)色イメージデータ
2)オーディオ注釈データ
3)イメージ処理制御スクリプト
4)位置データ(GPS受信機等から)
5)時間及び日付
6)カメラの方向
7)インクカードリッジ情報、ソフトウェアのバージョン、カメラの識別等のトラッキングデータ。
【0047】
高画質イメージのために、ソースイメージデータは2000(3000画素で各画素が3バイトであってもよい。これにより18メガバイトのデータとなり、写真の赤外線ドットに記憶できる以上のものとなる。イメージ圧縮技術を用いてほぼ無視できる程度の画質の低下を伴うが、イメージデータを約10:1の率で圧縮することができる。適切な圧縮技術としては、離散コサイン変換に基づくJPEG圧縮、ハフマン符号、JPEG2000スタンダードとして使用されるウェーブレット及びフラクタル圧縮がある。
【0048】
10:1の圧縮では、18メガバイトの高画質が1.8メガバイトの圧縮データとなる。
【0049】
オーディオ注釈データもまた、例えばMP3圧縮を用いて圧縮することができる。
【0050】
イメージ処理制御スクリプトは、スクリプトに埋め込まれたイメージ以外は一般には10キロバイト以上は消費しない。これらのイメージは圧縮すべきである。写真処理のために設計された適切なイメージ処理スクリプト言語は、本出願人により開発されてUSSN 09/113,070に開示されたヴァーク(Vark)言語である。
【0051】
リードソロモン符号を用いた冗長符号
符号化データへのデータのマッピングは、採用する冗長符号の方法に大きく依存する。バーストエラーを処理する能力及び最小の冗長化を用いてエラーを検出及び補正する能力のため、リードソロモン符号が好んで選択される。リードソロモン符号については、以下の標準的テキストの中で適切に論じられている:「リードソロモン符号とその応用」(Reed−Solomon Codes and their Applications)、S.ウィッカー(Wicker,S)、V.バーガバ(Bhargava,V)、IEEE出版、1994年、「エラーコードの詳しい説明書」(Error Coding Cookbook)、C.ロラボフ(Rorabaugh,C)、マグローヒル(McGraw−Hill)、1996年、「リードソロモンエラーの補正」(Reed−Solomon Error Correction)、H.リペン(Lyppens,H)、ドクタードッブジャーナル(Dr.Dobb’s Journal)、1997年1月号(第22巻、第1号)。
【0052】
リードソロモン符号では、異なるシンボルサイズ及び異なる冗長化のレベルを含む種々の異なるパラメータを使用することができる。以下の符号化パラメータを使用するのが好ましい:
* m=8
* t=64
m=8を有することはシンボルサイズが8ビット(1バイト)であることを意味する。これは各リードソロモン符号ブロックサイズnが255バイト(2−1シンボル)であることをも意味する。tシンボルまでの補正をするために、最終ブロックサイズにおける2tシンボルを冗長化シンボルと共に取り出さなければならない。t=64を有することは、それらにエラーがある場合、ブロックにつき64バイト(シンボル)を補正できることを意味する。従って、各255バイトのブロックは128(2×64)個の冗長化バイトを有し、残りの127バイト(K=127)はオリジナルデータを保持するために使用される。従って:
* n=255
* k=127
実用的な結果では127バイトのオリジナルデータが符号化されて255バイトブロックのリードソロモン符号データとなる。符号化された255バイトのブロックが写真に記憶され、後に符号化データ読み取り装置により再度元の127バイトに符号化されて戻される。データブロックのデータ領域の単一の列の384ドットは48バイト(384/8)を保持できる。これらの列の595は、28,560バイトを保持できる。これは112個のリードソロモンブロック(各ブロックは255バイトを有する)にもなる。完全な写真の210のデータブロックは、合計23,520個のリードソロモンブロックを保持できる(5,997,600バイト、1リードソロモンブロックにつき255バイト)。リードソロモンブロックのうち2つが情報制御のため確保されるが、残りのブロックはデータの記憶に使われる。各リードソロモンブロックは127バイトの実際のデータを保持できるため、写真に記憶できるデータ量は2,986,786バイト(23,518×127)である。オリジナルデータがこれより少ない場合、リードソロモンブロックの正確な数になるようにデータを符号化でき、その後、23,518個のブロック全てを使用するまで符号化ブロックを複写できる。図11は使用する符号化の全体の形態を示す。
【0053】
2つの制御ブロック132,133は、残りの23,518個のリードソロモンブロックを解読するために必要な同じ符号化情報を含む:
フルメッセージにおけるリードソロモンブロックの数(記憶された16ビットロー/ハイ(lo/hi))、及び
メッセージの最後のリードソロモンブロックにおけるデータバイトの数(8ビット)。
【0054】
これら2つの数を32回繰り返し(96バイト消費)、残りの31バイトを保存してゼロに設定する。次に、各制御ブロックをリードソロモン符号化し、127バイトの制御情報を255バイトのリードソロモン符号化データとする。
【0055】
制御ブロックを2度記憶して残存の可能性を上げる。また、制御ブロック内のデータの反復は、リードソロモン符号化を使用する場合特に重要である。破損していないリードソロモン符号化ブロックでは、最初の127バイトのデータは正確にオリジナルデータであり、制御ブロックの解読が失敗した時(65個以上のシンボルが破損)にオリジナルのメッセージを回復させるためにロックされる。従って、制御ブロックが解読に失敗した場合、2つの解読パラメータのための最もあり得る値を判断しようとして3バイトの組を試験することができる。回復可能であることは保障しないが、冗長化によりチャンスはより高くなる。制御ブロックの最後の159バイトが破壊されても最初の96バイトは完全に健全である。最初の96バイトは数の繰り返しの組を示す。これらの数は残りの23,518個のリードソロモンブロックにおける残りのメッセージを解読するのに賢明に使用することができる。
【0056】
リードソロモン符号化前の127バイトの各制御ブロックにおけるデータの十六進法は、図12に示す通りである。
【0057】
符号化データのスクランブル
符号化ブロックの全てがメモリに記憶されたと仮定して、最大5,997,600バイトのデータを写真に記憶させることができる(2つの制御ブロックと23,518個の情報ブロック、合計23,520個のリードソロモン符号化ブロック)。好ましくは、この段階ではデータは写真に直接には記憶されないが、255バイト全てのリードソロモンブロックはカード上で物理的に一緒になる。カードに物理的損傷を与える汚れやしみは、単一のリードソロモンブロックにおける65バイト以上を損傷させる可能性があり、これはブロックを修復不可能にするかも知れない。そのリードソロモンブロックの複写がない場合、写真全体を解読することはできない。
【0058】
この解決策として、写真には多数のバイトがあり、写真は手ごろな物理的サイズを有するという点を利用することである。データにスクランブルをかけて単一のリードソロモンブロックからのシンボルが互いに近接しないことを保証する。勿論、写真の劣化が異常な場合はリードソロモンブロックが修復不可能になるが、平均的にはデータにスクランブルをかけることによりデータははるかに頑丈になる。この選択したスクランブル手段は簡単であり、その概略が図13に示される。リードソロモンブロックからの全てのバイト0は136個一緒に置かれ、ついでバイト1が置かれる。従って、23,520個のバイト0があり、次いで23,520個のバイト1がある。写真上の各データブロックは28,560バイト記憶できる。従って、写真上の各データブロックの各リードソロモンブロックからは約4バイトある。
【0059】
このスクランブル手段では、写真上の16個全体のデータブロックへの全部の損傷は1つのリードソロモンブロックにつき64個のシンボルエラーとなる。これは、写真にその他の損傷がなければ、たとえデータの複製がなくても全体のデータは完全に修復可能であることを意味する。
【0060】
スクランブルをかけた符号化データを写真に書き込む
一度オリジナルデータをリードソロモン符号化し、複写し、スクランブルをかけると、写真に記憶されるデータは5,997,600バイトとなる。写真上の各データブロックは28,560バイトを記憶する。
【0061】
データは写真データブロックに書き出され、第1データブロックは最初の28,560バイトのスクランブルデータを有し、第2データブロックは次の28,560バイトを有する。
【0062】
図14に示すように、データブロック内でデータを列の左から右に書き出す。従って、データブロック内の最も左の列はスクランブルされたデータの28,560バイトの最初の48バイトを含み、最後の列はスクランブルされたデータの28,560バイトの最後の48バイトを含む。列内ではバイトは一度に1ビットずつ上から下に書き出され、ビット7から始まりビット0で終わる。ビットがセット(1)であれば、黒ドット(赤外線インクドット)が写真に置かれ、ビットがクリア(0)であれば、写真にはドットは置かれない。
【0063】
例えば、写真に記憶される23,520リードソロモン符号化ブロックにスクランブルをかけることにより、1組5,997,600バイトのデータを生成することができる。最初の28,560バイトのデータが最初のデータブロックに書き出される。最初の28,560バイトの最初の48バイトがデータブロックの最初の列に書き出され、次の48バイトが次の列に書き出され、以下同様に続く。28,560バイトの最初の2バイトが16進法D3 5Fであると仮定する。最初の2バイトがデータブロックの列0に記憶される。バイト0のビット7が最初に記憶され、次いでビット6が記憶され、以下同様に続く。バイト1のビット7がバイト1のビット0に記憶される。各「1」が黒ドットとして記憶され、各「0」が白ドットとして記憶され、これら2バイトが以下のドット組として写真に示される:
・D3(1101 0011)は黒、黒、白、黒、白、白、黒、黒となり、
・5F(0101 1111)は白、黒、白、黒、黒、黒、黒、黒となる。
【0064】
符号化されたイメージデータはインクジェットプリンタに送られ、赤外線インクジェットノズルを駆動し、イメージデータを使用して、シアン、マゼンタ及び黄色のノズルを駆動し、プリンタのプリントヘッドを介して印刷媒体を駆動する。
【0065】
カメラシステムにより得られたイメージはそのイメージを複製するのに必要なデータを有する写真イメージとして利用できる。写真のコピーが必要なければネガを別個に設ける必要はなく、損傷に関係なくイメージを複製でき、そのイメージをデジタルフォーマットで利用できる。これは目的は何であれ、コンピュータシステム内にスキャンにより取り込んだり通信ネットワークを通じて転送することもできる。
【0066】
他のデータは、日付や写真を写した場所や、例えばカメラシステムにGPS設備が組み込まれている場合、写真露光の詳細、この情報を視覚的データ、デジタルデータ或いはオーディオデータとして記憶すべきか否かなどを、イメージデータと共に記録してもよい。本出願人による同時係属出願PCT/AU01/_____(整理番号 ART83)等に開示されるように、オーディオ設備が含まれている場合、写真家による会話などのオーディオ情報もイメージと共に記録してもよい。
【0067】
アートカード(Artcard)フォーマットと呼ばれる別のフォーマットがUSSN 09/113,070 及びUSSN 09/112,785に開示されており、上記オルタナティブアートカード(alternative Artcard)フォーマットの代わりに同様に使用しても良い。アートカード(Artcard)フォーマットでは、今回の場合、データ領域の前縁及び後縁にターゲットとして、及びデータ領域に含まれるデータの解読を助けるべく上及び下にそって境界及びクロックマークを特定する印として、印刷される余白により囲まれた写真上の赤外線インクで、データの連続する領域が印刷媒体に印刷される。読み取り時にカードの方向が水平より1度以上回転しないことを確認し、カードが最初に前或いは後ろ向きのどちらで挿入されたかを検出するために、ターゲットが使用される。そうしなければデータの読み取りは信頼性はない。
【0068】
以上の説明は、本発明の特定の実施態様に限定されない。本発明では、この発明の幾つか或いは全ての利点を習得すれば、変更や変形を成し得ることは明らかである。例えば、適切にプログラムされたデジタルデータ処理システムにおいて、本発明をハードウェア或いはソフトウェアの何れでも実現でき、両者の場合共に当業者により容易に達成されるであろう。従って、従属項の目的は、本発明の真の思想及び範囲内に入る変更及び変形を網羅することである。
【図面の簡単な説明】
【図1】
カード或いは写真のデータ面を示す図である。
【図2】
単一のデータブロックのレイアウトを概略的に示す図である。
【図3】
単一のデータブロックを示す図である。
【図4】
図3のデータブロックの部分拡大図である。
【図5】
図3のデータブロックの部分拡大図である。
【図6】
単一のターゲット構造を示す図である。
【図7】
データブロックのターゲット構造を示す図である。
【図8】
データ領域の境界クロック領域に対するターゲットの位置関係を示す図である。
【図9】
データブロックの方向コラムを示す図である。
【図10】
データブロックの点の配列を示す図である。
【図11】
リードソロモン符号のためのデータ構造を概略的に示す図である。
【図12】
リードソロモン符号前の制御ブロックデータの構造を16進法で示す図である。
【図13】
リードソロモン符号化プロセスを示す図である。
【図14】
データブロック内の符号化データのレイアウトを示す図である。
【符号の説明】
101 データ面
102 活性領域
103 境界領域
104 データブロック
106 間隙

Claims (7)

  1. 写真にデジタルデータを印刷する方法であって、
    a)イメージに対応するイメージデータを受信するステップと;
    b)前記イメージデータを符号化された誤り許容デジタルフォームに変換するステップと;
    c)インクジェット印刷プロセスを用いて前記イメージデータの前記誤り許容デジタルフォームを印刷媒体の表面に見えないインクで印刷し、同時に、前記イメージデータを表す写真イメージとして前記イメージデータを同じ表面に見えるように、且つ人間が読める形態で印刷するステップと;
    を含む、写真にデジタルデータを印刷する方法。
  2. 前記イメージデータを符号化された誤り許容デジタルフォームに変換する前記ステップは、前記イメージのリードソロモン符号化バージョンを形成するステップを含む、請求項1に記載の方法。
  3. 前記イメージの前記誤り許容符号化フォームは、前記永久的記録が繰り返し可能な高い周波数のスペクトル成分を有するように、高い周波数の変調信号を前記誤り許容符号化フォームに適用する、請求項1に記載の方法。
  4. 前記見えないインクは、可視スペクトルを殆ど吸収しない赤外線吸収インクである、請求項1に記載の方法。
  5. 前記印刷ステップは、前記印刷媒体を記憶するプリントロール手段と、前記カメラ装置から取り外し自在の前記プリンタ手段のためのインク供給部とを利用する、請求項1に記載の方法。
  6. 写真に符号化誤り許容デジタルデータを赤外線インクで印刷する装置であって、
    a)イメージを映し、前記イメージをデジタルフォーマットで出力するカメラシステムと;
    b)前記イメージの前記デジタルフォーマットを誤り許容符号化デジタルフォームに処理する手段と;
    c)インクジェット印刷プロセスを用いて前記イメージ及び前記誤り許容符号化デジタルフォームを印刷する手段と;
    を含み、前記誤り許容符号化デジタルフォームは赤外線インクを用いて印刷される、写真に符号化誤り許容デジタルデータを赤外線インクで印刷する装置。
  7. 前記印刷する手段は、プリントロールが印刷媒体を与えるインクジェット構造を用いたページ幅プリントヘッドを使用する、請求項6に記載の写真に符号化誤り許容デジタルデータを赤外線インクで印刷する装置。
JP2002537547A 2000-10-20 2001-10-19 写真の誤り許容データ記憶のための方法及び装置 Expired - Fee Related JP3937328B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/693,471 US6496654B1 (en) 2000-10-20 2000-10-20 Method and apparatus for fault tolerant data storage on photographs
PCT/AU2001/001317 WO2002034525A1 (en) 2000-10-20 2001-10-19 Method and apparatus for fault tolerant data storage on photographs

Publications (2)

Publication Number Publication Date
JP2004511368A true JP2004511368A (ja) 2004-04-15
JP3937328B2 JP3937328B2 (ja) 2007-06-27

Family

ID=24784790

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002537547A Expired - Fee Related JP3937328B2 (ja) 2000-10-20 2001-10-19 写真の誤り許容データ記憶のための方法及び装置

Country Status (12)

Country Link
US (2) US6496654B1 (ja)
EP (1) EP1333979B1 (ja)
JP (1) JP3937328B2 (ja)
KR (1) KR100505267B1 (ja)
CN (1) CN1222412C (ja)
AT (1) ATE430657T1 (ja)
AU (2) AU9529001A (ja)
DE (1) DE60138639D1 (ja)
IL (1) IL155491A0 (ja)
SG (1) SG125986A1 (ja)
WO (1) WO2002034525A1 (ja)
ZA (1) ZA200303182B (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6786420B1 (en) 1997-07-15 2004-09-07 Silverbrook Research Pty. Ltd. Data distribution mechanism in the form of ink dots on cards
US6618117B2 (en) 1997-07-12 2003-09-09 Silverbrook Research Pty Ltd Image sensing apparatus including a microcontroller
US6690419B1 (en) 1997-07-15 2004-02-10 Silverbrook Research Pty Ltd Utilising eye detection methods for image processing in a digital image camera
US6879341B1 (en) 1997-07-15 2005-04-12 Silverbrook Research Pty Ltd Digital camera system containing a VLIW vector processor
US7110024B1 (en) 1997-07-15 2006-09-19 Silverbrook Research Pty Ltd Digital camera system having motion deblurring means
US6624848B1 (en) 1997-07-15 2003-09-23 Silverbrook Research Pty Ltd Cascading image modification using multiple digital cameras incorporating image processing
US6948794B2 (en) 1997-07-15 2005-09-27 Silverbrook Reserach Pty Ltd Printhead re-capping assembly for a print and demand digital camera system
AUPP702098A0 (en) 1998-11-09 1998-12-03 Silverbrook Research Pty Ltd Image creation method and apparatus (ART73)
AUPQ056099A0 (en) 1999-05-25 1999-06-17 Silverbrook Research Pty Ltd A method and apparatus (pprint01)
AUPQ439299A0 (en) 1999-12-01 1999-12-23 Silverbrook Research Pty Ltd Interface system
US6924835B1 (en) * 2000-10-20 2005-08-02 Silverbrook Research Pty Ltd Method and apparatus for fault tolerant data storage on photographs
US6859225B1 (en) * 2000-10-20 2005-02-22 Silverbrook Research Pty Ltd Method and apparatus for fault tolerant data storage on photographs
US6689518B1 (en) * 2002-11-20 2004-02-10 Eastman Kodak Company Photographic display elements comprising stable IR dye compositions for invisible marking
US7991432B2 (en) * 2003-04-07 2011-08-02 Silverbrook Research Pty Ltd Method of printing a voucher based on geographical location
US7278570B2 (en) * 2003-09-19 2007-10-09 First Data Corporation Financial presentation instruments with integrated holder and methods for use
CN101407133B (zh) * 2004-01-21 2012-10-10 西尔弗布鲁克研究有限公司 用于喷墨打印机的打印盒
AU2004314461B2 (en) * 2004-01-21 2008-08-07 Memjet Technology Limited Inkjet printer system with removable cartridge
US7284921B2 (en) 2005-05-09 2007-10-23 Silverbrook Research Pty Ltd Mobile device with first and second optical pathways
US7885878B2 (en) 2008-05-28 2011-02-08 First Data Corporation Systems and methods of payment account activation

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60192668A (ja) 1984-03-14 1985-10-01 Toshiba Corp 画像形成装置
US5042079A (en) 1988-08-12 1991-08-20 Casio Computer Co., Ltd. Method of recording/reproducing data of mesh pattern, and apparatus therefor
JPH0236825U (ja) 1988-09-02 1990-03-09
US4937676A (en) 1989-02-10 1990-06-26 Polariod Corporation Electronic camera system with detachable printer
US5493409A (en) 1990-11-29 1996-02-20 Minolta Camera Kabushiki Kaisha Still video camera having a printer capable of printing a photographed image in a plurality of printing modes
CA2035670A1 (en) 1991-02-04 1992-08-05 William H. Lustig Kwik-krib/super forms
JPH0662309A (ja) 1992-08-10 1994-03-04 Olympus Optical Co Ltd フィルム画像再生装置
DK0670555T3 (da) 1992-09-28 2000-09-18 Olympus Optical Co Registreringsmedium med prikkode og informationsregistreringssystem
JP3244371B2 (ja) 1993-12-22 2002-01-07 オリンパス光学工業株式会社 オーディオ情報処理システム及びオーディオ情報処理方法
JPH0981711A (ja) * 1995-09-20 1997-03-28 Olympus Optical Co Ltd 情報記録媒体、情報再生システム、及び情報記録システム
US5726693A (en) 1996-07-22 1998-03-10 Eastman Kodak Company Ink printing apparatus using ink surfactants
US5878292A (en) 1996-08-29 1999-03-02 Eastman Kodak Company Image-audio print, method of making and player for using
AUPO939997A0 (en) 1997-09-23 1997-10-16 Silverbrook Research Pty Ltd Data processing method and apparatus (ART61)
AUPO939597A0 (en) * 1997-09-23 1997-10-16 Silverbrook Research Pty Ltd Data processing method and apparatus (ART4)
US6459495B1 (en) 1997-07-15 2002-10-01 Silverbrook Research Pty Ltd Dot center tracking in optical storage systems using ink dots
US6476863B1 (en) 1997-07-15 2002-11-05 Silverbrook Research Pty Ltd Image transformation means including user interface
US5996893A (en) * 1997-10-28 1999-12-07 Eastman Kodak Company Method and apparatus for visually identifying an area on a photograph or image where digital data is stored
US6191406B1 (en) 1998-07-24 2001-02-20 Eastman Kodak Company Data reader and reader system having visible centerless targeting
ATE446842T1 (de) 2000-06-30 2009-11-15 Silverbrook Res Pty Ltd Tintenversorgungseinheit für einen drucker
IL153722A (en) 2000-06-30 2005-06-19 Silverbrook Res Pty Ltd Print engine including an air pump
US6471331B1 (en) 2000-06-30 2002-10-29 Silverbrook Research Pty Ltd Capping mechanism for a print engine
ATE361835T1 (de) 2000-06-30 2007-06-15 Silverbrook Res Pty Ltd Farbvorrichtung für eine druckmaschine
US6425700B1 (en) 2000-06-30 2002-07-30 Silverbrook Research Pty Ltd Separating device for a print engine
US6439704B1 (en) 2000-06-30 2002-08-27 Silverbrook Research Pty Ltd. Ejector mechanism for a print engine

Also Published As

Publication number Publication date
AU9529001A (en) 2002-05-06
EP1333979B1 (en) 2009-05-06
SG125986A1 (en) 2006-10-30
JP3937328B2 (ja) 2007-06-27
ATE430657T1 (de) 2009-05-15
US20030086705A1 (en) 2003-05-08
CN1471466A (zh) 2004-01-28
DE60138639D1 (de) 2009-06-18
AU2001295290B2 (en) 2005-03-10
WO2002034525A1 (en) 2002-05-02
US6650836B2 (en) 2003-11-18
US6496654B1 (en) 2002-12-17
KR100505267B1 (ko) 2005-08-02
ZA200303182B (en) 2003-10-31
EP1333979A1 (en) 2003-08-13
KR20030061822A (ko) 2003-07-22
CN1222412C (zh) 2005-10-12
EP1333979A4 (en) 2006-02-15
IL155491A0 (en) 2003-11-23

Similar Documents

Publication Publication Date Title
US7286162B2 (en) Photograph including coded image data
US7857405B2 (en) Method of mapping error-detection and redundant encoded data to an image
JP3937328B2 (ja) 写真の誤り許容データ記憶のための方法及び装置
AU2002210249A1 (en) Fault tolerant data storage on photographs
AU2002210250A1 (en) Fault tolerant data storage on photographs
AU2001295290A1 (en) Method and apparatus for fault tolerant data storage on photographs
AU2005202426B2 (en) Method and apparatus for fault tolerant storage of photographs
AU2004203185B2 (en) Method and apparatus for fault tolerant program and data storage on photographs
AU2004202957B2 (en) Data storage on photographs

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061006

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070315

R150 Certificate of patent or registration of utility model

Ref document number: 3937328

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110406

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120406

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130406

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130406

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130406

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130406

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130406

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140406

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees