JP4007221B2

JP4007221B2 - Image data transmission device

Info

Publication number: JP4007221B2
Application number: JP2003083614A
Authority: JP
Inventors: 健一高橋; 開拓小澤; 宗弘中谷
Original assignee: Konica Minolta Business Technologies Inc
Current assignee: Konica Minolta Business Technologies Inc
Priority date: 2003-03-25
Filing date: 2003-03-25
Publication date: 2007-11-14
Anticipated expiration: 2023-03-25
Also published as: JP2004297195A

Description

【０００１】
【発明の属する技術分野】
本発明は、階層化符号化画像データの送受信に関するものである。
【０００２】
【従来の技術】
ネットワークを介して符号化画像データを送信する場合、セキュリティなどのために管理が必要なデータについて、種々の対処がなされている。たとえば、特開２００１−４５２７３号公報に記載された画像形成装置では、ネットワーク上を介して画像データを送受信するに際して、データの不正使用を防止するため、画像データに追跡情報などを解像度を変更して重畳したりする。また、特開平２０００−４００８２号公報に記載された可視情報出力装置では、文書中の１以上の特定領域にセキュリティ設定を指示したファイルを文書データに添付しておく。文書送信処理時に、文書の送信先すなわち受信側の端末装置の認証データが付与されている領域の内容のみを受信側の端末装置に対して送信する。すなわち、セキュリティ設定の有無により、送信内容の一部を変更する。また、特開平１１−２９８６９８号公報に記載されたシステムでは、ネットワークを通じて画像コンテンツを流通するとき、利用者の画面操作等に応じて、マスクが施こされた画像の開示部分の範囲と解像度をリアルタイムに変更する。たとえば、マスクが施こされた最も解像度の低いデフォールトの画像データにおいて、利用者が、希望の画像位置を指示し、解像度や表示範囲を選択すると、それに対応した画像データを送信する。
【０００３】
【特許文献１】
特開２００１−４５２７３号公報
【特許文献２】
特開２０００−４００８２号公報
【特許文献３】
特開平１１−２９８６９８号公報
【０００４】
【発明が解決しようとする課題】
ＪＰＥＧ２０００符号データを送信する場合、ＪＰＥＧ２０００の解像度、画質などのスケーラビリティ機能を使って復号すると、全データを受信していなくても、復号の途中で文書の確認が可能となる。この場合、復号の途中のデータは、元のファイルとは異なるが、可読できる内容は同じである。したがって、セキュリティなどのためスケーラビリティ機能を持つ符号データが管理されるべき場合、復号の途中の段階でも管理が必要である。したがって、スケーラビリティ機能を持つＪＰＥＧ２０００符号データを送信する場合、セキュリティが柔軟に管理できることが望ましい。
たとえば、管理上の取り扱いを、そのファイルを復号した者が認識することが望ましい。ここで、オリジナルデータに管理用のデータを付加することもできるが、この場合、付加データが固定され、状況に応じた管理データの付加はできなくなる。また、送信文書の一部を隠したり、逆に、特定部分を確実に読んでもらいたい場合がある。しかし、送信先ごとにそのような文書データを作成するのは時間と手間がかかってしまう。
【０００５】
この発明の目的は、スケーラビリティ機能を持つ符号データの送信においてセキュリティが柔軟に管理できる画像データ送信装置を提供することである。
【０００６】
【課題を解決するための手段】
本発明に係る第１の画像処理装置は、ＪＰＥＧ２０００ファイルの階層的符号データのビットストリームをネットワークを介して送信する送信手段と、符号データのビットストリームの送信量を監視する監視手段と、送信データの送信量が所定の管理レベル以上になった場合、さらに送信するべき符号データを他の符号データに置き換える置換手段とからなり、前記の送信手段は、置換手段により置き換えられた符号データのビットストリームを送信する。
【０００７】
前記の画像処理装置において、前記の送信手段は、解像度、画質及び位置の少なくとも１つについて符号データを階層的に送信する。また、前記の他の符号データは、たとえば管理情報（たとえば文字列）を含む。
【０００８】
本発明に係る第２の画像処理装置は、ＪＰＥＧ２０００ファイルの階層的符号データのビットストリームをネットワークを介して送信する送信手段と、送信相手ごとに色づけされた原稿を、読み取ることにより特定の空間位置を設定する設定手段と、前記のＪＰＥＧ２０００ファイルについて送信相手ごとに設定されている画像内の特定の空間的位置に基づいて前記のビットストリームを変更する変更手段とを備え、前記の送信手段は、前記の変更手段により変更されたビットストリームを送信する。
【０００９】
前記の画像処理装置において、前記の変更手段は、好ましくは、前記のビットストリームにおいて前記の特定の空間的位置またはその他の空間的位置の符号データを所定の符号に置き換えるデータ置換手段を備える。
【００１０】
前記の画像処理装置において、前記の変更手段は、好ましくは、前記のビットストリームにおいて前記の特定の空間的位置またはその他の空間的位置の符号データを削減するデータ削減手段を備える。
【００１１】
前記の画像処理装置において、前記の特定の空間的位置は、たとえば、画像データの色成分によって決定する。
【００１２】
【発明の実施の形態】
以下、添付の図面を参照して本発明の実施の形態を説明する。なお、図面において、同じ参照記号は同一または同等のものを示す。
【００１３】
図１は、多機能複合機（Multiple Function Peripheral：以下ＭＦＰと略記する)１０でスキャンして得られた画像ファイルをネットワークを介して出力するシステムを示す。ＭＦＰ１０は、ＪＰＥＧ２０００コーデックを備え、スキャンして得られた画像ファイルをＪＰＥＧ２０００の画像ファイルに変換する。ＭＦＰ１０にはネットワーク（たとえばＬＡＮ１２）を介して複数のクライアントコンピュータ（ＰＣ)１４が接続可能である。コンピュータ１４は、ＭＦＰ１０に蓄積されたＪＰＥＧ２０００ファイルを閲覧するための機能を持つ。これにより、ＪＰＥＧ２０００ファイルを表示し、表示された画像の任意の位置が選択でき、その選択された座標をＭＦＰ側に伝える。ＭＦＰ１０は、クライアントコンピュータ１４からの要求に応じてＬＡＮ１２を介して画像データを転送する。
【００１４】
図２は、ＭＦＰ１２の制御ブロック図である。各ブロックはバス（例えばＰＣＩバス）１００を介して接続されている。ＭＦＰ１０は、原稿読取のためのスキャナ１０２や、印刷のためのプリントエンジン１０４や、画像データを処理する画像処理部１０６を備え、また、ユーザによる設定のための操作パネル１０８を備える。操作パネル１１０は表示デバイスを含む。さらに、ＬＡＮ１２と接続するための通信装置（Network Interface Card：ＮＩＣ）１０８を備える。
【００１５】
ＭＦＰ全体を制御するＣＰＵ１１６は、ブリッジ１１８経由で、第１メモリ１２０と、バス１００に接続されるデバイスとを制御する。スキャナ１０２から入力されるラスタデータ（画像データ）は、直接メモリアクセス（ＤＭＡ）によって、メモリコントローラ１２２に接続される第２メモリ１２４に転送される。第２メモリ１２４に格納された画像データは、ＤＭＡによってＪＰＥＧ２０００コーデック１２６に送られ、ＪＰＥＧ２０００コーデック１２６は、タイリング及びウェーブレット変換用メモリ１２８を用いて画像データをＪＰＥＧ２０００データに符号化する。このＪＰＥＧ２０００データは、ＤＭＡにより第２メモリ１２０に格納される。
【００１６】
次に、第２メモリ１２４に格納されたＪＰＥＧ２０００ファイルを外部のコンピュータ１４にデータを送るまでの動きを説明する。第２メモリ１２４内に格納されているＪＰＥＧ２０００ファイルはＤＭＡによりメモリコントローラ１２２を介して第１メモリ１２０に転送される。第１メモリ１２０に格納された画像データは、ＣＰＵ１１６により符号データの置き換えや再構築が施された後、ＤＭＡにより通信装置１０８に送られネットワーク１２に出ていく。コンピュータ１４へのデータ転送はＦＴＰによる転送や電子メールサーバ経由で行われる。
【００１７】
図３は、ＪＰＥＧ２０００コーデック１１６におけるＪＰＥＧ２０００の符号化（圧縮）の流れを示す。この符号化処理は、通常のＪＰＥＧ２０００の符号化と同様である。ＪＰＥＧ２０００コーデック１２６に入力された画像データの各色コンポーネントは、レベルシフト部２００において、そのダイナミックレンジの半分の値を減算される（レベルシフト）。なお、入力データがＹＣｂＣｒの色差成分のような符号付きデータの場合は何もしない。次に、色空間変換部２０２において、色空間変換が施される。色空間変換を施された画像データは、タイリング処理部２０４において、タイリング処理によって所定サイズのブロック（タイル）に分割される。ＦＤＷＴ部２０６は、タイリング処理されたタイルごとに離散ウェーブレット変換を行い、複数の帯域に画像を分割する。量子化部２０８は、ウェーブレット変換された画像に必要であれば量子化処理を行う。タイルごとにウェーブレット変換された画像に対して、コードブロック分割部２１０は、コードブロック分割を行い、次に、係数ビットモデリング係数部２１２は、ビットモデリングにより符号化パスを生成する。生成された符号化パスは算術符号化部２１４により算術符号化される。コードブロックごとに符号化され生成された符号データは、レイヤ生成部２１６において、レイヤ分割により画質の寄与度に応じて複数のレイヤに分けられる。ポスト量子化処理部２１８は、所定の符号量を超えるデータに対して切り捨てを行う。最後に、ビットストリーム生成部２２０は、ビットストリームを生成して、ＪＰＥＧ２０００ファイルとして出力する。
【００１８】
図４は、ＪＰＥＧ２０００コーデック１２６におけるＪＰＥＧ２０００ファイルの復号化（伸長）の流れを示し、図３に示した符号化と逆方向の流れの処理が行われる。この復号化処理は、通常のＪＰＥＧ２０００の復号化と同様である。ビットストリームフォーマット解除部２４０は、受け取ったビットストリームデータについてビットストリームフォーマットを解除し、復号化部２４２は、そのデータを復号化する。次に、係数ビットモデリング解除部２４４は、係数ビットモデリングを解除し、逆量子化部２４６は、そのデータについて逆量子化をする。次に、ＩＤＷＴ部２４８で、逆離散ウェーブレット変換をし、タイリング処理部２５０は、逆タイリング処理をして、元のサイズの画像データに戻す。次に、色空間変換部２５２が逆色空間変換をして元の色空間に戻し、最後に、レベルシフト部２５４がレベルシフトをして、復号化画像データを得る。
【００１９】
ＪＰＥＧ２０００符号化では、画像を複数のタイルに分割し、タイルごとに符号化が行われる。図５により、各タイルについて、タイリングされた画像を３回ウェーブレット変換したときの符号データの概念を説明する。１回のウェーブレット変換でもとの画像の１／２のサイズの画像が得られる。１回目のウェーブレット変換で、図５の（ａ）に示すように、全体の画像が１ＨＬ，１ＬＨ，１ＨＨ，ＬＬの４つのサブバンドの符号データに変換される。ＬＬは解像度が１／２になった符号データである。２回目のウェーブレット変換で、図５の（ｂ）に示すように、ＬＬが２ＨＬ，２ＬＨ，２ＨＨ，ＬＬの４つの符号データに変換される。３回目のウェーブレット変換で、ＬＬが３ＨＬ，３ＬＨ，３ＨＨ，ＬＬの４つの符号データに変換される（図５の（ｃ）参照）。もとの画像が６００dpiであれば３回のウェーブレット変換で３００dpi、１５０dpi、７５dpiの画像を抽出できる。
【００２０】
図６のファイル構造に示すように、符号データをＬＬ、３ＨＬ、３ＬＨ、３ＨＨ、２ＨＬ，２ＬＨ，２ＨＨ、１ＨＬ，１ＬＨ，１ＨＨのサブバンドの順に並べて解像度のスケーラビリティを持たす。これにより、７５dpi→１５０dpi→３００dpi→６００dpiといったように解像度レベルを順次上げて表示できる。７５dpiの画像を所望する時には、ＬＬを使用する。１５０dpiの画像を所望する時には、ＬＬ、３ＨＬ、３ＬＨ、３ＨＨを使用する。３００dpiの画像を所望する時には、ＬＬ、３ＨＬ、３ＬＨ、３ＨＨ、２ＨＬ，２ＬＨ，２ＨＨを使用する６００dpiの時にはすべて使用する。このファイルを復号して表示装置で表示した場合、解像度が高くなるにつれ、図７に示すように、画像の大きさは面積比で４倍ずつ大きくなっていく。
【００２１】
以上では、ＪＰＥＧ２０００ファイルについて解像度による処理を説明したが、画質によるスケーラビリティを行う場合は、レイヤを用いる。画質によるスケーラビリティを持たす方法の１つでは、タイル単位で符号化されたデータを画質の寄与度に応じて複数のレイヤに分け、このレイヤの順序でビットストリームを形成する。図８は、そのようなビットストリームデータの構成を示し、この例では符号データは６レイヤからなる。ここで、ヘッダに続いて、レイヤ０、レイヤ１、・・・、レイヤ５の符号データが配置される。全レイヤのデータを結合したとき元の画像の画質が再現される。図９は、図８のＡ，Ｂ，Ｃまで復号した状態で画面に表示された画像における画質向上の状況の１例を示す。
【００２２】
また、画像位置によるスケーラビリティを持たす場合は、タイル単位の符号データを図１０に示すように並べ、ファイルを作成する。すなわち、符合開始コード（ＳＯＣ）に続いて、メインヘッダが配置され、これに続いてタイル０からタイルｎまで各タイルの符号データが並べられる。これにより、図１１に示すように、画像位置に応じて表示が順次可能となる。
【００２３】
また、これらのスケーラビリティを組みあわせることも可能である。
【００２４】
次に、スケーラビリティを持たせたＪＰＥＧ２０００ファイルの第１の実施の形態における送信管理について説明する。ＭＦＰ１０にファイリングされているＪＰＥＧ２０００形式のファイリング文書をコンピュータ１４で読み出す場合、読み出すファイルが解像度、画質、位置によるスケーラビリティを持っていたとする。スケーラビリティを持たせたＪＰＥＧ２０００ファイルを復号する場合、送信データは、たとえば解像度について階層的に送信されてくる。この場合、たとえば低解像度では文書の可読性は保証されないが、ある程度の解像度まで復号すれば、全データを復号しなくても、途中の段階で文書の内容を読み取ることは可能となる。つまりファイルすべてをコンピュータ１４側に取り込まなくても、見た目にはほぼ同一のファイルをコピーすることができる。
【００２５】
コピーするファイルが管理された文書、たとえば仕様書、である場合、セキュリティあるいはＩＳＯの文書管理規定等で厳しく管理される場合がある。ＪＰＥＧ２０００ファイルを階層的に復号してコピーする場合、元データとコピーデータはデータ上は別ファイルとなる。しかし、データ上は異なったものであっても文書が可読である場合は管理対象とする必要がある。また、データダウンロードの日時を文書中に明示する必要もある。
【００２６】
管理対象の文書の場合、その取扱いを、データを復号した者が認識する必要がある。そこで、オリジナルの符号データには、管理に関連する表示が含まれていない場合、送信データの管理レベルに応じて、符号データの送信量を監視し、全データを送信していないが文書の確認が可能である所定量以上になったと判断した場合、オリジナルの符号データを他の符号データに置き換える。これにより、その文書内の特定の位置に、管理用文字、データダウンロード日時などを埋め込むことができる。これにより、データを復号した者は、その文書が管理されていることを認識できる。
【００２７】
図１２は、スケーラビリティを持たせたＪＰＥＧ２０００ファイルをＭＦＰ１０からＰＣ１４へダウンロード（送信）する処理のフローチャートである。この処理は、第１メモリ１２０に記憶されているプログラムに従って、ＭＦＰ１０のＣＰＵ１６により実行される。まずスケールごとにダウンロードを行う（Ｓ１０)。フローは、次に、スケーラビリティの種類に応じて分岐する（Ｓ１２）。解像度のスケーラビリティの場合、１５０dpiの符号データがダウンロードされた場合（Ｓ１４でＹＥＳ）、続いて送信される３００dpi以上の符号データの一部を所定の符号データで置換する（Ｓ１６）。一部の符号データが置換された３００dpi以上の符号データは、以降のステップＳ１０の処理で送信されることになる。１５０dpiより高い解像度の符号データがダウンロードされる場合（Ｓ１４でＮＯ）、ダウンロードされたデータに対して何もしない。全スケールがダウンロードされる（Ｓ２６でＹＥＳ）まで、この処理を続ける。また、画質のスケーラビリティの場合、レイヤ０の符号データがダウンロードされた場合（Ｓ１８でＹＥＳ）、続いて送信されるレイヤ１以上の符号データの一部を所定の符号データで置換する（Ｓ２０）。一部の符号データが置換されたレイヤ１以上の符号データは、以降のステップＳ１０の処理で送信されることになる。レイヤ１以上の符号データのダウンロードである場合（Ｓ１８でＮＯ）、ダウンロードされたデータに対して何もしない。全スケールがダウンロードされる（Ｓ２６でＹＥＳ）まで、この処理を続ける。また、画像位置のスケーラビリティの場合、所定位置のタイルの符号データがダウンロードされた場合（Ｓ２２でＹＥＳ）、続いて受信される後続画像位置の符号データの一部を所定の符号データで置換する（Ｓ２４）。一部の画像位置が置換された符号データは、以降のステップＳ１０の処理で送信されることとなる。所定位置でないタイルの符号データのダウンロードである場合（Ｓ２２でＮＯ）、ダウンロードされたデータに対して何もしない。全スケールがダウンロードされる（Ｓ２６でＹＥＳ）まで、この処理を続ける。なお、ここでいうダウンロードとは、ＭＦＰ１０からクライアント端末１４へのデータの転送を意味する。また、本実施形態では、これらの処理をＭＦＰ１０のＣＰＵ１６により実行されるものとしたが、クライアント端末１４内のＣＰＵで実行されるようにしてもよい。
【００２８】
以下に、その処理の具体例を説明する。解像度のスケーラビリティを持たせたＪＰＥＧ２０００ファイルの場合、特定解像度以上のデータがダウンロードされた場合、その文書内に、１つの例では、管理用文字等（その文書の出典、取り扱いなど）を埋め込む。図１３に示すように、特定解像度の符号データのダウンロードが行われた場合は、文書の所定位置において、特定解像度の符号の一部を置き換える。この例では、１５０dpiまでは置き換えは行わないが、３００dpiと６００dpiの解像度の場合、２ＨＬから１ＨＨまでの各サブバンド中の所定位置に対応するタイルの符号を、あらかじめ用意していた管理用文字等の所定の符号データと置き換える。たとえば、図１４の復号化後の画像に示すように、文書の右上側の所定位置に対応するタイルの符号データを、管理用文字である「管理外」の画像データをあらかじめ符号化しておいたものと置き換えている。
【００２９】
また、図１５は、画質によるスケーラビリティを持つファイルが読み出された場合の情報付加の方法を示している。図１５は、レイヤ０を送信した時点で、レイヤ１及びレイヤ２の符号データの中で、文字埋め込み位置に対応するタイルの符号を置き換える。これにより、図１６に示すように、画像の一部に管理用の文字の表示が可能となる。ここでは、「ｘ年ｙ月ｚ日」と「コピー厳禁」の２行にわたる文字表示の画像を、符号化データと置き換えている。なお、下位レイヤは画像に与える影響が少なくなるので、比較的上位のレイヤ１，２に対して符号の置き換えを行うだけでよい。
【００３０】
図１７は、位置によるスケーラビリティを持った画像に対して特定位置への情報を埋め込みを示す。この例では、読み出される画像は図１１のＣであるが、この一部を閲覧者には表示させず、その管理場所のみを文章で伝える。たとえば、右下の部分の絵について閲覧者に特定の情報を伝えたい場合、図１７に示すように、その絵に対応する置換対象位置のタイルｘ、ｙ、ｚにおいて、あらかじめ用意している符号データと置き換える。これにより、図１８のように、オリジナルの絵の代わりに、それに関する情報を表示できる。
【００３１】
なお、送信データに情報付加する画像の例として、以下のようなものが挙げられる。「管理外」、「コピー厳禁」、「Confidential」、「○月×日ダウンロード」、「データ管理者XXX、問い合わせ先XXX−XXX」、「他には有意なデータはありません」。
【００３２】
第１の実施の形態では、スケーラビリティを持った符号データの送信において、解像度、画質、位置などに応じて、文書の一部を管理用文字などと置換して管理情報を知らせている。スケーラビリティを持った符号データのそれとは別の文書管理として、以下の第２と第３の実施の形態で説明するように、文書の一部を隠して送信することや、文書の一部を目立たせて送信することが可能である。一般的にいえば、ＪＰＥＧ２０００ファイルの階層的符号データのビットストリームをネットワークを介して送信するとき、ＪＰＥＧ２０００ファイルについて送信相手ごとに画像内の特定の空間的位置を設定する。これに基づいてビットストリームを変更する。そして、変更されたビットストリームを送信する。送信相手ごとに文書データを作ることは時間と手間がかかってしまうが、オリジナル原稿にラインマーカーによって色付けすることにより、特定の空間的位置を設定する。マーカー色と送信相手の対応をあらかじめ設定しておくことにより、マーカー色によって送信相手ごとにデータ送信におけるセキュリティの種類を変えることができる。
【００３３】
次に、第２の実施の形態におけるＪＰＥＧ２０００ファイルの送信管理について説明する。第２の実施の形態では、ＪＰＥＧ２０００符号データの文書を送付する場合、送信相手によって送信文書データ中の複数の空間的位置（領域）のデータ送信量を変える。これにより送信相手ごとに特定領域の画質が異なった設定が可能になる。送信相手ごとに文書中の特定部分を読めなくすることで、文書内容のセキュリティを高める。送信方法の設定はラインマーカーによる色付けに応じて行う。色付けと送信方法の対応は、あらかじめ設定されている。ここで、ＭＦＰ１０は、文書の符号データにおける特定の色成分の有無と、その値を読み、ラインマーカーにより設定された特定の空間的位置またはその他の空間的位置の符号データのデータ送信量をタイル単位で異ならせる。これにより、タイル単位でのセキュリティ設定、管理を行う。データ表示において、以下に説明する例では、閲覧権限の無いユーザに対しては、符号データのビットストリームにおいて、セキュリティ設定のされたタイルの符号を代替え符号に置き換える。
【００３４】
スキャナ１０２で読み取った文書を複数の人に送るとき、送信相手ごとに文書中の特定部分を読めなくすることで、文書内容のセキュリティを高める。まず、スキャナ１０２で読み取る原稿中に少なくとも１つ以上の特定の色のラインマーカーで色づけする。ここで、図１９の右側に示す原稿において、左側に示すように送信相手ごとに異なる色のラインマーカーで領域（斜線部分）を指定した後で、スキャナ１０２で読み込む。そして、図２０に示すように、ラインマーカーの色と送信相手の情報に基づいて、送信相手ごとに文書中の特定位置を読めなくする。なお、以下の例では、ラインマーカーにより設定された特定の空間的位置の符号データを変更するが、それ以外の空間的位置の符号データを変更するようにしてもよい。
【００３５】
送信相手ごとのＪＰＥＧ２０００ファイルの生成について説明する。ラインマーカーで色づけされた原稿をスキャナで読み取りＪＰＥＧ２０００ファイルを生成する。このＪＰＥＧ２０００ファイルは、図２１に示す符号化部において、色空間変換され明度データと色差データに分けられた画像データは、タイリング処理部２０４でタイルに分割された後、タイリング処理されて圧縮されている。このＪＰＥＧ２０００ファイルの生成と同時に、図２１に示すように、タイル下地分析部２２２は、タイルがラインマーカーによって色づけされているか否かを調べるため、タイル下地の分析がされる。ここで、タイリング処理部２０４からのタイルごとに、読み取った画像の色差成分情報（例えばCb、Cr）をもとに下地を分析し、ラインマーカーで処理された部分のタイル情報を生成する。ここで、あらかじめ決められたラインマーカーの色データとタイルの色差データのヒストグラムからラインマーカー色が下地と判断する。そして、分析結果をメモリの所定部２２４に記憶する。こうして、表１に示すように、タイルとラインマーカー色の関係を示すデータが形成され、送信相手ごとにセキュリティをかけたい部分のタイル情報が得られる。表１の分析結果では、タイル３では、赤の下地が検出され、タイル１０１から１０２では黄の下地が検出され、タイル２００〜２０２では、青の下地が検出される。表２は、ラインマーカー色のＲＧＢ値と色空間（YCbCr）変換後の値を示す。ＲＧＢ値は読み取りデバイスに依存するため、この表は一例にすぎない。この値と各タイルのヒストグラム結果を基に、各タイルがどのラインマーカーで色づけされているかを決定できる。
【００３６】
【表１】

【００３７】
【表２】

【００３８】
一方、画像データについて、タイルの下地検出とは独立して通常のプロセスでＪＰＥＧ２０００ファイルは形成されており、ラインマーカーで色づけされた画像データのＪＰＥＧ２０００ファイルがビットストリーム生成部２２０によりメモリの所定部２２６に格納される。タイル符号データ置換部２２８は、このＪＰＥＧ２０００ファイルについて、先のタイル下地検出の分析結果を基に、送信相手ごとに対応タイルの符号データの置換を行う。これにより、ラインマーカーで色づけされた部分が隠されて出力される。これらのブロック２２２〜２２８は、後で説明するＣＰＵ１１６のソフトウェア処理である。
【００３９】
図２２は、タイル分割された場合のＪＰＥＧ２０００ファイルの構成を示す。ＪＰＥＧ２０００ファイルのビットストリームは、ＳＯＣマーカーとメインヘッダに続いて、タイル０、タイル１、・・・、タイルｎの符号データからなる。ここで、タイル下地検出結果を基に各送信相手に対する置換対象タイル情報と置換データを用意する。そして、置換対象タイルのＳＯＣマーカー以降のタイルデータ（符号データ）を、あらかじめ用意しておいた置換データに置き換える。表３の例では、タイル０についてデータを置換している。この作業を送信相手ごとに置換対象タイルに対して行うことで、図２０に示すような画像の表示を行うＪＰＥＧ２０００ファイルを生成する。また、送信の際は、好ましくは、複数の送信先に共通な符号データを複数の送信先に一括して送り、異なる符号データのみを各送信先にそれぞれ送る。
【００４０】
次に、ＣＰＵ１１６による送信データ置換処理を説明する。表３は、文書送信に先立ち、ＭＦＰ１０に対して設定された項目を示している。この項目の設定はＭＦＰ１０の操作パネル１１０、ネットワークで接続されたコンピュータ１４等によって行われる。表３のテーブルでは、マーカー色「赤」で塗られた部分は送信相手「Ａ」に対して非可視にする。このとき該当部分を置き換え色「赤」で非可視にすることを意味している。同様にマーカー色「黄」で塗られた部分は送信相手「Ｂ」に対して非可視にする。このとき該当部分を置き換え色「黒」で非可視にする。マーカー色「青」で塗られた部分は送信相手「Ｃ」に対して非可視にする。このとき該当部分を置き換え色「青」で非可視にする。
【００４１】
【表３】

【００４２】
図２３は、データ置き換えを行う符号置換処理（タイル符号データ置換部２２６）のフローチャートである。まずタイルごとに下地分析を行った結果を読み込み（Ｓ１０１）、次ステップ以降の処理で使用できるようにする。次に、表３のテーブルに示されている複数の送信相手を順番に選択し（Ｓ１０２）、メモリ内に格納されているＪＰＥＧ２０００データを読み出し（Ｓ１０３）、その送信相手に対応して、タイルごとに符号置換処理を行う（Ｓ１０４）。符号置換処理が、全タイルに対して行われたと判断すると（Ｓ１０５でＹＥＳ）、次に、設定された全送信相手に対して上記一連の処理がなされたかを判断する（Ｓ１０６）。未だ処理のされていない送信相手がいるのであれば、ステップＳ１０２に戻り、新規送信相手を設定し以降の処理を行う。すべての送信相手に対して処理が終わっていれば符号置換処理を終了する。
【００４３】
図２４は、タイル符号置換処理（図２３、Ｓ１０４）のフローチャートである。処理するタイルデータとその解析結果を用意し（Ｓ１１０）、以降の処理に備える。タイル解析結果から、マーカーによって色づけされている置換対象タイルか否かを判断する（Ｓ１１１）。置換対象タイルで無ければ、何もせず、送信処理を行う（Ｓ１１７）。置換対象タイルであれば、さらに、現在設定されている送信相手に対して有効なタイルか否かを判断する（Ｓ１１２）。つまり送信相手が「Ａ」に設定されているのであれば、タイル解析結果が「赤」であるかどうかを判断する。現在の送信相手に対して有効でなければ何も処理せず、送信処理を行う（Ｓ１１７）。有効であれば、表３のテーブルで設定されている置き換え色が何色であるかを読み込み（Ｓ１１３）、それぞれの置き換え色に分岐して、符号データを置き換える（Ｓ１１４〜Ｓ１１６）。置き換えデータは、所定のタイルサイズを持ち、置き換え色で塗りつぶされたタイルを符号化したものが用意されている。このあらかじめ用意されている置き換え用符号データと置き換えることで、対象タイルを所定の色に置き換えることができる。置換されたタイルデータは、送信処理する（Ｓ１１７）。図２０の画像は、表３のテーブルに基づいて上記処理を行った結果である。
【００４４】
次に、第３の実施の形態におけるＪＰＥＧ２０００ファイルの送信管理について説明する。第３の実施の形態では、ＪＰＥＧ２０００で文書を送付する場合、送信相手によって送信文書データのビットストリーム中の特定の空間的位置またはその他の空間的位置に対してデータの置換または削減を行う。これにより、ユーザーごとに文書中の空間的位置に従ってセキュリティをかけることができる。ここで、ＭＦＰ１０がスキャナ１０２で読み取った文書を複数の人に送るとき、送信相手ごとに文書中の特定部分を部分的に高画質（または低画質）にすることで、文書内容のセキュリティを高める。ここで、文書中の複数の領域について送信相手ごとにデータ送信量を変える。すなわち、送信相手ごとに特定領域の画質を異ならせる。このように、送信相手ごとに文書中の特定箇所の表示画質を変えて送信することにより、送信先では、文書中のどの部分に注力しなければならないか、送信元がどの部分を確実に読んでもらいたいかを知ることができる。また、画質を極端に低下させることで、文書中の特定部分に対してセキュリティをかけることもできる。なお、データの置換または削減は、ラインマーカーにより設定された特定の空間的位置の符号データを変更するようにしても、それ以外の空間的位置の符号データを変更するようにしてもよい。
【００４５】
なお、送信相手ごとのデータ送信方法の設定は、ラインマーカーによって行い、マーカー色によってセキュリティの種類を変えることができる。ＭＦＰ１０は符号データの色成分の有無とその値を読み、タイル単位でのセキュリティ設定、管理を行う。データ表示においては、閲覧権限の無いユーザに対してはセキュリティ設定のされたタイルの符号を代替え符号に置き換える。
【００４６】
図２５に示す文書をＭＦＰ１０のスキャナ１０２で読み取り、複数の送信相手に、図２６で示すような画像のＪＰＥＧ２０００ファイルを送る。第２の実施の形態と同じように、送信用文書はラインマーカーで色づけされており、送信相手ごとに注力して見てもらいたい部分と関係づけられている。図２７は、ラインマーカーによる色付け（ハッチングで示した部分）の１例を示す。ラインマーカーで色づけされた文書をスキャナ１９２で読み取り、ＪＰＥＧ２０００ファイルを生成する。
【００４７】
ＪＰＥＧ２０００ファイルを生成する符号化部の構成は、図２１に示す第２の実施の形態の符号化部と同様である。タイル符号データ置換部２２８は、符号化部でのタイル下地分析部２２２による下地分析結果を基に、メモリに格納されているＪＰＥＧ２０００ファイルを送信相手ごとに再生成する。図２８は、タイル分割された場合のＪＰＥＧ２０００ファイルの構成を示す。送信相手ごとにラインマーカーによって指定された部分を高画質で表示し、その他の部分を画質を落として表示させるＪＰＥＧ２０００ファイルを生成するため、下地分析結果によって得られたタイル下地情報から情報量削滅対象タイル（図２８の例ではタイル０）を決定する。決定された情報量削減対象タイルをＪＰＥＧ２０００ビットストリームから取り出し、タイルデータ（符号データ）から画質に寄与する度合いの小さい方から符号データを切り捨てる。データ切り捨てを行ったのち再度ビットストリームに組み込むことで、情報量削減対象タイルの復元後の画質を落とすことができる。この作業を送信相手ごとにすべての情報量削減対象タイルに対して行うことで、図２６に示す送信相手ごとの表示が可能なＪＰＥＧ２０００ファイルを生成できる。なお、送信の際は、好ましくは、複数の送信先に共通な符号データを複数の送信先に一括して送り、異なる符号データのみを各送信先にそれぞれ送る。
【００４８】
ここでデータの切り捨て処理の１例を説明する。図２９に示すビットストリームでは、タイルごとに符号データがまとまっており、さらに、タイルごとの符号データはレイヤによるスケーラビリティを持たせている。ここでは、各タイル内のデータは、レイヤ０からレイヤ５までに分けられている。ここで、レイヤ０が画質に対する寄与度が最も高く、レイヤ５に向かうほど寄与度は小さくなる。伸長後の画像はすべてのレイヤを使った場合が最も画質がよいこととなる。符号データの切捨てを行う場合、図３０に示すように、符号量削減対象タイルについてタイルデータの全レイヤを使うことなく、その一部を使うことで画質を落とすことができる。図２９では、タイル０が削減対象タイルである。どのレイヤを切り捨てるかはあらかじめ決められており、これにしたがって切捨て処理が行われる。図３０の例では、画質への寄与度の少ないレイヤ３〜レイヤ５のデータを削除する。
【００４９】
また、上述の例では、符号を切り捨てるか、切り捨てないかの２者択一であったが、表示画質を複数段階になるようにしてもよい。たとえば、表４のようなテーブルに従い、切捨てレベルを設定して、切捨てレベルに応じて複数段階のデータ切捨てを行う。
【００５０】
【表４】

【００５１】
このように、送信相手ごとに文書中の特定箇所の表示画質を変えて送信することにより、送信先では、文書中のどの部分に注力しなければならないか、送信元がどの部分を確実に読んでもらいたいかを知ることができる。また、画質を極端に低下させることで、文書中の特定部分に対してセキュリティをかけることもできる。
【００５２】
次に、文書送信について説明する。表５のテーブルは、文書送信に先立ち、ＭＦＰ１０に対して設定された項目を示している。この項目の設定はＭＦＰ１０の操作パネル、ネットワーク接続されたコンピュータ１４などによって行われる。このテーブルでは、マーカー色「赤」で塗られた部分は送信相手「Ａ」に対して高画質で送ることを設定する。同様にマーカー色「黄」で塗られた部分は送信相手「Ｂ」に対して高画質で送ることを設定し、マーカー色「青」で塗られた部分は送信相手「Ｃ」に対して高画質で送ることを設定する。
【００５３】
【表５】

【００５４】
図３１は、送信者ごとのファイル生成（タイル符号データ置換部２２６）のフローチャートである。タイルごとに下地分析を行った結果を読み込み（Ｓ２００）、次ステップ以降の処理で使用できるようにする。表５のテーブルに示されている複数の送信相手を順番に選択する（Ｓ２０１）。次に、選択された送信相手について、メモリ内に格納されているＪＰＥＧ２０００データを読み出し（Ｓ２０２）、全タイルに対してタイルごとに符号量削減処理を行う（Ｓ２０３〜Ｓ２０４）。次に、未だ処理のされていない送信相手がいるのであれば（Ｓ２０５でＮＯ）、ステップＳ２０１に戻り、新規送信相手を設定し同様の処理を行う。設定された全送信相手に対して処理が終わっていれば、符号置換処理を終了する。
【００５５】
図３２は、符号量削減処理（図３１、Ｓ２０３）のフローチャートである。まず、処理するタイルデータとその解析結果を用意し（Ｓ２３０）、以降の処理に備える。タイル解析結果からマーカーによって色づけされているタイルか否かを判断する（Ｓ３０１）。色づけ処理されていなければ何もせず、符号データの切り捨て処理を行う（Ｓ３０３）。色づけされているタイルであれば、さらに、現在設定されている送信相手に対して有効なタイルか否かを判断する（Ｓ３０２）。つまり送信相手が「Ａ」に設定されているのであれば、タイル解析結果が「赤」であるかどうかを判断する。現在の送信相手に対して有効であれば、何も処理せず送信処理を行う（Ｓ３０４）。有効でなければ、データの切り捨て処理を行い（Ｓ３０３）、その後、処理されたデータを送信処理する（Ｓ３０４）。
【００５６】
なお、上述の各実施の形態ではＭＦＰにおけるＪＰＥＧ２０００ファイルの処理について説明したが、ＪＰＥＧ２０００ファイルのコーデック機能と通信機能を備える画像処理装置は、同様の処理を実行できる。
【００５７】
【発明の効果】
データのロード状況に応じてデータを付加することが可能である。保存文書の全データをロードしない場合においても、その文書の出典、取り扱いなどについて画像中に明示できる。
送信相手ごとに文書中の特定部分を読めなくすることで、文書内容のセキュリティを高める。
送信相手ごとに文書中の特定部分を部分的に高画質にすることで、送信先では、文書中のどの部分に注力しなければならないか、送信元がどの部分を確実に読んでもらいたいかを知ることができる。
【図面の簡単な説明】
【図１】画像ファイルをＭＦＰで出力するシステムのブロック図
【図２】ＭＦＰのブロック図
【図３】ＪＰＥＧ２０００コーデックにおけるＪＰＥＧ２０００符号化を示す図
【図４】ＪＰＥＧ２０００コーデックにおけるＪＰＥＧ２０００復号化を示す図
【図５】３回のウェーブレット変換により得られる符号データのサブバンドを説明するための図
【図６】解像度のスケーラビリティを持たせたＪＰＥＧ２０００ファイルのビットストリームの構造の図
【図７】解像度に対応する画像の大きさの変化を示す図
【図８】タイル分割された場合のＪＰＥＧ２０００ファイルのビットストリームの構成を示す図
【図９】低階層のレイヤから受信して画質を向上する例を示す図
【図１０】タイル単位で符号データを並べたビットストリームの構造を示す図
【図１１】図１０のデータを復号化していくときの状況を示す図
【図１２】スケーラビリティを持たせたＪＰＥＧ２０００ファイルの復号のフローチャート
【図１３】特定解像度での符号の一部の置き換えを示す図
【図１４】特定解像度での符号の一部の置き換えにより得られた画像を示す図
【図１５】特定レイヤでの符号の一部の置き換えを示す図
【図１６】特定レイヤでの符号の一部の置き換えにより得られた画像を示す図
【図１７】位置によるスケーラビリティを持った画像に対して特定位置に情報を埋め込みを示す図
【図１８】特定位置での符号の一部の置き換えにより得られた画像を示す図
【図１９】オリジナル文書の１例の図
【図２０】送信相手ごとに異なる色のラインマーカーで領域を指定した図
【図２１】符号化部のブロック図
【図２２】タイル分割された場合のＪＰＥＧ２０００ファイルの構成の図
【図２３】符号置換のフローチャート
【図２４】タイル符号置換のフローチャート
【図２５】送信される文書の１例の図
【図２６】送信先ごとに異なって送信される文書の１例の図
【図２７】ラインマーカーで色づけされた文書の１例の図
【図２８】タイルごとの符号化における符号量削減を示す図
【図２９】画質によるスケーラビリティをもった符号データのファイル構成の図
【図３０】データ削減を示す図
【図３１】送信者ごとのファイル生成のフローチャート
【図３２】符号量削減のフローチャート
【符号の説明】
１０ＭＦＰ、１０８操作パネル、１１０通信装置、１１６ＣＰＵ、１２６ＪＰＥＧ２０００コーデック、２２２タイル下地分析部、２２８タイル符号データ置換部。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to transmission / reception of hierarchically encoded image data.
[0002]
[Prior art]
When encoded image data is transmitted via a network, various measures are taken for data that needs to be managed for security or the like. For example, in the image forming apparatus described in Japanese Patent Laid-Open No. 2001-45273, when image data is transmitted / received via a network, the resolution of tracking information or the like is changed in the image data in order to prevent unauthorized use of the data. Or superimpose. Further, in the visible information output apparatus described in Japanese Patent Laid-Open No. 2000-40082, a file instructing security setting is attached to document data in one or more specific areas in the document. At the time of document transmission processing, only the contents of the area to which the authentication data of the destination of the document, that is, the terminal device on the receiving side is given are transmitted to the terminal device on the receiving side. That is, part of the transmission content is changed depending on the presence or absence of security settings. Further, in the system described in Japanese Patent Application Laid-Open No. 11-298698, when distributing image contents through a network, the range and resolution of the disclosed portion of the masked image are set according to the user's screen operation or the like. Change in real time. For example, when the user designates a desired image position and selects a resolution or display range in the default image data with the lowest resolution subjected to masking, image data corresponding thereto is transmitted.
[0003]
[Patent Document 1]
JP 2001-45273 A
[Patent Document 2]
Japanese Unexamined Patent Publication No. 2000-40082
[Patent Document 3]
Japanese Patent Laid-Open No. 11-298698
[0004]
[Problems to be solved by the invention]
When JPEG2000 code data is transmitted, if the decoding is performed using scalability functions such as JPEG2000 resolution and image quality, the document can be confirmed in the middle of the decoding even if not all data is received. In this case, the data being decoded is different from the original file, but the readable content is the same. Therefore, when code data having a scalability function is to be managed for security or the like, it is necessary to manage the code data even in the middle of decoding. Therefore, when transmitting JPEG2000 code data having a scalability function, it is desirable that security can be managed flexibly.
For example, it is desirable that a person who decrypts the file recognizes management handling. Here, management data can be added to the original data, but in this case, the additional data is fixed, and management data according to the situation cannot be added. In some cases, a part of the transmitted document may be hidden, or conversely, a specific part may be surely read. However, creating such document data for each destination takes time and effort.
[0005]
An object of the present invention is to provide an image data transmitting apparatus capable of managing security flexibly in transmission of code data having a scalability function.
[0006]
[Means for Solving the Problems]
  A first image processing apparatus according to the present invention includes a transmission unit that transmits a bit stream of hierarchical code data of a JPEG2000 file via a network, code dataBitstreamThe monitoring means for monitoring the transmission amount, and when the transmission amount of the transmission data exceeds a predetermined management level, further comprises a replacement means for replacing the code data to be transmitted with other code data. The bit stream of the code data replaced by the replacement means is transmitted.
[0007]
  In the image processing apparatus, the transmission unit hierarchically transmits code data for at least one of resolution, image quality, and position.The other code data includes, for example, management information (for example, a character string).
[0008]
  A second image processing apparatus according to the present invention includes a transmission unit that transmits a bit stream of hierarchical code data of a JPEG2000 file via a network;Setting means for setting a specific spatial position by reading a document colored for each transmission destination;And changing means for changing the bitstream based on a specific spatial position in the image set for each transmission partner for the JPEG2000 file, and the transmitting means is changed by the changing means. Send the generated bitstream.
[0009]
In the image processing apparatus, the changing unit preferably includes a data replacing unit that replaces code data at the specific spatial position or other spatial positions with a predetermined code in the bitstream.
[0010]
In the image processing apparatus, the changing unit preferably includes a data reducing unit that reduces code data at the specific spatial position or other spatial positions in the bit stream.
[0011]
In the image processing apparatus, the specific spatial position is determined by a color component of image data, for example.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. In the drawings, the same reference symbols denote the same or equivalent.
[0013]
FIG. 1 shows a system for outputting an image file obtained by scanning with a multiple function peripheral (hereinafter abbreviated as MFP) 10 via a network. The MFP 10 includes a JPEG2000 codec, and converts an image file obtained by scanning into a JPEG2000 image file. A plurality of client computers (PCs) 14 can be connected to the MFP 10 via a network (for example, a LAN 12). The computer 14 has a function for browsing JPEG2000 files stored in the MFP 10. As a result, the JPEG2000 file is displayed, an arbitrary position of the displayed image can be selected, and the selected coordinates are transmitted to the MFP side. The MFP 10 transfers the image data via the LAN 12 in response to a request from the client computer 14.
[0014]
FIG. 2 is a control block diagram of the MFP 12. Each block is connected via a bus (for example, PCI bus) 100. The MFP 10 includes a scanner 102 for reading a document, a print engine 104 for printing, an image processing unit 106 for processing image data, and an operation panel 108 for setting by a user. The operation panel 110 includes a display device. Furthermore, a communication device (Network Interface Card: NIC) 108 for connecting to the LAN 12 is provided.
[0015]
The CPU 116 that controls the entire MFP controls the first memory 120 and devices connected to the bus 100 via the bridge 118. Raster data (image data) input from the scanner 102 is transferred to the second memory 124 connected to the memory controller 122 by direct memory access (DMA). The image data stored in the second memory 124 is sent to the JPEG 2000 codec 126 by DMA, and the JPEG 2000 codec 126 encodes the image data into JPEG 2000 data using the tiling and wavelet transform memory 128. This JPEG2000 data is stored in the second memory 120 by DMA.
[0016]
Next, the operation until the JPEG2000 file stored in the second memory 124 is sent to the external computer 14 will be described. The JPEG2000 file stored in the second memory 124 is transferred to the first memory 120 via the memory controller 122 by DMA. The image data stored in the first memory 120 is replaced or reconstructed by the code data by the CPU 116, and then sent to the communication device 108 by DMA and goes out to the network 12. Data transfer to the computer 14 is performed via FTP transfer or an electronic mail server.
[0017]
FIG. 3 shows the flow of JPEG 2000 encoding (compression) in the JPEG 2000 codec 116. This encoding process is the same as the normal JPEG2000 encoding. Each color component of the image data input to the JPEG2000 codec 126 is subtracted by a level shift unit 200 by a value that is half the dynamic range (level shift). If the input data is signed data such as a color difference component of YCbCr, nothing is done. Next, the color space conversion unit 202 performs color space conversion. The image data subjected to the color space conversion is divided into blocks (tiles) of a predetermined size by the tiling processing unit 204 by tiling processing. The FDWT unit 206 performs discrete wavelet transform for each tile subjected to tiling processing, and divides the image into a plurality of bands. The quantization unit 208 performs a quantization process if necessary for the wavelet-transformed image. The code block dividing unit 210 performs code block division on the image wavelet transformed for each tile, and then the coefficient bit modeling coefficient unit 212 generates an encoding pass by bit modeling. The generated encoding pass is arithmetically encoded by the arithmetic encoding unit 214. Code data encoded and generated for each code block is divided into a plurality of layers in the layer generation unit 216 according to the degree of image quality contribution by layer division. The post quantization processing unit 218 performs truncation for data exceeding a predetermined code amount. Finally, the bitstream generation unit 220 generates a bitstream and outputs it as a JPEG2000 file.
[0018]
FIG. 4 shows a flow of decoding (decompression) of a JPEG2000 file in the JPEG2000 codec 126, and a process in the reverse direction to the encoding shown in FIG. 3 is performed. This decoding process is the same as the normal JPEG2000 decoding. The bit stream format cancellation unit 240 cancels the bit stream format for the received bit stream data, and the decoding unit 242 decodes the data. Next, the coefficient bit modeling cancellation unit 244 cancels the coefficient bit modeling, and the inverse quantization unit 246 performs inverse quantization on the data. Next, the IDWT unit 248 performs inverse discrete wavelet transform, and the tiling processing unit 250 performs inverse tiling processing and returns the image data to the original size. Next, the color space conversion unit 252 performs reverse color space conversion to return to the original color space, and finally the level shift unit 254 performs level shift to obtain decoded image data.
[0019]
In JPEG2000 encoding, an image is divided into a plurality of tiles, and encoding is performed for each tile. The concept of the code data when the tiled image is wavelet transformed three times for each tile will be described with reference to FIG. An image having a size half that of the original image can be obtained by one wavelet transform. In the first wavelet transform, as shown in FIG. 5A, the entire image is converted into code data of four subbands of 1HL, 1LH, 1HH, and LL. LL is code data whose resolution is halved. In the second wavelet transform, LL is converted into four code data of 2HL, 2LH, 2HH, and LL as shown in FIG. In the third wavelet transform, LL is converted into four code data of 3HL, 3LH, 3HH, and LL (see FIG. 5C). If the original image is 600 dpi, images of 300 dpi, 150 dpi, and 75 dpi can be extracted by three wavelet transforms.
[0020]
As shown in the file structure of FIG. 6, the code data are arranged in the order of subbands of LL, 3HL, 3LH, 3HH, 2HL, 2LH, 2HH, 1HL, 1LH, and 1HH to provide resolution scalability. As a result, the resolution level can be increased and displayed in order of 75 dpi → 150 dpi → 300 dpi → 600 dpi. When a 75 dpi image is desired, LL is used. When a 150 dpi image is desired, LL, 3HL, 3LH, and 3HH are used. When a 300 dpi image is desired, all are used when 600 dpi using LL, 3HL, 3LH, 3HH, 2HL, 2LH, and 2HH. When this file is decoded and displayed on the display device, as the resolution increases, the size of the image increases by 4 times in area ratio as shown in FIG.
[0021]
In the above, the processing based on the resolution has been described for the JPEG2000 file. However, in the case of performing scalability based on the image quality, a layer is used. In one method of providing scalability by image quality, data encoded in units of tiles is divided into a plurality of layers according to the contribution of image quality, and a bit stream is formed in the order of the layers. FIG. 8 shows the configuration of such bit stream data. In this example, the code data is composed of 6 layers. Here, the code data of layer 0, layer 1,..., Layer 5 is arranged following the header. When all layers of data are combined, the original image quality is reproduced. FIG. 9 shows an example of the state of image quality improvement in an image displayed on the screen in a state where A, B, and C in FIG. 8 are decoded.
[0022]
In addition, in order to have scalability depending on the image position, code data in tile units are arranged as shown in FIG. 10 to create a file. That is, following the code start code (SOC), a main header is arranged, and subsequently, code data of each tile from tile 0 to tile n is arranged. As a result, as shown in FIG. 11, display can be sequentially performed according to the image position.
[0023]
It is also possible to combine these scalability.
[0024]
Next, transmission management in the first embodiment of a JPEG2000 file having scalability will be described. When a computer 14 reads out a JPEG 2000 format filing document filed in the MFP 10, it is assumed that the read file has scalability depending on resolution, image quality, and position. When decoding a JPEG2000 file with scalability, transmission data is transmitted hierarchically with respect to resolution, for example. In this case, for example, the readability of the document is not guaranteed at a low resolution, but if the data is decoded up to a certain resolution, the content of the document can be read at an intermediate stage without decoding all the data. That is, even if not all files are taken into the computer 14 side, almost the same files can be copied in appearance.
[0025]
If the file to be copied is a managed document, such as a specification, it may be strictly managed according to security or ISO document management rules. When a JPEG2000 file is hierarchically decoded and copied, the original data and copy data are separate files. However, even if the data is different, if the document is readable, it must be managed. It is also necessary to clearly indicate the date and time of data download in the document.
[0026]
In the case of a document to be managed, it is necessary for the person who decrypted the data to recognize the handling. Therefore, if the original code data does not include a display related to management, the transmission amount of the code data is monitored according to the management level of the transmission data, and all the data is not transmitted, but the document is confirmed. When it is determined that the predetermined amount is exceeded, the original code data is replaced with other code data. This makes it possible to embed management characters, data download date and time, etc. at a specific position in the document. Thereby, the person who decrypted the data can recognize that the document is managed.
[0027]
FIG. 12 is a flowchart of processing for downloading (transmitting) a JPEG2000 file having scalability from the MFP 10 to the PC 14. This process is executed by the CPU 16 of the MFP 10 according to the program stored in the first memory 120. First, download is performed for each scale (S10). The flow then branches according to the type of scalability (S12). In the case of resolution scalability, when 150 dpi code data is downloaded (YES in S14), a part of the code data of 300 dpi or more transmitted subsequently is replaced with predetermined code data (S16). Code data of 300 dpi or more in which a part of the code data is replaced is transmitted in the subsequent process of step S10. When code data having a resolution higher than 150 dpi is downloaded (NO in S14), nothing is performed on the downloaded data. This process is continued until all scales are downloaded (YES in S26). In the case of image quality scalability, when code data of layer 0 is downloaded (YES in S18), a part of code data of layer 1 or higher transmitted subsequently is replaced with predetermined code data (S20). The code data of layer 1 or higher in which a part of the code data is replaced is transmitted in the subsequent process of step S10. When downloading code data of layer 1 or higher (NO in S18), nothing is done to the downloaded data. This process is continued until all scales are downloaded (YES in S26). In the case of image position scalability, when code data of a tile at a predetermined position is downloaded (YES in S22), a part of the code data of the subsequent image position received subsequently is replaced with the predetermined code data ( S24). Code data in which some image positions are replaced is transmitted in the subsequent processing of step S10. When downloading the code data of a tile that is not in a predetermined position (NO in S22), nothing is done to the downloaded data. This process is continued until all scales are downloaded (YES in S26). Here, the download means transfer of data from the MFP 10 to the client terminal 14. In the present embodiment, these processes are executed by the CPU 16 of the MFP 10, but may be executed by the CPU in the client terminal 14.
[0028]
A specific example of the process will be described below. In the case of a JPEG2000 file having resolution scalability, when data of a specific resolution or higher is downloaded, in one example, management characters (such as the source and handling of the document) are embedded in the document. As shown in FIG. 13, when code data with a specific resolution is downloaded, a part of the code with the specific resolution is replaced at a predetermined position of the document. In this example, replacement is not performed up to 150 dpi, but in the case of 300 dpi and 600 dpi resolutions, a management character or the like prepared in advance with a tile code corresponding to a predetermined position in each subband from 2HL to 1HH Are replaced with predetermined code data. For example, as shown in the image after decoding in FIG. 14, the encoded data of the tile corresponding to the predetermined position on the upper right side of the document is encoded in advance with the image data “unmanaged” that is the management character. It is replaced with a thing.
[0029]
FIG. 15 shows a method of adding information when a file having scalability according to image quality is read. In FIG. 15, when layer 0 is transmitted, the code of the tile corresponding to the character embedding position is replaced in the code data of layer 1 and layer 2. Thereby, as shown in FIG. 16, management characters can be displayed on a part of the image. Here, the character-displayed image over two lines of “x year y month z day” and “copy strictly prohibited” is replaced with encoded data. Since the lower layer has less influence on the image, it is only necessary to replace the code for the relatively higher layers 1 and 2.
[0030]
FIG. 17 shows embedding information at a specific position in an image having scalability by position. In this example, the image to be read is C in FIG. 11, but a part of this image is not displayed to the viewer, and only the management location is transmitted in text. For example, when it is desired to convey specific information to the viewer about the picture in the lower right part, as shown in FIG. 17, the codes prepared in advance in the tiles x, y, and z at the replacement target position corresponding to the picture Replace with data. As a result, information related to the original picture can be displayed instead of the original picture as shown in FIG.
[0031]
Examples of images to which information is added to transmission data include the following. "Not controlled", "Copy prohibited", "Confidential", "○ month x day download", "Data manager XXX, contact XXX-XXX", "No other significant data".
[0032]
In the first embodiment, in transmission of code data with scalability, management information is notified by replacing a part of a document with management characters or the like according to resolution, image quality, position, and the like. As document management different from that of code data with scalability, as described in the second and third embodiments below, transmission of a part of a document is concealed, or part of a document is targeted. It is possible to send it upright. Generally speaking, when a bit stream of hierarchical code data of a JPEG2000 file is transmitted via a network, a specific spatial position in the image is set for each transmission partner of the JPEG2000 file. Based on this, the bit stream is changed. Then, the changed bit stream is transmitted. Creating document data for each transmission partner takes time and effort, but a specific spatial position is set by coloring the original document with a line marker. By setting the correspondence between the marker color and the transmission partner in advance, the type of security in data transmission can be changed for each transmission partner depending on the marker color.
[0033]
Next, JPEG2000 file transmission management in the second embodiment will be described. In the second embodiment, when sending a document of JPEG 2000 code data, the data transmission amount of a plurality of spatial positions (areas) in the transmission document data is changed depending on the transmission partner. As a result, it is possible to set different image quality in the specific area for each transmission partner. The security of the document content is improved by making it impossible to read a specific part of the document for each transmission destination. The transmission method is set according to the coloring by the line marker. Correspondence between coloring and transmission method is preset. Here, the MFP 10 reads the presence / absence of a specific color component in the code data of the document and the value thereof, and tiles the data transmission amount of the code data at a specific spatial position or other spatial position set by the line marker. Different units. Thereby, security setting and management are performed in tile units. In the data display, in the example described below, for a user without viewing authority, the code of the tile for which security is set is replaced with a substitute code in the bit stream of the code data.
[0034]
When the document read by the scanner 102 is sent to a plurality of people, the security of the document content is improved by making it impossible to read a specific part in the document for each transmission destination. First, a document read by the scanner 102 is colored with at least one specific color line marker. Here, in the document shown on the right side of FIG. 19, as shown on the left side, an area (shaded portion) is designated with a line marker of a different color for each transmission partner, and then read by the scanner 102. Then, as shown in FIG. 20, based on the color of the line marker and the information of the transmission partner, the specific position in the document cannot be read for each transmission partner. In the following example, code data at a specific spatial position set by a line marker is changed, but code data at other spatial positions may be changed.
[0035]
Generation of a JPEG2000 file for each transmission partner will be described. A document colored with a line marker is read by a scanner to generate a JPEG2000 file. The JPEG2000 file is image data that has been color space converted and divided into lightness data and color difference data in the encoding unit shown in FIG. Has been. Simultaneously with the generation of the JPEG2000 file, as shown in FIG. 21, the tile background analysis unit 222 analyzes the tile background in order to check whether the tile is colored by the line marker. Here, for each tile from the tiling processing unit 204, the background is analyzed based on the color difference component information (for example, Cb, Cr) of the read image, and tile information of a portion processed by the line marker is generated. Here, the line marker color is determined to be the background from the histogram of the color data of the line marker determined in advance and the color difference data of the tile. Then, the analysis result is stored in the predetermined unit 224 of the memory. Thus, as shown in Table 1, data indicating the relationship between tiles and line marker colors is formed, and tile information of a portion to be secured is obtained for each transmission partner. According to the analysis result of Table 1, a red background is detected in tile 3, a yellow background is detected in tiles 101 to 102, and a blue background is detected in tiles 200 to 202. Table 2 shows the RGB value of the line marker color and the value after color space (YCbCr) conversion. Since the RGB values depend on the reading device, this table is only an example. Based on this value and the histogram result of each tile, it is possible to determine which line marker is used to color each tile.
[0036]
[Table 1]

[0037]
[Table 2]

[0038]
On the other hand, for image data, a JPEG2000 file is formed by a normal process independent of tile background detection, and a JPEG2000 file of image data colored with a line marker is generated by a bitstream generation unit 220 in a predetermined unit 226 of memory. Stored in The tile code data replacement unit 228 replaces the code data of the corresponding tile for each transmission partner on the JPEG2000 file based on the analysis result of the previous tile background detection. Thereby, the part colored with the line marker is hidden and output. These blocks 222 to 228 are software processing of the CPU 116 described later.
[0039]
FIG. 22 shows the structure of a JPEG2000 file when it is divided into tiles. The bit stream of the JPEG2000 file is composed of code data of tile 0, tile 1,..., Tile n following the SOC marker and the main header. Here, based on the tile background detection result, replacement target tile information and replacement data for each transmission partner are prepared. Then, the tile data (code data) after the SOC marker of the replacement target tile is replaced with replacement data prepared in advance. In the example of Table 3, the data for tile 0 is replaced. By performing this operation on the replacement target tile for each transmission partner, a JPEG2000 file for displaying an image as shown in FIG. 20 is generated. Further, at the time of transmission, preferably, code data common to a plurality of transmission destinations is sent to the plurality of transmission destinations at a time, and only different code data is sent to each transmission destination.
[0040]
Next, transmission data replacement processing by the CPU 116 will be described. Table 3 shows items set for the MFP 10 prior to document transmission. This item is set by the operation panel 110 of the MFP 10, the computer 14 connected via a network, or the like. In the table of Table 3, the portion painted with the marker color “red” is made invisible to the transmission partner “A”. This means that the corresponding part is made invisible with the replacement color “red”. Similarly, the portion painted with the marker color “yellow” is made invisible to the transmission partner “B”. At this time, the corresponding portion is made invisible with the replacement color “black”. The portion painted with the marker color “blue” is made invisible to the transmission partner “C”. At this time, the corresponding part is made invisible with the replacement color “blue”.
[0041]
[Table 3]

[0042]
FIG. 23 is a flowchart of a code replacement process (tile code data replacement unit 226) that performs data replacement. First, the result of the background analysis for each tile is read (S101), so that it can be used in the subsequent steps. Next, a plurality of transmission partners shown in the table of Table 3 are selected in order (S102), JPEG2000 data stored in the memory is read (S103), and the tiles corresponding to the transmission partners are read. A code substitution process is performed on the (S104). If it is determined that the code replacement process has been performed for all tiles (YES in S105), it is then determined whether the above-described series of processes has been performed for all set transmission partners (S106). If there is a transmission partner that has not been processed yet, the process returns to step S102 to set a new transmission partner and perform the subsequent processing. If the processing is completed for all transmission partners, the code replacement processing is terminated.
[0043]
FIG. 24 is a flowchart of the tile code replacement process (FIG. 23, S104). Tile data to be processed and its analysis result are prepared (S110), and prepared for the subsequent processing. It is determined from the tile analysis result whether the tile is a replacement target tile colored by a marker (S111). If it is not a replacement target tile, nothing is done and transmission processing is performed (S117). If it is a replacement target tile, it is further determined whether the tile is valid for the currently set transmission partner (S112). That is, if the transmission partner is set to “A”, it is determined whether or not the tile analysis result is “red”. If it is not valid for the current transmission partner, nothing is processed and transmission processing is performed (S117). If valid, the number of replacement colors set in the table of Table 3 is read (S113), branching to each replacement color, and the code data are replaced (S114 to S116). The replacement data is prepared by encoding a tile having a predetermined tile size and filled with a replacement color. By replacing with the replacement code data prepared in advance, the target tile can be replaced with a predetermined color. The replaced tile data is transmitted (S117). The image in FIG. 20 is the result of performing the above processing based on the table in Table 3.
[0044]
Next, JPEG2000 file transmission management in the third embodiment will be described. In the third embodiment, when a document is sent in JPEG 2000, data substitution or reduction is performed on a specific spatial position or other spatial position in a bit stream of transmission document data by a transmission partner. Thereby, security can be applied according to the spatial position in the document for each user. Here, when the MFP 10 sends a document read by the scanner 102 to a plurality of people, a specific portion of the document is partially made high in image quality (or low image quality) for each transmission partner, thereby improving the security of the document content. . Here, the data transmission amount is changed for each transmission partner for a plurality of areas in the document. That is, the image quality of the specific area is made different for each transmission partner. In this way, by changing the display image quality of a specific part in the document for each transmission destination, the transmission destination surely reads which part of the document should be focused on, and which part the transmission source reads reliably. You can know what you want to get. In addition, it is possible to apply security to a specific part in a document by extremely reducing the image quality. The replacement or reduction of data may be performed by changing code data at a specific spatial position set by the line marker, or by changing code data at other spatial positions.
[0045]
Note that the data transmission method for each transmission partner is set by a line marker, and the security type can be changed by the marker color. The MFP 10 reads the presence / absence and the value of the color component of the code data, and performs security setting and management in tile units. In the data display, the tile code for which security is set is replaced with a substitute code for a user who does not have browsing authority.
[0046]
The document shown in FIG. 25 is read by the scanner 102 of the MFP 10, and a JPEG2000 file of an image as shown in FIG. 26 is sent to a plurality of transmission partners. As in the second embodiment, the transmission document is colored with a line marker, and is related to a portion that the transmission partner wants to see. FIG. 27 shows an example of coloring by the line marker (portion indicated by hatching). A document colored with a line marker is read by a scanner 192 to generate a JPEG2000 file.
[0047]
The configuration of the encoding unit that generates the JPEG2000 file is the same as that of the encoding unit according to the second embodiment shown in FIG. The tile code data replacement unit 228 regenerates the JPEG2000 file stored in the memory for each transmission partner based on the background analysis result by the tile background analysis unit 222 in the encoding unit. FIG. 28 shows the structure of a JPEG2000 file when it is divided into tiles. In order to generate a JPEG2000 file that displays the part specified by the line marker for each transmission partner with high image quality and displays the other parts with reduced image quality, the amount of information is deleted from the tile background information obtained from the background analysis results. The target tile (tile 0 in the example of FIG. 28) is determined. The determined information amount reduction target tile is extracted from the JPEG2000 bitstream, and the code data is truncated from the tile data (code data) having a smaller degree of contribution to the image quality. It is possible to reduce the image quality after the restoration of the information amount reduction target tile by performing data truncation and then incorporating it into the bitstream again. By performing this operation on all the information amount reduction target tiles for each transmission partner, a JPEG2000 file that can be displayed for each transmission partner shown in FIG. 26 can be generated. At the time of transmission, preferably, code data common to a plurality of destinations is sent to a plurality of destinations at a time, and only different code data is sent to each destination.
[0048]
Here, an example of data truncation processing will be described. In the bit stream shown in FIG. 29, code data is collected for each tile, and the code data for each tile has scalability by layer. Here, the data in each tile is divided into layers 0 to 5. Here, the contribution degree to the image quality of layer 0 is the highest, and the contribution degree becomes smaller toward the layer 5. The decompressed image has the best image quality when all layers are used. When the code data is cut off, as shown in FIG. 30, the image quality can be lowered by using a part of the tile amount reduction target tile without using all layers of the tile data. In FIG. 29, tile 0 is a reduction target tile. Which layer is to be cut off is determined in advance, and the cutting process is performed according to this. In the example of FIG. 30, the data of layer 3 to layer 5 having a small contribution to the image quality is deleted.
[0049]
Further, in the above-described example, the code is cut off or not cut off, but the display image quality may be set in a plurality of stages. For example, according to a table like Table 4, a truncation level is set, and data truncation at a plurality of stages is performed according to the truncation level.
[0050]
[Table 4]

[0051]
In this way, by changing the display image quality of a specific part in the document for each transmission destination, the transmission destination surely reads what part of the document should be focused on, and what part the transmission source reads. You can know what you want to get. In addition, it is possible to apply security to a specific part in a document by extremely reducing the image quality.
[0052]
Next, document transmission will be described. The table in Table 5 shows items set for the MFP 10 prior to document transmission. This item is set by the operation panel of the MFP 10, the computer 14 connected to the network, or the like. In this table, it is set that the portion painted with the marker color “red” is sent to the transmission partner “A” with high image quality. Similarly, the part painted with the marker color “yellow” is set to send to the transmission partner “B” with high image quality, and the part painted with the marker color “blue” is high with respect to the transmission partner “C”. Set to send in quality.
[0053]
[Table 5]

[0054]
FIG. 31 is a flowchart of file generation (tile code data replacement unit 226) for each sender. The result of the background analysis for each tile is read (S200), and can be used in the processing after the next step. A plurality of transmission partners shown in the table of Table 5 are selected in order (S201). Next, for the selected transmission partner, JPEG2000 data stored in the memory is read (S202), and code amount reduction processing is performed for each tile on all tiles (S203 to S204). Next, if there is a transmission partner that has not yet been processed (NO in S205), the process returns to step S201 to set a new transmission partner and perform the same processing. If the processing is completed for all the set transmission partners, the code replacement processing is terminated.
[0055]
FIG. 32 is a flowchart of the code amount reduction process (FIG. 31, S203). First, tile data to be processed and an analysis result thereof are prepared (S230), and prepared for subsequent processing. It is determined from the tile analysis result whether the tile is colored by the marker (S301). If it has not been colored, nothing is done and the code data is cut off (S303). If the tile is colored, it is further determined whether the tile is valid for the currently set transmission partner (S302). That is, if the transmission partner is set to “A”, it is determined whether or not the tile analysis result is “red”. If it is valid for the current transmission partner, transmission processing is performed without any processing (S304). If it is not valid, a data truncation process is performed (S303), and then the processed data is transmitted (S304).
[0056]
In each of the above-described embodiments, the processing of the JPEG2000 file in the MFP has been described. However, an image processing apparatus having a JPEG2000 file codec function and a communication function can execute similar processing.
[0057]
【The invention's effect】
Data can be added according to the data loading status. Even when not all data of a saved document is loaded, the source and handling of the document can be clearly shown in the image.
The security of the document content is improved by making it impossible to read a specific part of the document for each transmission destination.
By making the specific part of the document partially high-quality for each sender, which part of the document the sender should focus on, and which part the sender wants to read reliably Can know.
[Brief description of the drawings]
FIG. 1 is a block diagram of a system for outputting an image file by an MFP.
FIG. 2 is a block diagram of the MFP.
FIG. 3 is a diagram showing JPEG2000 encoding in the JPEG2000 codec.
FIG. 4 is a diagram showing JPEG2000 decoding in the JPEG2000 codec.
FIG. 5 is a diagram for explaining subbands of code data obtained by three wavelet transforms.
FIG. 6 is a diagram of the structure of a bitstream of a JPEG2000 file with resolution scalability.
FIG. 7 is a diagram showing a change in the size of an image corresponding to the resolution.
FIG. 8 is a diagram illustrating a configuration of a bit stream of a JPEG2000 file when divided into tiles.
FIG. 9 is a diagram illustrating an example in which image quality is improved by receiving from a lower layer
FIG. 10 is a diagram showing the structure of a bit stream in which code data is arranged in units of tiles.
FIG. 11 is a diagram showing a situation when the data in FIG. 10 is decrypted.
FIG. 12 is a flowchart for decoding a JPEG2000 file having scalability.
FIG. 13 is a diagram showing replacement of a part of a code at a specific resolution;
FIG. 14 is a view showing an image obtained by replacing a part of a code at a specific resolution;
FIG. 15 is a diagram illustrating replacement of a part of a code in a specific layer
FIG. 16 is a diagram showing an image obtained by replacing a part of a code in a specific layer
FIG. 17 is a diagram illustrating embedding information at a specific position in an image having scalability according to position.
FIG. 18 is a diagram showing an image obtained by replacing a part of a code at a specific position;
FIG. 19 shows an example of an original document.
FIG. 20 is a diagram in which an area is specified by a line marker of a different color for each transmission partner.
FIG. 21 is a block diagram of an encoding unit.
FIG. 22 is a diagram of the structure of a JPEG2000 file when divided into tiles.
FIG. 23 is a flowchart of code replacement.
FIG. 24 is a flowchart of tile code replacement.
FIG. 25 shows an example of a document to be transmitted.
FIG. 26 is a diagram of an example of a document transmitted differently for each transmission destination
FIG. 27 shows an example of a document colored with line markers.
FIG. 28 is a diagram illustrating code amount reduction in encoding for each tile.
FIG. 29 is a diagram of a code data file structure having scalability according to image quality.
FIG. 30 is a diagram showing data reduction.
FIG. 31 is a flowchart of file generation for each sender.
FIG. 32 is a flowchart of code amount reduction.
[Explanation of symbols]
10 MFP, 108 operation panel, 110 communication device, 116 CPU, 126 JPEG2000 codec, 222 tile background analysis unit, 228 tile code data replacement unit.

Claims

Transmission means for transmitting a bit stream of hierarchical code data of a JPEG2000 file via a network;
Monitoring means for monitoring the transmission amount of the bit stream of the code data;
When the transmission amount of transmission data is equal to or higher than a predetermined management level, the code stream to be transmitted next in the bit stream comprises replacement means for replacing with other code data,
The transmission means is an image data transmission apparatus for transmitting a bit stream of code data replaced by a replacement means.

2. The image data transmitting apparatus according to claim 1, wherein the transmitting unit transmits the code data in a hierarchical manner with respect to at least one of resolution, image quality, and position.

The image data transmitting apparatus according to claim 1, wherein the other code data includes management information .

The image data transmitting apparatus according to claim 3, wherein the management information includes a character string .

Transmission means for transmitting a bit stream of hierarchical code data of a JPEG2000 file via a network;
Setting means for setting a specific spatial position by reading a document colored for each transmission destination ;
Changing means for changing the bitstream based on a specific spatial position in an image set for each transmission partner for the JPEG2000 file,
The image data transmitting apparatus, wherein the transmitting unit transmits the bit stream changed by the changing unit.

Said changing means according to claim 5, characterized in that in said bit stream comprising a data replacement means for replacing the encoded data of a particular spatial location, or other spatial position of the to a predetermined code Image data transmission device.

6. The image data transmission according to claim 5 , wherein the changing means includes data reduction means for reducing code data at the specific spatial position or other spatial positions in the bitstream. apparatus.