JP2010028205A - 画像処理装置、画像処理方法、そのプログラムおよび記憶媒体 - Google Patents

画像処理装置、画像処理方法、そのプログラムおよび記憶媒体 Download PDF

Info

Publication number
JP2010028205A
JP2010028205A JP2008183899A JP2008183899A JP2010028205A JP 2010028205 A JP2010028205 A JP 2010028205A JP 2008183899 A JP2008183899 A JP 2008183899A JP 2008183899 A JP2008183899 A JP 2008183899A JP 2010028205 A JP2010028205 A JP 2010028205A
Authority
JP
Japan
Prior art keywords
document
thumbnail
resolution
data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008183899A
Other languages
English (en)
Other versions
JP2010028205A5 (ja
JP5058904B2 (ja
Inventor
Yuji Sato
悠史 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2008183899A priority Critical patent/JP5058904B2/ja
Priority to US12/494,194 priority patent/US8255832B2/en
Publication of JP2010028205A publication Critical patent/JP2010028205A/ja
Publication of JP2010028205A5 publication Critical patent/JP2010028205A5/ja
Application granted granted Critical
Publication of JP5058904B2 publication Critical patent/JP5058904B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00795Reading arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00442Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00442Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails
    • H04N1/00445Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails arranged in a one dimensional array
    • H04N1/00448Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails arranged in a one dimensional array horizontally
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00442Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails
    • H04N1/00456Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails for layout preview, e.g. page layout
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00461Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet marking or otherwise tagging one or more displayed image, e.g. for selective reproduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00474Output means outputting a plurality of functional options, e.g. scan, copy or print
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00795Reading arrangements
    • H04N1/00798Circuits or arrangements for the control thereof, e.g. using a programmed control device or according to a measured quantity
    • H04N1/00801Circuits or arrangements for the control thereof, e.g. using a programmed control device or according to a measured quantity according to characteristics of the original
    • H04N1/00803Presence or absence of information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Facsimiles In General (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Record Information Processing For Printing (AREA)

Abstract

【課題】N−upされた紙文書をプレビューで閲覧する際に、プレビューでの視認性を向上するとともに、自動で1upドキュメント表示を可能とする。
【解決手段】入力されたドキュメントが、その1ページにN(N≧2)ページ分の原稿内容がまとめられているN−upドキュメントであるか否か判定する判定手段と、前記判定手段によりN−upドキュメントであると判定された場合に、前記Nページの各々のサムネイルである第1サムネイルを生成する第1サムネイル生成手段と、前記第1サムネイルをプレビュー表示する表示手段とを備える。
【選択図】図17

Description

本発明は、プレビュー機能を有する画像処理装置、画像処理方法、そのプログラムおよび記憶媒体に関する。
画像入力機器で入力したビットマップ画像を、画像入力機器の解像度に依存しない描画データに変換する技術が開発されている(例えば、特許文献1)。このようにビットマップ画像を解像度に依存しないデータに変換する処理は、ベクトル化またはベクタライズと呼ばれ、ベクトル化の結果得られるデータはベクタデータと呼ばれる。このようなベクトル化の技術において、ベクタデータ生成時に得られる副次情報は、実際には印刷処理されない付加情報として利用できる。この付加情報はメタデータとも呼ばれる。メタデータには様々な情報を付加することができるため、機能実行において必要となる情報をメタデータとして保持しておくことが考えられている。
また、ビットマップから領域分割を行う技術が開発されている。領域分割とは、入力されたビットマップ画像データを解析して、画像に含まれるオブジェクトの塊毎に領域に分割し、各領域の属性を判定して分類する処理である。この領域分割されたオブジェクトの塊毎に、上記メタデータを保持しておくことが考えられている。
また、画像入力機器から入力した画像を、画像出力機器内の二次記憶装置にファイルとして保存しておけば、ユーザが好きな時間に取り出して繰り返し出力することができる。このように再利用を目的として、画像出力装置の二次記憶装置に入力データをファイル形式で保存する機能はボックス機能と呼ばれ、このようなファイルシステムはボックスとも呼ばれている。
ボックス内のファイルは、前述したビットマップやベクタデータであるが、保存されているファイルが増えるとファイル名やサムネイルなどの一覧情報から目的のファイルを探し出すことが難しくなってくる。
そこで、ユーザが目的のファイルに含まれるキーワードを操作部から入力し、検索機能を使ってキーワードにマッチするファイルだけを一覧表示すればユーザの利便性が格段に向上する。
ボックス内のオブジェクトの検索を行う場合、ユーザが操作部からキーワードを入力し、キーワードに該当するメタデータを持ったオブジェクトが検出される。
ユーザは操作部にプレビュー表示された複数の検索結果の中から、該当するものを選択することになるが、このとき、選択された文書の中には視認性が低いページ領域が存在する場合がある。そうしたことから、選択された文書を出力する際に、1ページにレイアウトされた複数の画像データ中に視認性が低いページ領域が存在するかを判断する技術も開発されている。
特開2006―23942号公報 特開2007―174270号公報
ところで、上記プレビュー表示において、1枚の用紙にNページ分の原稿をまとめて縮小印刷した紙ドキュメントをスキャンして取り込み、ボックスに格納してあるそのデータ(N−upドキュメント)に対してプレビューを行う場合がある。この場合で、ユーザが検索を行い、N−upドキュメントのデータ内において、検索キーワードに該当するオブジェクトが検出されたとする。このとき、検出されたオブジェクトがN−upドキュメント内におけるNページ中の1ページにしか該当しない場合がある。
しかし、デバイス側ではスキャンされたN−upドキュメントの割付数Nを認識できないため、検索キーワードに合致するのは1ページしかないにもかかわらず、Nページ全てを表示してしまう。そのため、視認性が低下してしまい、さらに、必要のない余分な情報も表示してしまう可能性がある。
また、視認性を向上するために、プレビューを拡大する場合では、ユーザに手間を取らせてしまい、操作性が低下してしまうという問題がある。
同様に上記N−upドキュメントを印刷する際においても、視認性が悪いために、ユーザが、1−up(すなわち、割付数N=1)や任意の割付数に変更して印刷したいという要求に対処できていなかった。
本発明は、上記問題点を解決するためになされたものであり、N−upドキュメントのユーザの利便性を向上することを目的とする。
上述した課題を解決するために、本発明の第1の態様の画像処理装置は、入力されたドキュメントが、その1ページにN(N≧2)ページ分の原稿内容がまとめられているN−upドキュメントであるか否か判定する判定手段と、前記判定手段によりN−upドキュメントであると判定された場合に、前記Nページの各々のサムネイルである第1サムネイルを生成する第1サムネイル生成手段と、前記第1サムネイルをプレビュー表示する表示手段とを備えることを特徴とする。
また、本発明の第2の態様の画像処理装置は、ページ記述言語によるデータを受信する受信手段と、前記受信手段が受信したデータを解析する解析手段と、前記解析手段により解析され得られるドキュメントの画像データの、少なくとも一部の領域を解像度に依存しない解像度非依存描画データに変換する第1変換手段と、前記解像度非依存描画データを生成する際に得られる副次情報を、印刷処理されない付加情報としてメタデータに変換する第2変換手段と、前記解像度非依存描画データからビットマップへの描画展開に用いる中間コードである解像度依存描画データに変換する第3変換手段と、前記解像度非依存描画データ、前記メタデータ、および前記解像度依存描画データを関連付けて保持する保持手段と、前記画像データに対して領域分割処理を行い、当該ドキュメントに含まれるオブジェクトを検出する領域分割手段と、前記領域分割処理の結果から、当該ドキュメントが、ドキュメントの1ページにN(N≧2)ページ分の原稿内容がまとめられたN−upドキュメントであるか否か判定する判定手段と、割り付け印刷に関する情報である割り付け印刷情報を前記メタデータとして保持する手段と、前記解像度非依存描画データ、前記メタデータ、および前記解像度依存描画データが関連付けられたデータをハードディスクに格納する手段と、前記解像度非依存描画データを用いて、画像の拡縮を行い、前記Nページの原稿内容の各々のサムネイルである第1サムネイルおよび前記Nページ分の原稿内容がまとめられた前記ドキュメントのサムネイルである第2サムネイルを生成する手段と、生成された前記第1サムネイルまたは第2サムネイルをプレビュー表示する表示手段と、前記ドキュメントに含まれるNページ分の原稿内容のページ順を前記検出されたオブジェクトから判別する手段と、前記判別されたページ順を基にドキュメントの印刷を行う印刷手段とを備えることを特徴とする。
また、本発明の第3の態様の画像処理方法は、入力されたドキュメントが、その1ページにN(N≧2)ページ分の原稿内容がまとめられているN−upドキュメントであるか否か判定する判定ステップと、前記判定ステップにおいてN−upドキュメントであると判定された場合に、前記Nページの原稿内容の各々のサムネイルである第1サムネイルを生成する第1サムネイル生成ステップと、前記第1サムネイルを表示画面にプレビュー表示する表示ステップとをコンピュータが実施することを特徴とする。
また、上記画像処理方法における諸ステップは、各種画像処理装置または情報処理装置に備わるコンピュータに実行させるためのプログラムとして構成することができる。そして、このプログラムを前記コンピュータに読み込ませることにより当該画像処理方法をコンピュータに実行させることができる。また、このプログラムは、このプログラムを記録したコンピュータ読み取り可能な記憶媒体を介して前記コンピュータに読み込ませることができる。
本発明によれば、N−upされた紙ドキュメントのスキャンデータに対して、1ページの範囲を自動抽出しそのサムネイルを生成することにより、プレビュー時に1upドキュメントの状態で表示可能となる。それにより、プレビューでの視認性が向上するとともに、自動での1upドキュメント表示が可能となるため、操作性が向上する。
また、印刷時においても、N−upされた紙ドキュメントを任意の割付数に変更し、画質の劣化がなく印刷することができる。
以下、本発明を実施するための最良の形態について、図面を参照して説明する。
[実施形態1]
<画像処理装置の構成>
はじめに、本発明の第1実施形態を適用するに好適な1Dカラー系MFP(Multi FuNctioN Peripheral:マルチファンクション周辺機器)の構成について、図1を用いて説明する。
1Dカラー系MFPは、スキャナ部101、レーザ露光部102、感光ドラムを備える作像部103、定着部104、給紙/搬送部105及び、これらを制御する不図示のプリンタ制御部から構成される。
スキャナ部101は、原稿台に置かれた原稿に対して、照明を当てて原稿画像を光学的に読み取り、その像を電気信号の画像データに変換する手段である。
レーザ露光部102は、画像データに応じて変調されたレーザ光などの光線を等角速度で回転する回転多面鏡(ポリゴンミラー)に入射させ、その反射走査光として感光ドラムに照射する。
作像部103は、感光ドラムを回転駆動するとともに、帯電器によってこれを帯電させる。そして、レーザ露光部102によって感光ドラム上に形成された潜像をトナーによって現像化し、そのトナー像をシートに転写する。その際に転写されずに感光ドラム上に残った微小トナーを回収するといった一連の電子写真プロセスを実行して作像する。その際、シートが転写ベルトの所定位置に巻きつき、4回転する間に、マゼンタ(M)、シアン(C)、イエロー(Y)、ブラック(K)のトナーを持つそれぞれの現像ユニット(現像ステーション)が入れ替わりで順次電子写真プロセスを繰り返し実行する。4回転の後、4色のフルカラートナー像を転写されたシートは、転写ドラムを離れ、定着部104へ搬送される。
定着部104は、ローラやベルトの組み合わせによって構成され、ハロゲンヒータなどの熱源を内蔵し、作像部103によってトナー像が転写されたシート上のトナーを、熱と圧力によって溶解、定着させる。
給紙/搬送部105は、シートカセットやペーパーデッキに代表されるシート収納庫を一つ以上持っており、不図示のプリンタ制御部の指示に応じてシート収納庫に収納された複数のシートの中から一枚分離し、作像部103そして定着部104へと搬送する。シートは作像部103の転写ドラムに巻きつけられ、4回転した後に定着部104へ搬送される。そして前述のように4回転する間にYMCK各色のトナー像がシートに転写される。また、シートの両面に画像形成する場合は、定着部104を通過したシートを再度、作像部103へ搬送する搬送経路を通るように制御する。
プリンタ制御部は、MFP全体を制御するMFP制御部(不図示)と通信して、その指示に応じて制御を実行する。また、それと共に、前述のスキャナ部101、レーザ露光部102、作像部103、定着部104、給紙/搬送部105の各部の状態を管理しながら、全体が調和を保って円滑に動作できるよう指示を行う。
<コントローラユニットの構成>
次に、本実施形態におけるMFPのコントローラユニットの構成について、図2を参照して説明する。
図2は、本実施形態におけるMFPのコントロールユニット(コントローラ)の一構成例を示すブロック図である。
図2において、コントロールユニット200は、画像入力デバイスであるスキャナ201や画像出力デバイスであるプリンタエンジン202と接続され、画像データの読み取りやプリント出力のための制御を行う。また、コントロールユニット200は、LAN10や公衆回線204と接続することで、画像情報やデバイス情報を、LAN10や公衆回線204経由で入出力するための制御を行う。
CPU205は、MFP全体を制御するための中央処理装置である。RAM206は、CPU205が動作するためのシステムワークメモリであり、入力された画像データを一時記憶するための画像メモリでもある。また、ROM207はブートROMであり、システムのブートプログラムが格納されている。HDD208はハードディスクドライブであり、各種処理のためのシステムソフトウェア及び入力された画像データ等を格納する。
操作部I/F209は、画像データ等を表示可能な表示画面を有する操作部210に対するインターフェース部であり、操作部210に対して操作画面データを出力する。また、操作部I/F209は、操作部210からユーザが入力した情報をCPU205に伝える役割をする。
ネットワークインターフェース211は、例えばLANカード等で実現され、LAN10に接続して外部装置との間で情報の入出力を行う。また、モデム212は公衆回線204に接続し、外部装置との間で情報の入出力を行う。
以上のユニットがシステムバス213上に配置されている。
イメージバスI/F214は、システムバス213と画像データを高速で転送する画像バス215とを接続するためのインターフェースであり、データ構造を変換するバスブリッジである。画像バス215上には、ラスタイメージプロセッサ(RIP)216、デバイスI/F217、スキャナ画像処理部218、プリンタ画像処理部219、画像編集用画像処理部220、カラーマネージメントモジュール(CMM)230が接続される。
ラスタイメージプロセッサ(RIP)216は、ページ記述言語(PDL)コードや後述するベクトルデータをビットマップイメージ(画像データ)に展開する。デバイスI/F部217は、スキャナ201やプリンタエンジン202とコントロールユニット200とを接続し、画像データの同期系/非同期系の変換を行うインターフェースである。
また、スキャナ画像処理部218は、スキャナ201から入力した画像データに対して、補正、加工、編集等の各種処理を行う。プリンタ画像処理部219は、プリント出力する画像データに対して、プリンタエンジンに応じた補正や、解像度変換等の処理を行う。画像編集用画像処理部220は、画像データの回転や、画像データの圧縮伸長処理等の各種画像処理を行う。CMM230は、画像データに対して、プロファイルやキャリブレーションデータに基づいた色変換処理(色空間変換処理ともいう)を施す専用ハードウェアモジュールである。なお、プロファイルとは、機器に依存した色空間で表現したカラー画像データを機器に依存しない色空間(例えばLabなど)に変換するための関数のような情報である。また、キャリブレーションデータとは、カラー複合機(MFP)におけるスキャナ201やプリンタエンジン202の色再現特性を修正するためのデータである。
<コントローラソフトウェア構成>
次に、MFPの動作を制御するコントローラソフトウェアの構成について、図3を参照し説明する。
図3は、MFPの動作を制御するコントローラソフトウェアの構成を示すブロック図である。なお、図3では、コントローラソフトウェアの制御対象も、その一部を図示している。
ネットワークI/F320は、ネットワークを介した外部機器との情報の入出力を司るインターフェースである。
プロトコル制御部311は、ネットワークプロトコルを解析し、送受信を制御することによって外部との通信を司るコンポーネントである。
ベクタデータ生成部312は、ビットマップイメージから解像度に依存しない描画記述であるベクタデータを生成(ベクタライズ)するコンポーネントである(第1変換手段)。
メタデータ生成部313は、ベクタデータ生成部312によるベクタライズの過程で得られる副次情報をメタデータとして生成するコンポーネントである(第2変換手段)。このメタデータとは描画処理には必要のない付加的なデータである。また、使用頻度の低いメタデータを選択し、選択された使用頻度の低いメタデータを削除する。
PDL解析部314は、PDLコードを解析し、より処理しやすい形式の中間コード(Display List)に変換するコンポーネントである(第3変換手段)。このPDL解析部314において生成された中間コードは、データ描画部315に渡されて処理される。
データ描画部315は、上記中間コードをビットマップデータに展開するコンポーネントであり、展開されたビットマップデータはページメモリ316に逐次描画されて行く。
ページメモリ316は、レンダラであるデータ描画部315が展開するビットマップデータを一次的に保持する揮発性のメモリである。
パネル入出力制御部360は、当該MFPに備わる操作パネルからの入出力を制御するコンポーネントである。
ドキュメント記憶部370は、入力ドキュメントのジョブ単位に、ベクタデータ、Display List、およびメタデータを包含するデータファイルを記憶する手段であり、ハードディスク等の二次記憶装置によって実現される。なお、このデータファイルを本実施形態では「ドキュメント(またはDocument)」と呼ぶ。
スキャン制御部350は、スキャナから入力した画像データに対して、補正、加工、編集などの各種処理を行うコンポーネントである。
印刷制御部330は、ページメモリ316の画像データをビデオ信号に変換し、プリンタエンジン部340へ送る。
プリンタエンジン部340は、受け取ったビデオ信号を記録紙に永久可視画像を形成するための印刷機構部である。
<コントローラユニットのデータ処理>
次に、ドキュメントを構成するベクタデータ、DL(Display List)、メタデータがどのように生成されるのかを説明する。
図4、図5、図6は本実施形態におけるコントロールユニットにおけるデータフローを示している。
図4はコピー動作時のデータフローである。
図4に示すように、まずスキャナ部にセットされた紙原稿はスキャン処理d1によってビットマップデータに変換される。
次にベクタライズ処理d2とメタデータ生成処理d4によってビットマップデータからそれぞれ解像度に依存しないベクタデータとそれに付随するメタデータが生成される。ベクタデータ、メタデータの具体な生成方法については後述する。
次にドキュメント生成処理d3によってベクタデータとメタデータが関連付けられたドキュメントが生成される。
次にDL生成処理d5によりドキュメント中のベクタデータからDLが生成され、生成されたDLはドキュメントの中に格納されると共にレンダリング処理d7に送られてビットマップに展開される。
展開されたビットマップは印刷処理d8によって紙媒体に記録されて印刷物となる。なお、出力された印刷物を再度スキャナ部にセットすればスキャンd1処理からの処理を行うことができる。
図5は、図4で示したメタデータ生成処理d4の具体的なデータフローを示している。 図5に示すように、まず領域分割処理d1にてビットマップから領域分割を行う。領域分割とは、入力されたビットマップ画像データを解析して、画像に含まれるオブジェクトの塊毎に領域に分割し、各領域の属性を判定して分類する処理である。属性としては、文字(TEXT)、画像(PHOTO)、線(LINE)、図形(PICTURE)、表(TABLE)等の種類がある。
ここで図7に、入力画像に対して領域分割を行った場合の一例を示す。
入力画像71に対して領域分割を行った結果が判定結果72である。判定結果72で、点線で囲った部分が画像を解析した結果のオブジェクトの1単位を表しており、各オブジェクトの配置もわかる。また、各オブジェクトに対して付されている属性の種類が、領域分割による各オブジェクトの属性の判定結果である。
属性毎に分類された領域の中から文字属性の領域はOCR処理d2により文字認識処理され、文字列に変換される。つまり、この文字列は紙面に印字されている文字列である。
一方、属性毎に分類された領域の中から画像属性の領域は画像情報抽出処理d3を通して画像情報に変換される。画像情報とは画像の特徴を現す文字列であり、例えば「花」や「顔」といった文字列である。画像情報の抽出には、画像を構成するピクセルの周波数や濃度などの画像特徴量の検出や顔認識などの一般的な画像処理技術を用いることができる。領域分割処理によって、以上のような領域分割情報を得ることができる。
上記のように生成された文字列と画像情報は付加情報としてフォーマット変換処理d4によって後述するデータフォーマットに整えられてメタデータが生成される。また、オブジェクト自体に関する情報は、後述のようにベクタデータに含められる。
図6はPDL(Page Description Language)プリント時のデータフローである。
PDLプリントとはPC(Personal Computer)上のアプリケーションソフトから印刷を指示した場合に、PC上のプリンタドライバによって生成されたページ記述言語(PDL)コードを受け取って出力する、プリンタ動作のことである。
図6に示すように、まず受信したPDLコードはPDLデータ解析処理d1によって解析され、ベクタデータが生成される。
次にDL生成処理d2によりベクタデータからDLが生成され、生成されたDLはドキュメントの中に格納されると共にレンダリング処理d3に送られてビットマップに展開される。展開されたビットマップは印刷処理d4によって紙媒体に記録されて印刷物となる。
この過程で生成されるベクタデータ、DLはドキュメント生成処理d6によってドキュメントに格納される。
さらに、レンダリング処理d3が生成したビットマップからは図5で説明したメタデータ生成処理d5により、コピー動作時と同様に文字列や画像情報がメタデータとして生成され、ドキュメントに格納される。
また、PDLにはLIPS(LBP Image Processing System)やPS(PostScript)など様々な種類が存在するが、PDLによっては文字列情報を持っているものもある。この場合はPDL解析時に文字列からメタデータが生成され、ドキュメントに格納される。
<イメージからのドキュメント生成処理と印刷処理>
次に、イメージからのドキュメント生成処理と印刷処理について、図8のフローチャートを参照して説明する。
図8はドキュメント生成処理を示している。この処理はビットマップデータ(イメージ)を受けてベクタデータ、DL、メタデータで構成されるドキュメントを生成する処理である。
まずステップS801で前述した領域分割処理を行う。
次に、ステップS802において、領域の種別(属性)をTEXT、GRAPHIC、IMAGEに分類し、それぞれに対して別々の処理を行う。図7では属性をTEXT、PHOTO、LINE、PICTURE、TABLEに分類した例を示したが、図7に示した属性のPHOTO、PICTUREはIMAGEとして、LINE、TABLEはGRAPHICとして分類される。
領域属性がTEXTの場合は、ステップS803に進んでOCR処理を行った後、ステップS804において文字列の抽出を行う。その後、ステップS805において文字列をメタデータに変換し、ステップS806に進んで認識した文字輪郭をベクタデータに変換する。
ここで、もう少し説明を加える。
文字列から生成されるメタデータは文字コードの羅列であるが、文字コードの羅列はキーワード検索に必要な情報である。
しかし、OCR処理で文字コードを認識できても「明朝」「ゴシック」といった書体や「10pt」「12pt」といった文字のサイズ、「イタリック」「ボールド」といった文字修飾までは認識できない。したがって描画用には文字コードを用いるのではなく文字輪郭をベクタデータとして保持する必要がある。
一方、ステップS802の領域種別の判定において領域属性がIMAGEである場合は、ステップS807に進んで画像情報抽出処理を行う。
ステップS807では前述したように、画像特徴量検出や顔認識などの一般的な画像処理技術を用いて画像の特徴を検知する。
次にステップS808に進んで検知した画像の特徴を文字列に変換する。この変換は特徴パラメータと文字列のテーブルを保持しておけば容易である。
その後、ステップS809において上記文字列をメタデータへ変換する。IMAGEの領域属性に対してはイメージデータのベクトル化は行わず、イメージデータをそのままベクタデータに保持する。
ステップS802において領域属性がGRAPHICである場合は、ステップS810に進んでベクトル化処理を行う。
続いて、ドキュメント印刷処理について、図9を参照し説明する。
図9はドキュメント印刷処理を示している。この処理は生成されたドキュメントを印刷出力する処理である。
まずステップS901でドキュメントデータを受け取り、ステップS902においてドキュメント中のベクタデータからDLを生成する。
次にステップS903において、生成されたDLをドキュメントに追加し、ステップS904でDLをビットマップにレンダリングする。
最後にステップS905において紙媒体への印刷処理を行うと処理を終了する。
<PDLコードからのドキュメント生成および印刷処理>
次に、PDLコードからのドキュメント生成処理と印刷処理について、図10を参照し説明する。
図10はPDLコードからのドキュメント生成および印刷処理を示している。この処理はPDLコードを受けてドキュメントを生成し、印刷出力する処理である。
まずステップS1001でPDLコードを解析する。そして、解析の際、文字列情報などのメタデータがPDLコードに包含されていたらステップS1009に進んでPDLコードに含まれている情報をメタデータに追加する。
一方、ステップS1002において文字列情報などのメタデータ以外のデータについてはステップS1003に進んでベクタデータに変換する。その後、ステップS1004に進んでドキュメントフォーマットに変換しドキュメントを生成する。
次にステップS1005においてDLを生成し、ステップS1006に進んで生成したDLをドキュメントに追加する。
ここまでのフローでドキュメントが生成されるが、その後ステップS1007でのDLに対するレンダリング処理、ステップS1008での紙媒体への印刷処理を行うと全ての処理を終了する。
<ドキュメントデータ構造>
次に、ドキュメントの構造について、図11、12、13を参照し説明する。
図11はドキュメントのデータ構造を示している。
図11に示すように、ドキュメントは複数ページからなるデータであり、大きく分けるとベクタデータ(a)、メタデータ(b)、およびDL(c)で構成されており、ドキュメントヘッダ(x1)を先頭とする階層構造となっている。
ベクタデータ(a)はさらに、ページヘッダ(x2)、サマリ情報(x3)、オブジェクト(x4)で構成される。メタデータ(b)はさらに、ページ情報(x5)と詳細情報(x6)で構成されている。DL(c)はさらに、ページヘッダ(x7)と描画展開用のインストラクション(x8)から構成される。ドキュメントヘッダ(x1)にはベクタデータの格納場所とDLの格納場所が記述されているためベクタデータとDLはドキュメントヘッダ(x1)によって関連付けられている。
ベクタデータ(a)は解像度非依存描画データであるので、ページヘッダ(x2)にはページの大きさや向きなどのレイアウト情報が記述される。オブジェクト(x4)にはライン、多角形、ベジェ曲線などの描画データが一つずつリンクされており、複数のオブジェクトがまとめてサマリ情報(x3)に関連付けられている。サマリ情報(x3)は複数のオブジェクトの特徴をまとめて表現するものであり、図7で説明した分割領域の属性情報などが記述される。
メタデータ(b)は描画処理には関係しない付加情報である。ページ情報(x5)領域には、例えばメタデータがビットマップデータから生成されたものなのか、PDLコードから生成されたものなのか、などのページ情報が含まれる。
詳細情報(x6)にはOCR情報や画像情報として生成された文字列(文字コード列)が記述される。
また、ベクタデータ(a)のサマリ情報(x3)からはメタデータが参照されており、サマリ情報(x3)から詳細情報(x6)を見つけることができる。
DL(c)はレンダラがビットマップ展開するための中間コードである。ページヘッダ(x7)にはページ内の描画情報(インストラクション)の管理テーブルなどが記述され、インストラクション(x8)は解像度依存描画データで構成されている。
続いて、図11で説明したデータ構造がメモリ上、ファイル上にどう配置されるのか、図12を参照し説明する。
図12は図11で説明したデータ構造がメモリ上、ファイル上にどう配置されるのかを示す図である。
同図(A)に示すように、ドキュメントは、ベクタデータ領域、メタデータ領域、DL領域がメモリ上の任意のアドレスに配置される。
また、同図(B)に示すように、ドキュメントは、ベクタデータ領域、メタデータ領域、DL領域が、一つのファイルにシリアライズされる。
続いて、ドキュメントデータの具体例を、図13を参照し説明する。
図13はドキュメントデータの具体例である。
1ページ目のサマリ情報に、属性情報「TEXT」と「IMAGE」を持っている。「TEXT」のサマリ情報にはH,e,l,l,o(オブジェクトt1)とW,o,r,l,d(オブジェクトt2)の文字輪郭がベクタデータとしてリンクされている。
さらにサマリ情報からは「Hello」「World」という文字コード列(メタデータmt)が参照されている。
また、「IMAGE」のサマリ情報には蝶の写真画像(JPEGデータ)がリンクされている。さらにサマリ情報からは「butterfly」という画像情報(メタデータmi)が参照されている。
したがって、例えば「World」というキーワードでページ中のテキストを検索する場合は以下の手順で検出すればよい。
まずドキュメントヘッダからベクタデータを順次取得する。そして、ページヘッダにリンクされているサマリ情報から「TEXT」にリンクされているメタデータを検索するとよい。
<プレビュー処理>
次に、本実施形態におけるプレビュー処理について、図14〜16を参照し説明する。 図14〜16は、プレビューをする場合における操作部の画面例を示す図である。
プレビュー処理とは、例えば、PDLやスキャンによってMFPに入力されたドキュメントをボックスに保存しておき、ボックス内を閲覧する際にサムネイルを操作部に表示する処理である。また、ボックス内のドキュメントのオブジェクトにメタデータをつけることにより、検索ワードの入力により、そのワードに対応するメタデータを持つオブジェクトを検出することができる。これにより、ユーザは、探したい対象に係わるテキストを入力することで該当する画像のオブジェクトを検出することが可能となる。
図14はユーザが、プレビューをする場合における操作部の画面の一例である。 図14の1401はプレビューを行うために操作部に表示される画面であり、ユーザがボックス検索ボタン1402を押した時に表示される。
ユーザは1403のフィールドに検索ワードを入力すると、その検索ワードに該当するオブジェクトを含むドキュメントが1404の領域に表示される。ここで、1405は2−upのドキュメントであり、1406は1−upのドキュメントである。
続いて、図15はユーザが、予め「自動1−upプレビュー」設定をした場合における操作部の画面の一例である。
図15の1501は、図14と同様にプレビューを行うために操作部に表示される画面であり、ユーザがボックス検索ボタン1502を押した時に表示される。
ユーザは1503のフィールドに検索ワードを入力すると、その検索ワードに該当するオブジェクトを含むドキュメントが1504の領域に表示される。本実施形態におけるプレビュー処理においては、ユーザが予め「自動1−upプレビュー」設定を行った場合、1504のように表示される。図14の1405のようにN−upされているドキュメントに対し、1505のように検索によって検出されたオブジェクトを含むページのみが1−upのドキュメントのように表示される。なお、本明細書においては、1ページのドキュメントにNページ分の原稿内容が割り付けられることを「N−upされた」または「N−upの」または「N−up…」と形容する。また、N−upされたドキュメントを「N−upドキュメント」または「N−upのドキュメント」と称するものとする。
一方、ユーザが元のN−upの状態で表示したい場合は、1507「元文書を表示」ボタンを押すと元の図14の1405のようなN−up表示になる。また、1506のような元から1−upのドキュメントは図14と同様に表示される。
続いて、検索時に検出されたオブジェクトがN−upドキュメントの同一ページ内において2ページ以上に該当する場合を図16を用いて説明する。
図14に示したものと同様に、1601はプレビューを行うために操作部に表示される画面であり、ユーザがボックス検索ボタン1602を押した時に表示される。
ユーザは1603のフィールドに検索ワードを入力すると、その検索ワードに該当するオブジェクトを含むドキュメントが1604の領域に表示される。ここで、N−upドキュメントの同一ページ内に2ページ以上にわたり該当するオブジェクトが存在する場合、1605のように表示される。1608がスクロールバーになっており、スクロールボタンを左右に操作することによって、1609の表示内容が左右に動き、該当するページを1−upドキュメントとしてスクロール表示することができる。もちろん、N−upドキュメントに割り付けられたすべてのページをスクロール表示するようにしてもよい。また、1607の「元文書を表示」ボタンの押下によって元のN−upされた状態を閲覧することもできる。また、1606のように元から1−upのドキュメントは図14と同様に表示される。
<紙ドキュメントをスキャンした際のドキュメント生成処理>
次に、紙ドキュメントをスキャンした際のドキュメント生成処理について、図17のフローチャートを用いて説明する。
図17は紙ドキュメントをスキャンした際のドキュメント生成処理を示している。この処理は紙ドキュメントに対しN−up判定(N−upドキュメントであるか否かの判定)を行い、割り付け印刷情報であるN−up情報(N−up数、すなわちN(≧2)と、領域分割情報)を付加したドキュメントを生成する処理である。
まずステップS1701で、ユーザは応用モードを選択することで、N−up情報の入力を行う。この応用モードで入力されたN−up情報はステップS1702においてデバイスのメモリに格納される。
次に、ステップS1703において紙ドキュメント(原稿)のスキャンを行い、ステップS1704において図11を用いて説明したベクタデータ、メタデータ、ディスプレイリストを保持しているドキュメントを生成する。
次にステップS1705ではスキャン時に応用モードによってユーザがN−up情報を入力した場合など、N−up情報がある場合はステップS1713に進み、N−up情報がない場合ステップS1706に進む。
次にステップS1706では、ステップS1704で生成したドキュメントのメタデータに格納された情報から同一ドキュメントがデバイスハードディスク内や、ネットワークで接続されたデバイスによって保存されていないかの検索を行う。その結果、同一ドキュメントが見つかり、N−up情報が保存されている場合はステップS1713に進む。一方、N−up情報が保存されていない場合はステップS1707に進む。
ステップS1707〜ステップS1712ではN−up情報を得るために、前述の図11に示すように生成されたドキュメントに含まれる情報を基にN−up数を判定する。
ステップS1707では、ドキュメントの1ページ目を抽出する。
次いで、ステップS1708において、判定するページが残っているかを判定し、最終ページまで全て判定をした場合はステップS1713に進む。
ステップS1709では、領域分割処理によって分割されたドキュメントのレイアウトが均等分割されているかを判断する。均等分割とは、N−upドキュメントではドキュメント内の領域が均等にわかれるため、均等でないものはN−upドキュメントではないことがわかる。同一ページ内が均等に分割されたものとなっている場合はステップS1710に進む。一方、そうでない場合はステップS1713に進む。
ステップS1710では、同一ページ内の均等に分割された領域毎に同様のオブジェクトがあるかを判定する。ここでは、ページ番号や図のフレームなどの同様のオブジェクトを持つ場合をN−upドキュメントであると判定する。同様のオブジェクトが存在しない場合ステップS1711において次のページに進め、ステップS1708に戻る。なお、領域が均等に分割されている場合においても、同様のオブジェクトが見つからない場合は次のページに進める。同一ページに同様のオブジェクトが存在した場合にステップS1712に進む。
ステップS1712では、ステップS1707〜ステップS1711の結果からN−up数を判定する。N−up判定は領域分割数、同様のオブジェクト数をN−up数とする。ステップS1712において、N−up数を判定し、ステップS1713に進む。
ステップS1713では、ステップS1712で判定されたN−up数を含むN−up情報、または、ステップS1705、ステップS1706の判定後得られるN−up情報をメタデータとして格納する。ステップS1708、ステップS1709からステップS1713に進んだ場合は、N−up情報として割付印刷がされていないことを示す情報を格納する。
ステップS1714では、メタデータに格納されたN−up情報が2−up以上を示す場合、つまり割付印刷がされている場合、ステップS1715に処理を進める。
ステップS1715では、N−upドキュメントから、メタデータに格納されているN−up情報であるN−up数と領域分割情報を基に、図15、16に示した1−upドキュメントとしてのプレビュー用のサムネイルを生成する(第1サムネイル生成)。そして、ステップS1716に進む。
一方、ステップS1714でメタデータのN−up情報から割付印刷がされていないと判断された場合は、ステップS1716に進む。
ステップS1716では、元のドキュメント(N−upドキュメント)どおりのプレビュー用サムネイルを生成する(第2サムネイル生成)。そして、ドキュメントをボックスに格納して終了する。
<ボックス内検索の際のプレビュー処理>
次に、ボックス内検索の際のプレビュー処理について図18のフローチャートを用いて説明する。
図18は、ボックス内検索時のプレビュー処理を説明するフローチャートである。
ここでは、ユーザがボックス内にある複数のドキュメントから検索を行うとする。
はじめに、ステップS1801でユーザはMFPの操作部からボックス検索モードを選択し、検索ワードを入力する。
ステップS1802では、例えば操作部に「butterfly」とユーザが入力すると、「butterfly」のメタデータを持ったオブジェクトが検出される。このようにしてユーザが検索を実行すると、検索ワードに関連したオブジェクトが検出され、そのオブジェクトを含むドキュメントが検出される。
次に、これらの検出されたオブジェクトを含むドキュメントのプレビュー処理を行う。 ステップS1803では、デバイス設定として、「自動1−upプレビュー」が設定されている場合はステップS1804に進み、「自動1upプレビュー」が設定されていない場合はステップS1808に進む。
ステップS1804では、検出されたオブジェクトが含まれているドキュメントのメタデータにN−up情報があるかを検出する。このときN−up情報が無いか、またはN−up数が1−upの場合はステップS1808に進む。一方、検出されたオブジェクトが含まれているドキュメントのメタデータに、N−up数が2−up以上のN−up情報がある場合、ステップS1805に進み、そのドキュメントが保持している前述の1−up状態に変換したサムネイルをプレビューに表示する。
次に、元がN−upのドキュメントを1−upで表示しているドキュメントを、ユーザが元のN−up状態で閲覧したい場合は、次のように処理する。
ここで、ステップS1705で1−upとしてプレビュー表示されたドキュメントに対し、ユーザが操作部から元のN−up状態で閲覧することを指定したとする。その場合、ステップS1806からステップS1807へと処理が進み、ステップS1807において元のN−up状態でのサムネイルを表示する。
ところで、ステップS1803において「自動1−upプレビュー」が設定されていない場合と、「自動1−upプレビュー」が設定されているが、N−up情報が無い、または割り付け印刷がされていないドキュメントの場合は、ステップS1808に進む。ステップS1808では元のままのサムネイルを表示する。
<N−upドキュメントの印刷処理>
次に、N−upドキュメントの印刷処理について、図19のフローチャートを用いて説明する。
図19は、N−upドキュメントの印刷処理を説明するフローチャートである。
はじめに、ステップS1901においてユーザがMFPの操作部に表示されたサムネイルから印刷するドキュメントを選択する。
ステップS1902の判定で、ステップS1901で選択されたドキュメントのメタデータにN−up情報、レイアウト情報が保持されている場合、ステップS1903に進み、保持されていない場合、ステップS1911に進む。
次いで、ステップS1903においてN−up数を変更するか否かを操作部からユーザに問合せ、変更するが指定された場合はステップS1904に進み、変更をしないが指定された場合はステップS1911に進む。
ステップS1911は、N−upドキュメントでないドキュメントやN−up数が判別できなかったドキュメントに対して、また、N−up変換の指定がされない場合にその処理が行われる。これらの場合は、元のままのドキュメントを、ユーザが印刷設定を指定して、印刷を行うことができる。
一方、ステップS1903においてユーザがN−up数を変更して印刷したい場合で変更が指定された場合は、ステップS1904においてユーザにN−up数を操作部から設定してもらう。
次いで、ステップS1905において、PDLコードからのデータなどであらかじめページ順番情報を保持している場合はステップS1909に進む。一方、持っていない場合はステップS1906に進む。
次にステップS1906〜ステップS1908において印刷のページ順を判定する。元のN−upドキュメントにおいて、ページ情報が含まれていないときに、N−upドキュメントの同一ページに含まれている各ページが、事前定義された方向であるN方向の順で印刷されているか、またはZ方向の順で印刷されているかなどは不明である。そのため、N−upドキュメントを1−upドキュメントに変換する際に、本来のページの配置順に並ばなくなってしまう。従って、ステップS1906〜ステップS1908において印刷のページ順を判定する必要がある。
ステップS1906においてドキュメント内にページ数が存在するか、また、標題番号があるかを検出する。その番号に従って、N方向に印刷されていたものか、Z方向に印刷されていたものかを判定する。この判定結果に対し、ステップS1907において、操作部に判定結果のページ順番を表示し、ユーザに正しいかを判定してもらう。もし正しい場合はステップS1909に進む。
ステップS1906において、ドキュメント内のページ数や標題番号など、ページ順を判別できる情報がない場合と、ステップS1907において自動判定したページ順をユーザが訂正すると指定した場合はステップS1908に進む。
ステップS1908では、ユーザはドキュメントのページ配置順が、N方向か、Z方向かを操作部のUIに従って入力する。
次いで、ステップS1909において、ユーザは印刷設定を行う。
ステップS1910では、ユーザはN−upを自由に指定することができる。例えば、元のドキュメントが4−upであった場合でも、2−upに変更できる。これは元のドキュメントが4−upであるとき、N−up数が判定されているため、1−upに変換することができ、さらに、1−upからN−up(N≧2)に変換することができるためである。また、1−upに変換する際に、ドキュメントはベクトルデータであり、解像度非依存のデータであるため、拡縮によっての画質の劣化が起こらない。その1−upのドキュメントを使って、ステップS1909での印刷設定に従った印刷をステップS1912において実行する。
以上、本発明の第1実施形態について説明した。
[実施形態2]
次に、本発明による第2実施形態におけるドキュメント生成処理について図20のフローチャートを用いて説明する。
図20は、入力されたPDLコードをボックス保存する際のドキュメント生成処理を示している。この処理はPDLコードからN−up判定を行い、そのN−up情報を付加したドキュメントを生成する処理である。本実施形態における装置構成およびその他の処理は、前述の実施形態1と同様であるので、その説明は省略する。
まず、ステップS2001でユーザの指示に従って、入力されたPDLコードをボックスに保存する処理を行う。
次に、ステップS2002において、PDLコードから、図11を用いて前述したベクタデータ、メタデータ、ディスプレイリストを保持したドキュメントを生成する。
次いで、ステップS2003において、PDLコードによるドキュメントがN−upされているかを、PDLコード内の情報に基づいて判別する。N−upされている場合はステップS2004においてメタデータにN−up情報と、ページ順番情報を付加する。
そしてステップS2005において1−upドキュメントの形態のサムネイルを生成し、保存する。
さらに、ステップS2006において、元の状態のドキュメント(すなわちN−upドキュメント)からサムネイルを生成して、保存する。
以上、第2実施形態におけるドキュメント生成処理について説明した。
[その他の実施形態]
以上、様々な実施形態を詳述したが、本発明は、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。例えば、スキャナ、プリンタ、PC、複写機、複合機及びファクシミリ装置の如くである。
本発明は、前述した実施形態の各機能を実現するソフトウェアプログラムを、システム若しくは装置に対して直接または遠隔から供給し、そのシステム等に含まれるコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される。従って、本発明の機能・処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、上記機能・処理を実現するためのコンピュータプログラム自体も本発明の一つである。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等、プログラムの形態を問わない。
プログラムを供給するためのコンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RWなどがある。また、記録媒体としては、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM、DVD−R)などもある。
また、プログラムは、クライアントコンピュータのブラウザを用いてインターネット/イントラネットのウェブサイトからダウンロードしてもよい。すなわち、該ウェブサイトから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードしてもよいのである。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるウェブサイトからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明の構成要件となる場合がある。
また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布してもよい。この場合、所定条件をクリアしたユーザにのみ、インターネット/イントラネットを介してウェブサイトから暗号化を解く鍵情報をダウンロードさせ、その鍵情報で暗号化されたプログラムを復号して実行し、プログラムをコンピュータにインストールしてもよい。
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現されてもよい。なお、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行ってもよい。もちろん、この場合も、前述した実施形態の機能が実現され得る。
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれてもよい。そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行ってもよい。このようにして、前述した実施形態の機能が実現されることもある。
また、実施形態1ではページ順番判定を印刷する際に行ったが、スキャン時に行っても良い。これにより、印刷時ユーザに時間を取らせることなく印刷することが可能になる。
本発明の一実施形態の印刷装置(MFP)の構造を示す側断面図である。 同実施形態におけるMFPのコントロールユニットの構成例を示すブロック図である。 同実施形態におけるコントローラソフトウェアの構成の一例を示すブロック図である。 同実施形態におけるコピー動作時のデータフローを示す図である。 同実施形態におけるメタデータ生成処理のデータフローを示す図である。 同実施形態におけるPDLプリント時のデータフローを示す図である。 同実施形態において、入力画像に対して領域分割を行った場合の一例を示す図である。 同実施形態におけるイメージからのドキュメント生成処理のデータフローを示す図である。 同実施形態におけるドキュメント印刷処理のデータフローを示す図である。 同実施形態におけるPDLからのドキュメント生成および印刷処理のデータフローを示す図である。 同実施形態におけるドキュメントのデータ構造を示す図である。 図11で説明したデータ構造がメモリ上、ファイル上にどう配置されるのかを示す図である。 同実施形態におけるドキュメントデータの具体例を示す図である。 同実施形態における操作部に表示される画面の一例を示す図である。 同実施形態における操作部に表示される画面の一例を示す図である。 同実施形態における操作部に表示される画面の一例を示す図である。 同実施形態におけるスキャン時のドキュメント生成処理を説明するフローチャートである。 同実施形態におけるボックス内検索時のプレビュー処理を説明するフローチャートである。 同実施形態におけるN−upドキュメントの印刷処理を説明するフローチャートである。 本発明の第2実施形態において、入力されたPDLコードをボックス保存する際のドキュメント生成処理を説明するフローチャートである。
符号の説明
200 コントロールユニット
201 スキャナ
202 プリンタエンジン
210 操作部
311 プロトコル制御部
312 ベクタデータ生成部
313 メタデータ生成部
314 PDL解析部
315 データ描画部
316 ページメモリ
320 ネットワークI/F
330 出力制御部
340 プリンタエンジン部
350 スキャン制御部
360 パネル入出力制御部
370 ドキュメント記憶部

Claims (14)

  1. 入力されたドキュメントが、その1ページにN(N≧2)ページ分の原稿内容がまとめられているN−upドキュメントであるか否か判定する判定手段と、
    前記判定手段によりN−upドキュメントであると判定された場合に、前記Nページの各々のサムネイルである第1サムネイルを生成する第1サムネイル生成手段と、
    前記第1サムネイルをプレビュー表示する表示手段と
    を備えることを特徴とする画像処理装置。
  2. 前記N−upドキュメントそのもののサムネイルである第2サムネイルを生成する第2サムネイル生成手段をさらに備え、
    前記表示手段は、前記第1サムネイルと第2サムネイルとを切り替え可能にプレビュー表示することを特徴とする請求項1に記載の画像処理装置。
  3. 割り付け印刷された原稿の割り付け印刷に関する情報である割り付け印刷情報の入力を受ける入力手段をさらに備え、
    前記判定手段は、前記入力手段から前記割り付け印刷情報が入力された場合、該割り付け印刷情報に基づいて前記判定を行う
    ことを特徴とする請求項1または請求項2に記載の画像処理装置。
  4. 前記ドキュメントのページに対して領域分割処理を行い、該ドキュメントに含まれるオブジェクトを検出する領域分割手段をさらに備え、
    前記判定手段は、前記領域分割処理の結果から、前記ドキュメント内のあるページが均等に分割され、かつ、該ページ内の均等に分割された領域毎に同様のオブジェクトが存在していると判定される場合に、前記ドキュメントがN−upドキュメントであると判定することを特徴とする請求項1または請求項2に記載の画像処理装置。
  5. 割り付け印刷された原稿の割り付け印刷に関する情報である割り付け印刷情報の入力を受ける入力手段と、
    前記ドキュメントに対して領域分割処理を行い、該ドキュメントに含まれるオブジェクトを検出する領域分割手段とをさらに備え、
    前記判定手段は、
    前記入力手段から前記割り付け印刷情報が入力された場合には、該割り付け印刷情報に基づいて前記判定を行い、
    前記入力手段から前記割り付け印刷情報が入力されていない場合には、前記領域分割処理の結果から前記ドキュメントが均等に分割されていると判定される場合に、前記ドキュメントがN−upドキュメントであると判定する
    ことを特徴とする請求項2に記載の画像処理装置。
  6. 前記ドキュメントとして原稿の画像データを入力する入力手段と、
    前記入力されたドキュメントの画像データの少なくとも一部の領域を前記入力手段の解像度に依存しない解像度非依存描画データに変換する第1変換手段と、
    前記解像度非依存描画データを生成する際に得られる副次情報を、印刷処理されない付加情報としてメタデータに変換する第2変換手段と、
    前記解像度非依存描画データからビットマップへの描画展開に用いる中間コードである解像度依存描画データに変換する第3変換手段と、
    前記解像度非依存描画データ、前記メタデータ、および前記解像度依存描画データを関連付けて保持する保持手段とをさらに備え、
    前記第1サムネイル生成手段および第2サムネイル生成手段は、前記解像度非依存描画データを用いて、画像の拡縮を行い、前記サムネイルを生成する
    ことを特徴とする請求項5に記載の画像処理装置。
  7. 前記割り付け印刷された原稿のドキュメントのページ順を前記検出されたオブジェクトに基づいて判別する手段と、
    前記判別されたページ順を基にドキュメントの印刷を行う印刷手段と
    をさらに備えることを特徴とする請求項6に記載の画像処理装置。
  8. 前記印刷手段は、任意の割付数で前記ドキュメントの割り付け印刷を行うことを特徴とする請求項7に記載の画像処理装置。
  9. 前記判定手段は、判定の対象であるドキュメントと同一のドキュメントが別に存在する場合、該同一ドキュメントの情報を利用して前記判定を行うことを特徴とする請求項1から請求項8のいずれかに記載の画像処理装置。
  10. 前記表示手段は、生成された前記各第1サムネイルを順にスクロールできるようにプレビュー表示することを特徴とする請求項1から請求項9のいずれかに記載の画像処理装置。
  11. ページ記述言語によるデータを受信する受信手段と、
    前記受信手段が受信したデータを解析する解析手段と、
    前記解析手段により解析され得られるドキュメントの画像データの、少なくとも一部の領域を解像度に依存しない解像度非依存描画データに変換する第1変換手段と、
    前記解像度非依存描画データを生成する際に得られる副次情報を、印刷処理されない付加情報としてメタデータに変換する第2変換手段と、
    前記解像度非依存描画データからビットマップへの描画展開に用いる中間コードである解像度依存描画データに変換する第3変換手段と、
    前記解像度非依存描画データ、前記メタデータ、および前記解像度依存描画データを関連付けて保持する保持手段と、
    前記画像データに対して領域分割処理を行い、当該ドキュメントに含まれるオブジェクトを検出する領域分割手段と、
    前記領域分割処理の結果から、当該ドキュメントが、ドキュメントの1ページにN(N≧2)ページ分の原稿内容がまとめられたN−upドキュメントであるか否か判定する判定手段と、
    割り付け印刷に関する情報である割り付け印刷情報を前記メタデータとして保持する手段と、
    前記解像度非依存描画データ、前記メタデータ、および前記解像度依存描画データが関連付けられたデータをハードディスクに格納する手段と、
    前記解像度非依存描画データを用いて、画像の拡縮を行い、前記Nページの原稿内容の各々のサムネイルである第1サムネイルおよび前記Nページ分の原稿内容がまとめられた前記ドキュメントのサムネイルである第2サムネイルを生成する手段と、
    生成された前記第1サムネイルまたは第2サムネイルをプレビュー表示する表示手段と、
    前記ドキュメントに含まれるNページ分の原稿内容のページ順を前記検出されたオブジェクトから判別する手段と、
    前記判別されたページ順を基にドキュメントの印刷を行う印刷手段と
    を備えることを特徴とする画像処理装置。
  12. 入力されたドキュメントが、その1ページにN(N≧2)ページ分の原稿内容がまとめられているN−upドキュメントであるか否か判定する判定ステップと、
    前記判定ステップにおいてN−upドキュメントであると判定された場合に、前記Nページの原稿内容の各々のサムネイルである第1サムネイルを生成する第1サムネイル生成ステップと、
    前記第1サムネイルを表示画面にプレビュー表示する表示ステップと
    をコンピュータが実施することを特徴とする画像処理方法。
  13. 請求項12に記載の方法をコンピュータに実行させるためのプログラム。
  14. 請求項13に記載のプログラムを記憶させたコンピュータ読み取り可能な記憶媒体。
JP2008183899A 2008-07-15 2008-07-15 画像処理装置、画像処理方法、及びそのプログラム Expired - Fee Related JP5058904B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008183899A JP5058904B2 (ja) 2008-07-15 2008-07-15 画像処理装置、画像処理方法、及びそのプログラム
US12/494,194 US8255832B2 (en) 2008-07-15 2009-06-29 Image processing device, image processing method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008183899A JP5058904B2 (ja) 2008-07-15 2008-07-15 画像処理装置、画像処理方法、及びそのプログラム

Publications (3)

Publication Number Publication Date
JP2010028205A true JP2010028205A (ja) 2010-02-04
JP2010028205A5 JP2010028205A5 (ja) 2011-08-25
JP5058904B2 JP5058904B2 (ja) 2012-10-24

Family

ID=41531351

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008183899A Expired - Fee Related JP5058904B2 (ja) 2008-07-15 2008-07-15 画像処理装置、画像処理方法、及びそのプログラム

Country Status (2)

Country Link
US (1) US8255832B2 (ja)
JP (1) JP5058904B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016092471A (ja) * 2014-10-30 2016-05-23 キヤノン株式会社 画像形成装置、画像形成装置の制御方法、及びプログラム
JP2017144684A (ja) * 2016-02-19 2017-08-24 キヤノン株式会社 印刷システム、画像形成装置、印刷システムの制御方法、画像形成装置の制御方法、及びプログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8363888B2 (en) * 2009-03-18 2013-01-29 Shutterfly, Inc. Proactive creation of photobooks
JP5208043B2 (ja) * 2009-04-16 2013-06-12 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2011013921A (ja) * 2009-07-01 2011-01-20 Canon Inc 帳票印刷システム、制御方法、およびプログラム
JP2012133489A (ja) 2010-12-20 2012-07-12 Canon Inc 印刷システム、プリントサービス装置、サービス提供装置、制御方法、及びプログラム
JP5583103B2 (ja) * 2011-10-26 2014-09-03 シャープ株式会社 文書ファイル出力装置、文書ファイル出力方法、及びコンピュータプログラム
US9535913B2 (en) 2013-03-08 2017-01-03 Konica Minolta Laboratory U.S.A., Inc. Method and system for file conversion
JP6337748B2 (ja) * 2013-11-29 2018-06-06 株式会社リコー 情報処理装置、情報処理方法、プログラム
JP7331402B2 (ja) * 2019-03-22 2023-08-23 富士フイルムビジネスイノベーション株式会社 フロー生成装置及びフロー生成プログラム

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02217850A (ja) * 1989-12-22 1990-08-30 Dainippon Printing Co Ltd スキャナ用原稿貼付シートの作成方法及び装置
JP2000298569A (ja) * 1999-02-08 2000-10-24 Canon Inc 印刷属性情報を管理するサーバ装置及び印刷処理方法及び情報処理装置及び情報処理方法
JP2000350000A (ja) * 1999-03-29 2000-12-15 Ricoh Co Ltd 画像形成装置
JP2002196257A (ja) * 2000-12-25 2002-07-12 Nikon Corp 画像処理装置、コンピュータ読取可能な記録媒体、及び顕微鏡システム。
JP2002305649A (ja) * 2001-04-05 2002-10-18 Ricoh Co Ltd 画像形成装置
JP2003008876A (ja) * 2001-06-26 2003-01-10 Ricoh Co Ltd ファクシミリ装置
JP2005020419A (ja) * 2003-06-26 2005-01-20 Kyocera Mita Corp 画像形成装置
JP2006135406A (ja) * 2004-11-02 2006-05-25 Seiko Epson Corp 記録装置
JP2006279892A (ja) * 2005-03-30 2006-10-12 Seiko Epson Corp 画像処理装置、画像処理方法及びプログラム
JP2007088767A (ja) * 2005-09-21 2007-04-05 Fuji Xerox Co Ltd 画像読み取り装置、画像処理装置、画像読み取り方法および画像処理方法
JP2007125875A (ja) * 2005-10-03 2007-05-24 Sony Corp 画像印刷装置、画像印刷方法、画像印刷方法のプログラム及び画像印刷方法のプログラムを記録した記録媒体
JP2007194939A (ja) * 2006-01-19 2007-08-02 Seiko Epson Corp 画像データのサムネイル表示

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7383494B2 (en) * 2003-01-15 2008-06-03 Xerox Corporation Generating a confirmation sheet listing identifiers, thumbnails, and pages associated with page thumbnails
JP4227569B2 (ja) * 2004-07-07 2009-02-18 キヤノン株式会社 画像処理システム、画像処理装置の制御方法、プログラム及び記録媒体
JP4371965B2 (ja) * 2004-09-14 2009-11-25 キヤノン株式会社 画像処理装置、画像処理方法
JP2007174270A (ja) 2005-12-22 2007-07-05 Canon Inc 画像処理装置、画像処理方法、記憶媒体、プログラム
US20090132957A1 (en) * 2007-11-21 2009-05-21 Sharp Laboratories Of America Inc. System and method for selecting thumbnails in a multi-page document

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02217850A (ja) * 1989-12-22 1990-08-30 Dainippon Printing Co Ltd スキャナ用原稿貼付シートの作成方法及び装置
JP2000298569A (ja) * 1999-02-08 2000-10-24 Canon Inc 印刷属性情報を管理するサーバ装置及び印刷処理方法及び情報処理装置及び情報処理方法
JP2000350000A (ja) * 1999-03-29 2000-12-15 Ricoh Co Ltd 画像形成装置
JP2002196257A (ja) * 2000-12-25 2002-07-12 Nikon Corp 画像処理装置、コンピュータ読取可能な記録媒体、及び顕微鏡システム。
JP2002305649A (ja) * 2001-04-05 2002-10-18 Ricoh Co Ltd 画像形成装置
JP2003008876A (ja) * 2001-06-26 2003-01-10 Ricoh Co Ltd ファクシミリ装置
JP2005020419A (ja) * 2003-06-26 2005-01-20 Kyocera Mita Corp 画像形成装置
JP2006135406A (ja) * 2004-11-02 2006-05-25 Seiko Epson Corp 記録装置
JP2006279892A (ja) * 2005-03-30 2006-10-12 Seiko Epson Corp 画像処理装置、画像処理方法及びプログラム
JP2007088767A (ja) * 2005-09-21 2007-04-05 Fuji Xerox Co Ltd 画像読み取り装置、画像処理装置、画像読み取り方法および画像処理方法
JP2007125875A (ja) * 2005-10-03 2007-05-24 Sony Corp 画像印刷装置、画像印刷方法、画像印刷方法のプログラム及び画像印刷方法のプログラムを記録した記録媒体
JP2007194939A (ja) * 2006-01-19 2007-08-02 Seiko Epson Corp 画像データのサムネイル表示

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016092471A (ja) * 2014-10-30 2016-05-23 キヤノン株式会社 画像形成装置、画像形成装置の制御方法、及びプログラム
JP2017144684A (ja) * 2016-02-19 2017-08-24 キヤノン株式会社 印刷システム、画像形成装置、印刷システムの制御方法、画像形成装置の制御方法、及びプログラム

Also Published As

Publication number Publication date
JP5058904B2 (ja) 2012-10-24
US20100017705A1 (en) 2010-01-21
US8255832B2 (en) 2012-08-28

Similar Documents

Publication Publication Date Title
JP5058904B2 (ja) 画像処理装置、画像処理方法、及びそのプログラム
JP4928373B2 (ja) 画像処理装置、画像処理方法、及び、画像処理プログラム
JP5188201B2 (ja) 画像処理装置及びその制御方法、プログラム、記憶媒体
US20080180707A1 (en) Image processing apparatus, image processing system, and image processing method
JP5084606B2 (ja) 画像処理装置及びその制御方法、プログラム
US8185504B2 (en) Image processing apparatus and image processing method
JP5426843B2 (ja) 情報処理装置、情報処理方法、プログラムおよびプログラムを格納する記憶媒体
JP5006764B2 (ja) 画像処理装置、画像処理方法、プログラム、および記憶媒体
US20090174898A1 (en) plurality of image processing in image processing system having one or more network-connected image processing apparatuses
US8259330B2 (en) Output efficiency of printer forming image by interpreting PDL and performing output by using print engine
JP2009181465A (ja) 画像処理装置とその制御方法及び画像処理システム
US8264744B2 (en) Image processing apparatus, image processing method, and program to execute image processing method
US8224091B2 (en) Image processing apparatus, method of controlling the same, and program for extracting information usable for a search
US8259313B2 (en) Image processing apparatus, method, and computer-readable medium storing the program thereof
JP5084543B2 (ja) 画像処理装置及び画像処理方法
US8693028B2 (en) Image processing apparatus, method, and medium storing program
JP2009188677A (ja) 画像処理装置及びその処理方法

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20101106

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110711

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110711

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120410

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120413

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120612

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120703

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120801

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150810

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5058904

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150810

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees