JP2019213190A - Image processing apparatus, image processing method, and program - Google Patents
Image processing apparatus, image processing method, and program Download PDFInfo
- Publication number
- JP2019213190A JP2019213190A JP2019016307A JP2019016307A JP2019213190A JP 2019213190 A JP2019213190 A JP 2019213190A JP 2019016307 A JP2019016307 A JP 2019016307A JP 2019016307 A JP2019016307 A JP 2019016307A JP 2019213190 A JP2019213190 A JP 2019213190A
- Authority
- JP
- Japan
- Prior art keywords
- image
- document
- luminance
- processing apparatus
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Facsimiles In General (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
Description
本発明は、原稿台に載置された原稿を読み取ることで得られた画像から、当該原稿に対応する領域を切り出し可能な画像処理装置、画像処理方法、及びプログラムに関するものである。 The present invention relates to an image processing apparatus, an image processing method, and a program that can cut out an area corresponding to a document from an image obtained by reading a document placed on a document table.
従来から、フラットベッドスキャナの原稿台上に、帳票文書や、非定型面積の領収書や、名刺、カードなどの原稿を複数枚並べて、まとめてスキャンし、生成されたスキャン画像から原稿ごとの画像を切り出すマルチクロップ処理が知られている。 Conventionally, multiple documents such as form documents, receipts of non-standard areas, business cards, cards, etc. are arranged on the platen of the flatbed scanner, scanned together, and images for each document are generated from the generated scanned images. A multi-crop process for cutting out a video is known.
マルチクロップ処理において、読み取られる帳票や領収書、名刺、カード等の原稿は白い用紙に文字や画像が印刷されたものである場合が多い。また、原稿を押さえるための原稿台カバー（圧板）は通常白色であるので、スキャン画像において原稿の無い箇所（背景）は、原稿台カバーの白色となる。したがって、スキャン画像に対してマルチクロップ処理を行う際、白色の原稿と白色の背景との輝度差が小さく、原稿の縁の検出に失敗する場合がある。そこで、原稿台をスキャンして得られたスキャン画像から白い原稿の縁を検出しやすくする方法が検討されている。たとえば、特許文献１では、原稿をスキャナの原稿台に載置した後に、その原稿を黒いシートで覆ってスキャンを実行することで、原稿以外の領域が黒くなるようにして原稿の縁を検出しやすくしている。また、特許文献２では、原稿台カバーを開いたままスキャンを実行することで、原稿が載置されていない箇所が黒く出力されるようにし、白い原稿の縁を検出しやすくしている。
In multi-crop processing, documents such as forms, receipts, business cards, and cards that are read are often printed on white paper with characters and images. Further, since the document table cover (pressure plate) for pressing the document is usually white, a portion (background) where there is no document in the scanned image is white on the document table cover. Therefore, when multi-crop processing is performed on a scanned image, the brightness difference between the white document and the white background is small, and detection of the edge of the document may fail. Therefore, a method for making it easy to detect the edge of a white document from a scanned image obtained by scanning the document table has been studied. For example, in
しかしながら、特許文献１に記載の方法では、ユーザが原稿を原稿台に並べた後に更に黒いシートを上に重ねる必要があり、ユーザの手間がかかる。また、特許文献２に記載の方法では、原稿台カバーを開けているためスキャン実行時の照射光がユーザの目に入ってしまい、ユーザにとっては眩しく不快感が生じる。さらに、原稿台カバーを開けていると、原稿を押さえることができないため、カールしている原稿など（例えばレシート）では、原稿台から原稿の一部が浮いてしまい、スキャン画像の画質の劣化の原因にもなりうる。
However, in the method described in
上記課題を解決するために、本発明は、読取手段で原稿を読み取った際の高輝度側の信号値が残るように輝度を調整した第１の画像を生成する第１の調整手段と、前記第１の調整手段で生成された第１の画像内に含まれる前記原稿に対応する領域の位置を検出する検出手段と、前記第１の画像に含まれる画素の輝度が高くなるように調整することにより第２の画像を生成する第２の調整手段と、前記検出手段で検出された前記原稿に対応する領域の位置に基づいて、前記第２の調整手段で生成された第２の画像から、前記原稿に対応する原稿画像を切り出す切り出し手段と、を有することを特徴とする。 In order to solve the above-described problem, the present invention provides a first adjustment unit that generates a first image whose luminance is adjusted such that a signal value on the high luminance side when a document is read by the reading unit remains, Detection means for detecting the position of an area corresponding to the original included in the first image generated by the first adjustment means, and adjustment is performed so that the luminance of the pixels included in the first image is increased. Based on the position of the area corresponding to the original detected by the detection means and the second adjustment means for generating the second image, the second adjustment means generates the second image from the second image generated by the second adjustment means. And a cutout means for cutting out a document image corresponding to the document.
本発明によれば、マルチクロップ処理を行う場合は、原稿をスキャンする際に高輝度側の信号が残るようにしたスキャン画像を生成することにより、スキャン画像から原稿の領域を検出しやすくし、さらに、該スキャン画像の輝度を調整することにより保存や送信に適した明るさで原稿の画像を保存することができる。 According to the present invention, when performing multi-crop processing, it is easy to detect a document area from a scan image by generating a scan image in which a signal on the high luminance side remains when scanning a document, Further, by adjusting the brightness of the scanned image, it is possible to save the original image with brightness suitable for storage and transmission.
以下、図面を用いて本発明に係る実施形態を詳細に説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらに限定する趣旨のものではない。 Hereinafter, embodiments according to the present invention will be described in detail with reference to the drawings. However, the components described in this embodiment are merely examples, and are not intended to limit the scope of the present invention thereto.
（実施例１）
＜システム構成＞
図１は本実施例を適用可能なシステムの全体構成を示す図である。
(Example 1)
<System configuration>
FIG. 1 is a diagram showing the overall configuration of a system to which this embodiment can be applied.
図１に示すように、画像処理装置１００、ＰＣ／サーバー端末１０１はイーサネット（登録商標）や無線ＬＡＮなどからなるＬＡＮ１０４に接続され、Ｉｎｔｅｒｎｅｔ１０５に接続されている。また、モバイル端末１０３は公衆無線通信網１０２などからＩｎｔｅｒｎｅｔ１０５に接続されている。画像処理装置１００、ＰＣ／サーバー端末１０１及び、モバイル端末１０３はＬＡＮ１０４又は、公衆無線通信網１０２からＩｎｔｅｒｎｅｔ１０５に接続され、相互に通信可能となっている。なお、ＰＣ／サーバー端末１０１とモバイル端末１０３に関しては、どちらか一方がある構成でも良いし、画像処理装置１００のみがＰＣ／サーバー端末１０１やモバイル端末１０３などが実施する処理を行っても良い。
As shown in FIG. 1, the
画像処理装置１００は操作部、スキャナ部及び、プリンタ部を有する複合機である。本実施例のシステムで、画像処理装置１００は、１枚または複数枚の名刺や免許証、ハガキなど原稿を読み取るスキャン端末として利用される。また、画像処理装置１００は、原稿を読み取って得られたスキャン画像から、原稿ごとの原稿画像を抽出するマルチクロップ処理を実施する。さらに、画像処理装置１００は、表示部や、タッチパネルやハードボタンなどの操作部を有し、エラー通知や指示通知などの表示や、スキャン操作や設定操作などの操作を行う。
The
ＰＣ／サーバー端末１０１は、画像処理装置１００で生成した画像を表示する。また、ＰＣ／サーバー端末１０１は、画像処理装置１００が生成した画像の保存や、ＯＣＲ（ｏｐｔｉｃａｌ ｃｈａｒａｃｔｅｒ ｒｅｃｏｇｎｉｔｉｏｎ）処理などを実施し、再利用可能なメタデータを生成する。なお、画像処理装置１００が実施するマルチクロップ処理をＰＣ／サーバー端末１０１で実施しても良い。更に、ＰＣ／サーバー端末１０１は、クラウドやサーバーなどの外部ストレージとの通信も可能で、保存した画像やメタデータを外部ストレージへ送信することができる。なお、本実施例では、ＰＣ／サーバー端末１０１で画像の保存、メタデータ生成及び、外部ストレージへの送信を行うフローを説明するが、画像処理装置１００に同機能を備えてもよい。このようにすることでこれらのフローを画像処理装置１００単体でも行うことができる。
The PC /
また、モバイル端末１０３は、操作部、無線通信部、ウェブブラウザを動作させるアプリ部を有するスマートフォンやタブレット端末である。本実施例のシステムで、モバイル端末１０３は、ＰＣ／サーバー端末１０１と同様に表示端末、操作端末及び、メタデータ生成・保存端末として利用される。なお、ＰＣ／サーバー端末１０１とモバイル端末１０３は、表示、操作及び、メタデータ生成・保存の機能など、どちらか一方の構成でもかまわない。
The
以上の構成要素はあくまで例示であり、すべての構成が必要というものではない。例えば画像処理装置１００が、原稿を読み込むスキャン機能や表示・操作機能に加え、画像の保存機能、メタデータ生成機能、メタデータの保存機能、外部ストレージへの送信機能を有してもよい。上記構成を画像処理装置１００が有する場合には、以下の処理を画像処理装置１００が実行するとしてもよい。
The above components are merely examples, and not all configurations are necessary. For example, the
＜画像処理装置１００のハードウェア構成＞
図２は、画像処理装置１００の構成を示すブロック図である。制御部１１０は、ＣＰＵ１１１、記憶装置１１２、ネットワークＩ／Ｆ部１１３、スキャナＩ／Ｆ部１１４、表示・操作部Ｉ／Ｆ部１１５で構成され、これらはシステムバス１１６を介して互いに通信可能に接続されている。制御部１１０は、画像処理装置１００全体の動作を制御する。
<Hardware Configuration of
FIG. 2 is a block diagram illustrating a configuration of the
ＣＰＵ１１１は、記憶装置１１２に記憶された制御プログラムを読み出して読取制御や送信制御などの各種制御を行う。
The
記憶装置１１２は、上記プログラム、画像、メタデータ、設定データ及び、処理結果データなどを格納し保持する。記憶装置１１２は、不揮発性メモリであるＲＯＭ１１７、揮発性メモリであるＲＡＭ１１８及び、大容量記憶領域であるＨＤＤ１１９などで構成される。
The
ＲＯＭ１１７は、制御プログラムなどを保持する。ＣＰＵ１１１はＲＯＭ１１７に記憶された制御プログラムを読み出し、画像処理装置１００を制御する。
The
ＲＡＭ１１８は、ＣＰＵ１１１の主メモリ、ワークエリア等の一時記憶領域として用いられる。
The
ＨＤＤ１１９は、大容量記憶領域であるＨＤＤで、画像、メタデータなどを保存する記憶領域として用いられる。
The
ネットワークＩ／Ｆ部１１３は、制御部１１０（画像処理装置１００）をＬＡＮ１０４に接続するインタフェースである。ネットワークＩ／Ｆ部１１３は、ＰＣ／サーバー端末１０１やモバイル端末１０３等のＬＡＮ１０４上の外部装置に画像を送信したり、ＬＡＮ１０４上の外部装置から各種情報を受信したりする。
The network I /
スキャナＩ／Ｆ部１１４は、スキャナ部１２０と制御部１１０を接続するインタフェースである。スキャナ部１２０は、原稿上の画像を読み取って画像を生成し、スキャナＩ／Ｆ部１１４を介して制御部１１０に入力する。
The scanner I /
表示・操作部Ｉ／Ｆ部１１５は、表示・操作部１２１と制御部１１０とを接続するインタフェースである。表示・操作部１２１には、タッチパネル機能を有する液晶表示部やテンキー、スタートボタン、キャンセルボタン等のハードキーが備えられている。スタートボタンは、コピーやスキャンの処理を開始させるためのボタンである。キャンセルボタンは画像処理装置１００が実行中の処理を一時停止、または中止するためのボタンである。
The display / operation unit I /
その他、画像処理装置１００にはプリンタ部等もあるものがあるが、本実施例では用いないため省略する。
In addition, some
以上のように、本実施例に係る画像処理装置１００では、上記のハードウェア構成によって、画像処理機能を提供することが可能である。
As described above, the
＜「スキャンして送信」機能の実行フロー＞
図３を用いて、ユーザが「スキャンして送信」機能を用いてマルチクロップ処理を実行するためのシーケンスを説明する。本実施例で説明する処理は、画像処理装置１００が有しているＣＰＵ１１１が記憶装置１１２に記憶された制御プログラムを読み出して制御プログラムを実行することにより実現される。
<Execution flow of "Scan and send"function>
A sequence for the user to execute the multi-crop process using the “scan and send” function will be described with reference to FIG. The processing described in the present embodiment is realized by the
「スキャンして送信」機能とは、ＬＡＮ等ネットワークに接続された画像処理装置で原稿をスキャンし、得られた画像を外部装置に送信する機能である。具体的には、スキャナで読み取って生成した画像に対し、画像処理やフォーマット変換を実行し、ユーザの指定したサーバーのフォルダや、電子メール、複写機内のＨＤＤに送信する機能である。 The “scan and send” function is a function of scanning a document with an image processing apparatus connected to a network such as a LAN and transmitting the obtained image to an external apparatus. Specifically, this is a function of executing image processing and format conversion on an image read and generated by a scanner, and transmitting the image to a server folder designated by a user, an e-mail, or an HDD in a copying machine.
機能使用指示Ｓ４００において、ユーザは表示・操作部１２１を操作して、メインメニューの中から「スキャンして送信」機能を選択する。画像処理装置１００は、表示・操作部１２１を介して「スキャンして送信」機能の選択を受け付ける。図４（ａ）は表示・操作部１２１に表示されるメインメニューＵＩ５００である。メインメニューＵＩ５００は、画像処理装置１００で実施可能な機能がボタンとして表示される画面である。例えば、「コピー」機能ボタン５０１、「スキャンして送信」機能ボタン５０２、「スキャンして保存」機能ボタン５０３、「保存ファイルの利用」機能ボタン５０４、「プリント」機能ボタン５０５などが表示される。画像処理装置１００はメインメニューＵＩ５００を介して、ユーザから、所望の機能の選択を受け付ける。本実施例では、ユーザが「スキャンして送信」機能ボタン５０２をタップ操作して選択したとする。
In the function use instruction S400, the user operates the display /
Ｓ４０１において、画像処理装置１００の表示・操作部１２１は、ユーザにより指定された機能の設定画面（すなわち、「スキャンして送信」機能が指定された場合は、「スキャンして送信」機能の設定画面）を表示する。図４（ｂ）は表示・操作部１２１に表示される設定画面である「スキャンして送信」設定ＵＩ５１０の一例である。「スキャンして送信」設定ＵＩ５１０は「スキャンして送信」機能で使用される各種設定の状態を示している。例えば、「送信先」５１１は、生成した画像を送信する送信先のアドレスを表示する。ユーザが「送信先」５１１をタップ操作すると不図示の送信先設定画面が表示され、ユーザは画像の送信先を入力することができる。本実施例では、マルチクロップ処理を行った画像をＰＣ／サーバー端末１０１に送信する。すなわち、「送信先」５１１には、ＰＣ／サーバー端末１０１のＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）やＩＰアドレスや電子メールアドレス等が設定される。「スキャン／送信設定」５１２は、生成される画像のカラー設定や生成する画像ファイルのフォーマット、原稿の種類の状態を表示する。また、「その他の機能」５１３は「スキャンして送信」設定ＵＩ５１０に表示されていない応用機能を設定するためのボタンである。
In step S401, the display /
Ｓ４０２において、画像処理装置１００はユーザから、「スキャンして送信」設定ＵＩ５１０で設定することのできる基本的な設定項目に関する設定指示を受け付ける。Ｓ４０２で受け付けられる設定とは、例えば、生成する画像のカラー設定や生成する画像ファイルのフォーマット選択などである。画像処理装置１００は、「送信先」５１１、「スキャン／送信設定」５１２のいずれかのタップ操作を受け付けて、それぞれに対応する設定項目の入力を受け付ける。
In step S <b> 402, the
Ｓ４０３において、画像形成装置１００は、Ｓ４０２でユーザが指示した基本設定に関する設定値を画像処理装置１００のＲＡＭ１１８に記憶する。
In step S <b> 403, the
次に、Ｓ４０４において、ユーザが「その他の機能」５１３をタップ操作で選択したものとする。 Next, in S <b> 404, it is assumed that the user selects “other functions” 513 by a tap operation.
Ｓ４０５において、画像処理装置１００は、設定ＵＩ５１０にてユーザによる「その他の機能」５１３の選択を受け付けて、応用機能の設定を行うための画面を表示・操作部１２１に表示する。図４（ｃ）は応用機能を設定するための「その他の機能」設定ＵＩ５２０の一例である。「その他の機能」設定ＵＩ５２０は、画像処理装置１００が実行可能な「スキャンして送信」機能の各種応用機能を設定するためのボタンを表示する。「その他の機能」設定ＵＩ５２０は、例えば、「ページ集約」ボタン５２１や「カラータイプ」ボタン５２２、「原稿の種類」ボタン５２３、「カラーの調整」ボタン５２４、「ファイル名設定」ボタン５２５、「マルチクロップ」ボタン５２６などを表示する。「マルチクロップ」ボタン５２６は、複数枚の原稿を原稿台上に並べて配置した状態でスキャンすることにより生成された画像から、各原稿に対応する原稿画像を抽出する処理の実行を指示するためのボタンである。本実施例では、「その他の機能」設定ＵＩ５２０は、設定ＵＩ５１０で設定可能な設定項目と重複する設定項目も表示するものとする。なお、「その他の機能」設定ＵＩ５２０は、設定ＵＩ５１０で設定可能な設定項目以外の設定項目を表示するように構成してもよい。
In step S <b> 405, the
Ｓ４０６において、ユーザが、「その他の機能」設定ＵＩ５２０内の「マルチクロップ」ボタン５２６をタップ操作して選択したものとする。
In S406, it is assumed that the user selects the “multi-crop”
ユーザが「マルチクロップ」ボタン５２６を選択すると、Ｓ４０７において、画像処理装置１００はマルチクロップ処理を実行することを示すマルチクロップ処理フラグをＯＮに設定する。マルチクロップ処理フラグはＲＡＭ１１８に記憶される。また、Ｓ４０７において、画像処理装置１００は、表示・操作部１２１に図４（ｄ）に示すマルチクロップの選択がされたことを示す画面５２０を表示する。ユーザが「マルチクロップ」ボタン５２６を選択すると、「その他の機能」設定ＵＩ５２０の「マルチクロップ」ボタン５２６の色が反転し、マルチクロップ処理がオンに設定されていることを示す画面が表示される。本実施例ではマルチクロップ処理がオンに設定されている場合の処理を説明する。「その他の機能」設定ＵＩ５２０において、ユーザが「閉じる」ボタン５２７をタップ操作して選択すると、表示・操作部１２１は図４（ｂ）の「スキャンして送信」設定ＵＩ５１０を表示する。
When the user selects the “multi-crop”
Ｓ４０８において、ユーザが、「スキャンして送信」機能の実行を指示するために、スタートキー５０６を押下したものとする。スタートキー５０６の押下により、画像処理装置１００は、原稿の読み取り開始が指示されたものと判断する。スタートキー５０６の押下を受け付けたことに従って、画像処理装置１００は、原稿をスキャンするための各種設定をＲＡＭ１１８に設定し、原稿の読み取り処理の準備を開始する。
In step S408, it is assumed that the user presses the
まず、Ｓ４０９において、画像処理装置１００は、輝度ゲイン調整に用いられるパラメータをＲＡＭ１１８に設定する。輝度ゲイン調整とは、スキャナ部１２０が原稿を読み取って得られた画像の輝度を調整する処理である。Ｓ４０７でマルチクロップ処理フラグがＯＮに設定されている場合、画像処理装置１００は、マルチクロップ処理がオフに設定されているときと異なるパラメータをＲＡＭ１１８に設定する。
First, in S409, the
Ｓ４１０において、画像処理装置１００は、スキャナ部１２０に対し、スキャナを駆動させ、原稿台に置かれた原稿を読み取る。
In step S410, the
Ｓ４１１において、画像処理装置１００は、Ｓ４１０で読み取った画像を画像処理で扱えるビットマップ形式の画像へ変換する。例えば、Ｓ４１１において、画像処理装置１００はスキャナ部１２０から入力された輝度信号値を、８ビットのデジタル信号に変換する。さらに、画像処理装置１００は、変換後の輝度信号値に対し、シェーディング補正を行う。シェーディング補正とは、入力された輝度信号値に対して、スキャナ部１２０の照明系、結像系、撮像系等で発生する様々な歪みを取り除く補正処理である。その後さらに、画像処理装置１００は、シェーディング補正を行った輝度信号値に対して、Ｓ４０９で設定した設定値を用いて輝度ゲイン調整を行う。マルチクロップ処理を実行する場合の輝度ゲイン調整では、マルチクロップ処理を実行しない場合の通常のスキャン画像よりも、高輝度側の信号値の情報が保持された画像が生成される。通常のスキャン画像では、シェーディング補正後の輝度信号値が所定の基準値よりも高い場合は白（すなわち輝度値２５５）として扱うようにすることで、白の輝度ムラが出ないようにしているが、マルチクロップ処理を実行する場合は、高輝度側の輝度信号値が異なる値として出力されるように輝度ゲイン調整を行う。画像処理装置１００は、さらに、カラーバランスの調整、下地濃度の除去、シャープネス処理、及びコントラストの調整等の画質調整処理を行ない、ＨＤＤ１１９にデータとして格納を行う。
In step S411, the
図５（ａ）は、複数枚の原稿が原稿台に載置された状態を示す模式図である。ここでは、Ａ３面積の領域を読み取ることが可能なスキャナ部１２０に３枚の原稿が配置されているとする。載置する原稿として、例えば、定形面積の原稿（例えば、Ａ４の納品書）や複数枚の非定形面積の原稿（例えば、領収書）などの原稿が原稿台上に並べて載置されている。原稿台に載置される原稿の種類、枚数、配置はこれに限らない。
FIG. 5A is a schematic diagram showing a state in which a plurality of documents are placed on a document table. Here, it is assumed that three originals are arranged in the
図５（ｂ）は、マルチクロップ処理をオフに設定し、画像処理装置１００が画像形成時の輝度ゲイン調整パラメータを標準値で処理した場合に生成する画像である。図６（ａ）はマルチクロップ処理がオフに設定されているときの輝度ゲイン調整の模式図である。マルチクロップ処理がオフに設定されている場合、シェーディング補正後の輝度値が白色基準値（２５５）よりも高い領域は、全て白色基準値（２５５）として出力する。そのため、図５（ｂ）に示すように、原稿の白色部分や原稿台カバーの白色部分は同じ輝度の白色として出力される。この場合、原稿Ａおよび原稿Ｃの下地は白であるので、原稿の下地の白色と原稿台カバーの白色部分との差異がなくなっているので、原稿端の境界を検出することは困難である。
FIG. 5B shows an image generated when the multi-crop processing is set to OFF and the
図５（ｃ）は、マルチクロップ処理をオンに設定し、画像処理装置１００が画像形成時の輝度ゲイン調整パラメータを標準値と異なる値に設定して、高輝度側の信号値が保持されるようにした状態で処理した場合の画像の例である。図６（ｂ）は、マルチクロップ処理がオンに設定されているときの輝度ゲイン調整の模式図である。マルチクロップ処理がオンに設定されている場合、シェーディング補正後の輝度値に対して所定のゲイン調整パラメータを掛けて、出力を行う。例えば、図６（ｂ）において、画像処理装置１００は、シェーディング補正後の信号が２６０の白色に対して、輝度ゲイン調整パラメータを掛けて、輝度値２５０として出力を行う。図６（ｂ）に示す通り、マルチクロップ処理がオンに設定されている場合、マルチクロップ処理がオフに設定されたときの画像に比べ、高輝度側の信号値が輝度ゲイン調整パラメータによって低い輝度値に変換される。そのため、マルチクロップ処理がオンに設定されている場合、マルチクロップ処理がオフに設定されているときよりも画像全体が暗く出力されるが、原稿の白色と原稿台カバーの白色とが異なる輝度値として出力されやすくなり、原稿端の境界を検出しやすくなる。
In FIG. 5C, the multi-crop processing is set to ON, the luminance gain adjustment parameter at the time of image formation is set by the
Ｓ４１２において、画像処理装置１００は、Ｓ４１１でＨＤＤ１１９内に格納した輝度ゲイン調整後の画像を取得する。画像処理装置１００のＣＰＵ１１１は、取得した画像内に含まれる各原稿のエッジに基づいて４頂点座標を検出し、検出した各原稿の４頂点座標値を出力し、ＲＡＭ１１８に記憶する。Ｓ４１２で実行されるマルチクロップ座標検出処理については、後述で詳細を説明する。
In step S <b> 412, the
Ｓ４１３において、画像処理装置１００は、Ｓ４１１で生成された画像の輝度を、送信用画像に適した輝度値になるように調整する画像輝度調整処理を行う。Ｓ４１１において生成された画像は、図５（ｃ）に示したようにマルチクロップ座標検出の精度を上げるため全体的に暗い画像となっている。画像処理装置１００は、マルチクロップ用の設定値で輝度ゲイン調整を行った画像の輝度を、図５（ｂ）に示すように標準値で輝度ゲイン調整した画像と同等程度の輝度へデジタル変換し、ＨＤＤ１１９に保存する。画像輝度調整処理の詳細については、後述する。すなわち、Ｓ４１３でマルチクロップ用の画像の輝度を全体的にあげる処理を行うことで、通常の設定でスキャンした際の明るさと同程度の明るさの画像に変換して、送信用画像として使用することができる。
In step S413, the
Ｓ４１４において、画像処理装置１００は、Ｓ４１３でデジタル変換処理されＨＤＤ１１９に格納されている画像データから、各原稿に対応する領域の部分画像を抽出する画像クロッピング処理を実行する。画像処理装置１００は、Ｓ４１２で検出した各原稿の４頂点座標値に基づいて、Ｓ４１３で変換された画像から、各原稿に対応する領域の部分画像を切り出し、傾き補正等のアフィン変換を行って矩形の原稿画像を得る。画像処理装置１００は、切り出し後の各原稿の原稿画像を圧縮し画像圧縮後にＨＤＤ１１９に格納する。
In step S <b> 414, the
Ｓ４１５において、画像処理装置１００はマルチクロップ処理後の各原稿の画像を、表示・操作部１２１のマルチクロップ処理結果ＵＩ画面に表示する。図４（ｅ）は表示・操作部１２１に表示されるマルチクロップの処理結果を示す画面の一例である。「原稿検出結果」ＵＩ５３０は、マルチクロップ処理によって切り出された画像を並べた画面である。
In step S <b> 415, the
Ｓ４１６において、ユーザは、表示・操作部１２１に表示された画像の切り出し結果を確認した後、当該表示された各原稿画像の保存・送信指示をする。すなわち、ユーザによりスタートキー５０６が押下されると、画像処理装置１００は、当該表示されている各原稿画像の保存・送信指示が為されたと判断する。
In step S <b> 416, the user confirms the cutout result of the image displayed on the display /
Ｓ４１７において、画像処理装置１００は、クロップ処理後の各原稿画像を、図４（ｂ）の送信先５１１で設定された送信先であるＰＣ／サーバー端末１０１に対して、送信する。なお、ＰＣ／サーバー端末１０１に送信される画像ファイルは、「スキャンして送信」設定ＵＩ５１０や「その他の機能」設定ＵＩ５２０で設定されたフォーマットやファイル名のファイルにして送信される。
In step S417, the
Ｓ４１８において、ＰＣ／サーバー端末１０１は、画像処理装置１００から送信されたマルチクロップ後の各原稿の画像ファイルを保存する。ここで、ＰＣ／サーバー端末１０１は受信した画像ファイルを保存するだけでも良いが、例えば、画像ファイルに対してＯＣＲ処理等の文字認識処理を行い、処理結果を付加してから保存するようにしてもよい。このようにすることで、画像の検索性が向上させたり、画像から抽出された情報をシステムに登録したりすることができる。
In step S <b> 418, the PC /
Ｓ４１９において、ユーザが、ＰＣ／サーバー端末１０１に対して原稿画像の表示を指示した場合、４２０において、ＰＣ／サーバー端末１０１は、ユーザから表示が指示された原稿画像の表示処理を行う。ＰＣ／サーバー端末１０１に記憶された画像に対してＯＣＲ処理等の処理がされている場合、ＰＣ／サーバー端末１０１はＳ４２０においてＯＣＲ処理の結果等を表示することも可能である。なお、ここでは、ユーザがＰＣ／サーバー端末１０１を直接操作して閲覧指示を行い、ＰＣ／サーバー端末１０１の表示部に保存された画像を表示するものとして説明したが、これに限るものではない。例えば、ユーザが携帯端末１０３等を操作して、ＰＣ／サーバー端末１０１に閲覧リクエストを送信した場合は、ＰＣ／サーバー端末１０１から携帯端末１０３に画像が送信されて表示されるようにしてもよい。
In S419, when the user instructs the PC /
＜「スキャンして送信」機能のソフトウェア構成＞
図７は、「スキャンして送信」機能においてマルチクロップ処理がオンに設定された場合の、画像処理装置１００の処理を示すフローチャートである。以下の処理は、ＣＰＵ１１１がＲＯＭ１１７、ＨＤＤ１１９等に記憶された制御プログラムを実行することにより実現される。
<Software configuration of "Scan and send"function>
FIG. 7 is a flowchart showing the processing of the
図７に記載の処理は、マルチクロップ処理がオンに設定された状態で、スタートキーが押下されたことに従って実行される。 The process illustrated in FIG. 7 is executed in accordance with the start key being pressed while the multi-crop process is set to ON.
ＣＰＵ１１１は、輝度ゲイン調整を実行するためのパラメータをＲＯＭ１１７から読み出してＲＡＭ１１８に格納する（Ｓ６００）。マルチクロップ処理がオンに設定されたときの輝度ゲイン処理に用いられるパラメータは予めＲＯＭ１１７に記憶されている。
The
ＣＰＵ１１１は、スキャナＩ／Ｆ１１４を介してスキャナ部１２０を制御し、原稿をスキャンする（Ｓ６０１）。
The
ＣＰＵ１１１は、Ｓ６０１で原稿をスキャンして得られた画像に対してＳ６００で取得したパラメータを用いて輝度ゲイン調整を実行する（Ｓ６０２）。Ｓ６０２で実行される輝度ゲイン調整の詳細は後述する。Ｓ６０２において、ＣＰＵ１１１は、輝度ゲイン調整の前にシェーディング補正を行い、画像の輝度を所定の白基準に基づいて正規化する。また、輝度ゲイン調整後には、ＣＰＵ１１１は画像の輝度をｓＲＧＢ等の規格化されたＲＧＢ信号への変換を行う。その際には、３次元ＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）や１次元ＬＵＴを利用した変換処理が行われる。Ｓ６０２の処理を実行した後、図５（ｃ）に示す輝度ゲイン調整された画像（マルチクロップ処理に適した画像）がＲＡＭ１１８に記憶される。
The
ＣＰＵ１１１は、Ｓ６０２において輝度ゲイン調整された画像に対してクロップする座標を検出する（Ｓ６０３）。ＣＰＵ１１１は輝度ゲイン調整後の画像を入力画像とし、原稿のエッジの直線を検出して、エッジの直線で囲まれる原稿の矩形に基づいて各原稿の４頂点座標を検出する。Ｓ６０３において、ＣＰＵ１１１が実行する処理については、図９を用いて後述する。画像処理装置は、Ｓ６０３において検出された座標に基づいて、画像内の原稿に対応する領域を特定する。
The
ＣＰＵ１１１は、Ｓ６０２で輝度ゲイン調整がなされた画像（マルチクロップ処理に適した画像）の輝度を再度調整することにより、送信に適した輝度の画像を生成する（Ｓ６０４）。Ｓ６０４において、ＣＰＵ１１１は輝度ゲイン調整済みの画像を全体的に明るくなるように処理する。Ｓ６０４に記載の処理を実行することで、ＣＰＵ１１１は図５（ｄ）に記載の画像を生成し、ＲＡＭ１１８に記憶する。Ｓ６０４において実行される詳細は、図１１を用いて後述する。
The
ＣＰＵ１１１は、Ｓ６０３において検出された座標と、Ｓ６０４において輝度が調整された画像を用いて画像の切り出しを行う（Ｓ６０５）。Ｓ６０５において、ＣＰＵ１１１はＳ６０３で特定された各原稿の４頂点に基づいて、輝度が調整された画像から、各原稿の領域に対応する部分画像を切り出す。そして、ＣＰＵ１１１は切り出し後の画像をＲＡＭ１１８に記憶する。Ｓ６０５における詳細は図１４を用いて後述する。
The
ＣＰＵ１１１は、図４（ｅ）で示したように、切り出し後の画像を表示・操作部１２１に表示する（Ｓ６０６）。
As shown in FIG. 4E, the
ＣＰＵ１１１は、ユーザから送信指示を受け付けたか否かを判定する（Ｓ６０７）。ユーザからの送信指示は、ユーザがスタートキー５０６を押下したことによって受け付けられる。ユーザから送信指示を受付けられていない場合、ＣＰＵ１１１はＳ６０７の処理を引き続き実行する。ＣＰＵ１１１は、送信指示を受付けた場合に処理をＳ６０８に進める。
The
ＣＰＵ１１１は、切り出し後の画像をＰＣ／サーバー端末１０１に送信する（Ｓ６０８）。ＣＰＵ１１１は、切り出した画像をユーザにより指定された送信先に送信する。本実施例では、外部のＰＣ／サーバー端末１０１に画像を送信するとするが、画像処理装置１００の記憶装置１１２に切り出し後の画像が記憶されてもよい。切り出し後の画像を記憶装置１１２に記憶する場合、ユーザは切り出し後の画像の送信先として、記憶装置１１２の記憶先のフォルダアドレス等を指定する。
The
なお、図７のＳ６０７において、ユーザからの送信指示を待つとして説明した。Ｓ６０７において、送信指示のほかにスキャン・原稿検出のリトライ指示をユーザから受け付けるとしてもよい。たとえば、図４（ｅ）に示す「原稿検出結果」表示ＵＩ５３０において、画像処理装置１００は不図示のリトライボタンを表示する。ユーザがリトライボタンをタップ操作した場合、画像処理装置１００は処理をＳ６００に戻す。このようにすることで、切り出し結果がユーザの期待するものと違うものであった場合にすぐにスキャンのやり直しをすることができる。Ｓ６００においてＣＰＵ１１１が輝度ゲイン調整パラメータは常に同じ値であってもよいが、リトライ回数に応じて輝度ゲイン調整パラメータの値を大きくするなど、輝度ゲイン調整パラメータの値を変えてスキャンをするとしてもよい。また、図７のＳ６０７において、表示されている原稿画像の１つがユーザにより選択され、かつ、原稿切り出し位置の修正指示が為された場合は、その原稿画像を切り出す前の画像を表示して（その原稿画像の周辺を拡大表示するようにしてもよい）、ユーザが手動で切り出し位置の修正を行えるようにしてもよい。
In addition, in S607 of FIG. 7, it demonstrated as waiting for the transmission instruction | indication from a user. In step S607, a scan / document detection retry instruction may be received from the user in addition to the transmission instruction. For example, in the “document detection result”
＜輝度ゲイン調整処理＞
次に、図７のＳ６０２において実行される輝度ゲイン調整の処理の詳細について説明する。
<Luminance gain adjustment processing>
Next, details of the luminance gain adjustment process executed in S602 of FIG. 7 will be described.
図８は、Ｓ６０２に記載の輝度ゲイン調整においてＣＰＵ１１１が実行する処理を示すフローチャートである。図８に記載の処理を実行するためのプログラムはＲＯＭ１１７、ＨＤＤ１１９等の記憶装置に記憶されている。ＣＰＵ１１１がＲＯＭ１１７またはＨＤＤ１１９に記憶されているプログラムを実行することで処理が実現される。輝度ゲイン調整処理は使用されるパラメータの値は異なるが、マルチクロップ処理がオンの場合も、オフの場合も実行される処理である。
FIG. 8 is a flowchart showing processing executed by the
ＣＰＵ１１１は、輝度ゲイン調整に用いるパラメータをＲＯＭ１１７から読み出してＲＡＭ１１８に設定する（Ｓ１０００）。マルチクロップ処理がオンに設定されているときに用いられるパラメータは、マルチクロップ処理がオフに設定されているときに用いられるパラメータよりも大きな値である。たとえば、本実施例では、マルチクロップ処理がオフに設定されてるときの輝度ゲイン調整パラメータを２５５、マルチクロップ処理がオンに設定されているときの輝度ゲイン調整パラメータを２６５とする。輝度ゲイン調整に用いられるパラメータは、予めＲＯＭ１１７に記憶されており、当該パラメータは画像処理装置１００の工場出荷時に設定される値である。なお、輝度ゲイン調整に用いられるパラメータは、出荷後、サービスマン等により再度設定されるとしてもよい。
The
ＣＰＵ１１１は、Ｓ１０００でＲＡＭ１１８に記憶された輝度ゲイン調整パラメータを用いて、スキャンして得られた画像の白色基準に基づいて正規化された後の輝度を調整する（Ｓ１００１）。Ｓ１００１において、ＣＰＵ１１１は以下の式１を用いて輝度ゲイン調整を実行する。以下の式１において、ｄはスキャナのＣＣＤセンサから出力されるＲＧＢ信号の信号値を示し、白色基準に基づいて正規化された後の信号値に変換されることを示している。ここで、白色基準とは、通常時に、どのレベルの白の信号値を、出力画像における輝度値２５５にするべきかという基準である。マルチクロップ処理がオフ時に輝度ゲイン調整後の輝度値が２５５となる信号値は、マルチクロップ処理がオン時の輝度ゲイン調整においては、２５５より暗い輝度値となるように調整されることとなる。ｄ’は輝度ゲイン調整後の信号値を示している。このように、Ｓ１００１の画像の輝度を調整する処理では、画像の各画素の輝度が線形に変換される。なお、本実施例において、マルチクロップ処理がオフに設定されているときの輝度ゲイン調整パラメータは２５５であり、実質的にはスルー相当の処理となる。これは、既に白色基準に基づいて正規化されている信号であるためである。ただし、必要に応じて、輝度ゲイン調整パラメータを変更してもよい。
The
ここで、図６の模式図を用いてＳ１００１における処理を説明する。図６（ａ）はマルチクロップ処理がオフに設定されている場合を示しており、図６（ｂ）はマルチクロップ処理がオンに設定されている場合を示している。ＣＰＵ１１１はＣＣＤセンサの出力を取得し、白色基準が２５５になるように正規化したあと（シェーディング補正後信号）に、式１を用いて調整後の信号値を算出する。たとえば、マルチクロップがオフに設定されている場合は、シェーディング補正後の信号値が２６０の場合、輝度ゲイン調整後の信号値は２６０になる。一方で、マルチクロップ処理がオンに設定されている場合、シェーディング補正後の信号値が２６０の場合、輝度ゲイン調整後の信号値は２５０．２になる。このように、マルチクロップ処理がオンに設定されている場合、輝度ゲイン調整後の信号値はマルチクロップがオフに設定されている場合よりも低くなり、画像全体が通常よりも暗い画像が生成される。
Here, the process in S1001 will be described with reference to the schematic diagram of FIG. FIG. 6A shows a case where the multi-crop process is set to off, and FIG. 6B shows a case where the multi-crop process is set to on. The
ＣＰＵ１１１は、輝度ゲイン調整後の信号値に対して、端数処理を実行する（Ｓ１００２）。Ｓ１００２においてＣＰＵ１１１は、輝度ゲイン調整後の信号値が２５５以上の領域の信号値をすべて２５５に置換する。たとえば、マルチクロップがオンに設定されている場合に、シェーディング補正後信号の値が２７５であった場合、輝度ゲイン調整後の信号値は２６５となる。ＣＰＵ１１１はＳ１００２において当該領域の信号値を端数処理し、２６５から２５５に変更する。このようにＣＰＵ１１１は、画像中のある輝度よりも明るい箇所を、所定の輝度で置換して出力する。また、Ｓ１００２においてＣＰＵ１１１は、小数点以下の値については、四捨五入を行う。
The
ここで、再度、図６（ａ）（ｂ）を参照し、Ｓ１００２において実行される端数処理を説明する。ここで、輝度値に言及する際の、（）内の数字は、輝度ゲイン調整後の信号値である。ＣＰＵ１１１は、輝度ゲイン調整後の輝度値が２５５を超える箇所について、出力信号を２５５に置換する。たとえば、図６（ａ）では、輝度ゲイン調整後の原稿台カバーの白色（２６０）や原稿の白色（２６５）は、２５５に置換される。図６（ｂ）では、輝度ゲイン調整後の原稿の白色（２５５）はそのまま２５５で出力され、第２の原稿の白色（２６５）は２５５に置換される。
Here, with reference to FIGS. 6A and 6B again, the fraction processing executed in S1002 will be described. Here, the numbers in parentheses when referring to luminance values are signal values after luminance gain adjustment. The
マルチクロップ処理がオフに設定されているときには、原稿台カバーの白色（２６０）と原稿の白色（２６５）はいずれも２５５に置換される。一方で、マルチクロップ処理がオンに設定されているときには、原稿台カバーの白色２６０と原稿の白色２６５は、輝度ゲイン調整によりそれぞれ（２５０．２）と（２５５）に変換されるため、端数処理後の輝度値にも差がでる。これにより、通常のスキャンでは検出することのできない原稿のエッジを検出できるようになる。本実施例では、マルチクロップ処理がＯＮに設定されている場合の輝度ゲイン調整パラメータを２６５としたが、より暗い値としても構わない。 When the multi-crop processing is set to OFF, the white (260) of the original plate cover and the white (265) of the original are both replaced with 255. On the other hand, when the multi-crop processing is set to ON, the white 260 of the document table cover and the white 265 of the document are converted into (250.2) and (255) by the brightness gain adjustment, respectively. There is also a difference in the later luminance values. As a result, it becomes possible to detect an edge of a document that cannot be detected by normal scanning. In this embodiment, the luminance gain adjustment parameter when the multi-crop processing is set to ON is 265, but a darker value may be used.
＜マルチクロップ座標検出処理の方法＞
次に、図９を用いて、図７のＳ６０３において実行される輝度原調整後の画像から各原稿の４頂点座標を検出する処理を説明する。図９に記載の処理を実行するためのプログラムはＲＯＭ１１７またはＨＤＤ１１９に記憶されている。ＣＰＵ１１１が当該プログラムを読み出して実行することにより処理が実現される。
<Method of multi-crop coordinate detection processing>
Next, a process for detecting the four vertex coordinates of each original from the image after the luminance original adjustment executed in S603 of FIG. 7 will be described with reference to FIG. A program for executing the processing illustrated in FIG. 9 is stored in the
なお、マルチクロップを行うための座標検出処理には様々な方法があるが、ここでは代表的な手法である輪郭検出し、検出した輪郭を元に４頂からなる矩形を検出する方法を説明する。他の方法を用いて原稿の輪郭を抽出し切り出す領域を決定するとしてもよい。 Note that there are various methods for coordinate detection processing for performing multi-crop. Here, a method of detecting a contour, which is a representative method, and detecting a rectangle composed of four vertices based on the detected contour will be described. . Another method may be used to determine the area to be extracted by extracting the outline of the document.
ＣＰＵ１１１は、ＨＤＤ１１９に記憶された輝度ゲイン調整後の画像をＲＡＭ１１８に展開する（Ｓ７００）。ＣＰＵ１１１は、ＨＤＤ１１９にＪＰＥＧ等で画像圧縮され、保存されている輝度ゲイン調整後の画像を、ＲＡＭ１１８に展開する。Ｓ７００では、図５（ｃ）に記載の輝度ゲイン調整後の画像がＲＡＭ１１８に展開される。
The
ＣＰＵ１１１は、Ｓ７００で展開した画像を原稿の座標検出処理に必要な画像へ変換する（Ｓ７０１）。Ｓ７０１においてＣＰＵ１１１が実行する処理とは、例えば、ＲＧＢの３チャンネルで構成されている画像をグレーの１チャンネルに変換するグレー化変換や、解像度を低解像度化等の処理である。Ｓ７０１に記載の処理は、以後の処理の高速化を行うための処理であり、Ｓ７０１に記載の処理を省略してもよい。
The
ＣＰＵ１１１は、Ｓ７０１において生成した画像からエッジ成分等の抽出処理を行い、エッジ部画像を生成する（Ｓ７０２）。Ｓ７０２において実行される処理は、各原稿のエッジ成分を抽出する方法であれば公知の方法でよく、例えば以下の方法等で実現される。
The
画像の輝度の勾配を見積もるＳｏｂｅｌ法やＰｒｅｗｉｔｔ法、Ｒｏｂｅｒｔｓ ｃｒｏｓｓ法を用いてエッジ箇所を抽出する。また、画像の輝度の勾配の連続性等を考慮したＣａｎｎｙ法を用いてもよい。さらに、エッジ抽出処理だけでなく、局所的な適応的二値化処理によって、局所的に異なる閾値処理を行うことでエッジを検出しても良い。さらに、Ｓ７０２において、ＣＰＵ１１１はこれらの方法の１つを実行してもよいし、複数の処理を行い各処理で得た結果を論理積演算（ＡＮＤ演算）し原稿のエッジを抽出してもよい。
Edge portions are extracted using the Sobel method, the Prewitt method, and the Roberts cross method for estimating the luminance gradient of the image. Alternatively, the Canny method may be used in consideration of the continuity of the brightness gradient of the image. Furthermore, not only edge extraction processing but also edge detection may be performed by performing locally different threshold processing by local adaptive binarization processing. Further, in S702, the
ＣＰＵ１１１は、Ｓ７０２で生成した画像のエッジ部画像から、数画素程度の塊で構成される孤立点除去を行う（Ｓ７０３）。数画素程度の小さな画素の塊は原稿のエッジ部ではなく、ノイズ等の可能性が高い。そこで以後の輪郭検出処理等で誤判定の原因となるノイズを除去するために、ＣＰＵ１１１は数画素程度の小さなエッジ部の塊を除去する。
The
ＣＰＵ１１１は、孤立点が除去された後のエッジ部画像に対しての線分連結処理を行う（Ｓ７０４）。エッジ部画像において、原稿のエッジ部の輝度の勾配が不均一であると、輪郭線が途中で途切れてしまう場合がある。Ｓ７０３において、ＣＰＵ１１１は途切れた輪郭線を連結させるための直線連結処理を実行する。Ｓ７０３において実行される処理は公知の方法の処理である。例えば、ハフ変換等の手法により線分を連結する。また、画像の膨張処理により線分を連結するとしてもよい。図１０（ａ）はＳ７０１からＳ７０４までの処理を行った後の画像である。｛０，０｝、｛Ｘ，０｝、｛０、Ｙ｝、｛Ｘ，Ｙ｝で囲まれる画像８００はスキャンした画像全体を示している。
The
ＣＰＵ１１１は、生成されたエッジ部画像からエッジ部で囲まれる輪郭を抽出する（Ｓ７０５）。ＣＰＵ１１１は、エッジ部分を示す画素の連結性を見ながら輪郭を検出する。さらに、ＣＰＵ１１１は輪郭線の曲線方向が変わる点となる輪郭の変曲点の座標等を取得する。
The
ＣＰＵ１１１は、Ｓ７０５で検出した変曲点の座標を用いて、画像から矩形を検出する（Ｓ７０６）。ＣＰＵ１１１はＳ７０５で検出した変曲点の座標と、連続したエッジ線で囲まれる矩形を検出する。手法としては、例えば、エッジの線によって連結しているオブジェクトの外接矩形を検出する方法などがある。
The
ＣＰＵ１１１は、Ｓ７０６で検出された矩形から原稿のエッジ部分となる矩形を選択する（Ｓ７０７）。たとえば、図１０（ａ）の原稿Ａをスキャンした場合、原稿のエッジ部を示す矩形と、原稿Ａに印刷されているテーブルを構成する矩形が複数検出される。そこで、複数の矩形から原稿Ａの縁となる箇所を選択する必要がある。Ｓ７０７において、ＣＰＵ１１１は、複数の矩形のうち、最も外側にある矩形のみを有効な矩形と判断し、別の矩形に内包された矩形を無効な矩形とする。これにより、原稿の紙片で形成される矩形は有効な矩形となるが、原稿内にある表図などの矩形は無効な矩形として判定される。
The
ＣＰＵ１１１は、Ｓ７０１において画像サイズを縮小等している場合には、有効な矩形の各頂点の座標を入力された画像サイズでの座標に変換する（Ｓ７０８）。Ｓ７０１において、画像サイズを変換していない場合、当該処理を省略する。
If the image size is reduced in S701, the
ＣＰＵ１１１は、各原稿の４頂点座標をＨＤＤ１１９に格納する（Ｓ７０９）。なお、座標データの格納先は記憶装置１１２のいずれであってもよい。
The
図１０（ｂ）は検出した各原稿の４頂点座標を示す模式図である。左上を原点とする幅Ｘピクセル、高さＹピクセル面積の画像である。画像８００から原稿Ａ８０１、原稿Ｂ８０２、原稿Ｃ８０３のそれぞれに対応する。７００から７０９の処理によって、画像８００を各原稿の画像を分割し、その画像の４頂点の座標値を取得する。本実施例では、８０１（原稿Ａ）の場合、８０１の４頂点である８０１｛ｘ１，ｙ１｝、８０１｛ｘ２，ｙ２｝、８０１｛ｘ３，ｙ３｝、８０１｛ｘ４，ｙ４｝の座標値を取得する。なお、取得した原稿の枚数分の４頂点を取得する（８０１｛ｘｉ，ｙｉ｝〜８０３｛ｘｉ，ｙｉ｝：（ｉ＝１〜４））。
FIG. 10B is a schematic diagram showing the four vertex coordinates of each detected original. It is an image having a width X pixel area and a height Y pixel area with the upper left as the origin. The
＜画像輝度調整処理の方法＞
次に、図７のＳ６０４において、ＣＰＵ１１１が実行する画像の輝度調整処理について図１１を用いて説明する。図１１に記載の処理を実行するためのプログラムはＲＯＭ１１７、または、ＨＤＤ１１９等に記憶される。ＣＰＵ１１１がＲＯＭ１１７またはＨＤＤ１１９に記憶された制御プログラムを実行することにより処理が実現される。
<Image brightness adjustment processing method>
Next, image brightness adjustment processing executed by the
図７のＳ６０２で輝度ゲイン調整がなされた画像は通常のスキャン画像よりも画像全体が暗くなっており、保存・送信用の画像には適さない。そこで、Ｓ６０４において、ＣＰＵ１１１は画像の明るさを明るくし、外部に送信して保存する用の画像を生成する。どの程度まで画像の輝度を明るくするかは任意に設定されるものとしてよいが、マルチクロップ処理がオフに設定されているときと同程度まで明るくすることが望ましい。
The image whose luminance gain is adjusted in S602 in FIG. 7 is darker than the normal scan image, and is not suitable for an image for storage / transmission. In step S604, the
画像輝度調整処理では、画像全体の輝度を明るく補正できればよく、その手法は限定しない。ここでは、例として３例を説明する。本実施例では、以下の３例のうちいずれかを用いて画像の輝度を調整するものとする。 In the image brightness adjustment process, it is sufficient that the brightness of the entire image can be corrected brightly, and the method is not limited. Here, three examples will be described as an example. In the present embodiment, the luminance of the image is adjusted using any one of the following three examples.
１つ目の手法は、ガンマ補正処理を用いて画像の輝度を明るく補正する方法である。図１１は画像輝度調整処理のフローを示すフローチャートである。図１１に記載の処理を実現するためのプログラムはＲＯＭ１１７または、ＨＤＤ１１９に記憶されており、ＣＰＵ１１１が当該プログラムを読出し実行することで処理が実現する。
The first method is a method of correcting the brightness of an image brightly using gamma correction processing. FIG. 11 is a flowchart showing the flow of image brightness adjustment processing. A program for realizing the processing illustrated in FIG. 11 is stored in the
ＣＰＵ１１１は、画像の信号値をＲＧＢ色空間からＹＵＶ色空間へ変換する（Ｓ１１００）。Ｓ１１００においては、変換後の色空間をＹＵＶ色空間としたが、変換後の色空間はＹＣｂＣｒ色空間など輝度と色差で構成される色空間であればよい。
The
ＣＰＵ１１１は、Ｓ１１００において以下の式２を用いてＲＧＢからＹＵＶへの変換を行う。
Ｙ＝ ０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ
Ｕ＝−０．１６９×Ｒ−０．３３１×Ｇ＋０．５００×Ｂ・・・（式２）
Ｖ＝ ０．５００×Ｒ−０．４１９×Ｇ−０．０８１×Ｂ
In step S1100, the
Y = 0.299 × R + 0.587 × G + 0.114 × B
U = −0.169 × R−0.331 × G + 0.500 × B (Expression 2)
V = 0.500 × R−0.419 × G−0.081 × B
ＣＰＵ１１１は、輝度信号であるＹ信号を明るくなるようにガンマ補正処理を実行する（Ｓ１１０１）。ＣＰＵ１１１は、変換後のＹ信号の信号値を以下の式３を用いて補正する。
The
図１２は、γ値を２．０の場合の変換テーブルである。γ値はマルチクロップ処理がオンに設定されているときの輝度ゲイン調整パラメータの値に基づいて値を決定される。即ち、輝度ゲイン調整を実行するときにどの程度、画像が暗くなるよう設定したかに応じて決まる。ガンマ値は予めＲＯＭ１１７、またはＨＤＤ１１９に記憶されているとする。図１２において、横軸は入力信号、縦軸は出力信号を示している。Ｓ１１０１に記載の処理を行うことによって、画像全体が明るく補正される。
FIG. 12 is a conversion table when the γ value is 2.0. The γ value is determined based on the value of the luminance gain adjustment parameter when the multi-crop processing is set to ON. That is, it is determined according to how much the image is set to be dark when the brightness gain adjustment is executed. It is assumed that the gamma value is stored in the
ＣＰＵ１１１は、Ｓ１１０１における補正後のＹ’の信号値と、Ｓ１１００における変換後のＵとＶを用いて、Ｒ’Ｇ’Ｂ’値を算出する（Ｓ１１０２）。ＣＰＵ１１１は、以下の式４を用いてＹＵＶ信号をＲＧＢへ変換する。ＣＰＵ１１１は補正後の画像をＨＤＤ１１９に格納する。
Ｒ’＝１．０００×Ｙ’＋１．４０２×Ｖ
Ｇ’＝１．０００×Ｙ’−０．３４４×Ｕ−０．７１４×Ｖ・・・（式４）
Ｂ’＝１．０００×Ｙ’＋１．７７２×Ｕ
The
R ′ = 1.000 × Y ′ + 1.402 × V
G ′ = 1.000 × Y′−0.344 × U−0.714 × V (Formula 4)
B ′ = 1.000 × Y ′ + 1.772 × U
図１１に記載の処理を実行することで、図７Ｓ６０２において生成された画像全体の輝度を明るく補正することができる。図５（ｄ）は、図５（ｃ）を入力画像として入れて、本処理を施した画像の図であり、標準の輝度で取得した画像である図５（ｂ）と近い輝度の画像になる。このようにすることで、原稿のエッジ部を抽出しやすいよう、全体を暗く補正した画像から、保存に適した明るい画像を得ることができる。上記の方法では、ＲＧＢ値を輝度と色差で構成される色空間に変換し輝度信号のみを調整する。このようにすることで、画像の輝度を明るくした後も、画像に含まれる色差を保つことができる。 By executing the processing shown in FIG. 11, the brightness of the entire image generated in FIG. 7S602 can be corrected brightly. FIG. 5D is a diagram of an image obtained by applying FIG. 5C as an input image and subjected to this processing, and an image having a luminance close to that of FIG. 5B, which is an image acquired at a standard luminance. Become. In this way, a bright image suitable for storage can be obtained from an image that has been darkly corrected so that the edge portion of the document can be easily extracted. In the above method, RGB values are converted into a color space composed of luminance and color difference, and only the luminance signal is adjusted. In this way, the color difference included in the image can be maintained even after the brightness of the image is increased.
２つ目の手法として、１つ目の処理よりも簡易的な手法で画像の輝度を調整する方法を説明する。２つ目の手法では、ＲＧＢ空間から他の色空間への変換を行うことなく画像の輝度を明るくする。ＣＰＵ１１１は、ＲＧＢ信号を取得して、以下の式５を用いてＲ’Ｇ’Ｂ’信号へ変換する。
As a second method, a method of adjusting the brightness of an image by a simpler method than the first process will be described. In the second method, the brightness of the image is increased without performing conversion from the RGB space to another color space. The
上記の変換式で画像全体の輝度を上げて変換することができる。 The above conversion formula can be converted by increasing the luminance of the entire image.
上記で説明したガンマ補正処理を用いて画像の輝度を明るく補正する方法により、スキャン時に通常より暗く設定しスキャンした画像の明るさを通常と同等の明るさに変換することができる。しかし、「スキャンして送信」機能において、Ｓ４１１の画像形成処理における画像処理として、上記とは異なるガンマ補正処理（以後、画像形成内のガンマ補正と表記）が行われるように予め設定されている場合がある。画像形成内のガンマ補正処理は、例えば、スキャン対象原稿がもともと白い紙であったとしても、紙の質やスキャナの光源やセンサーの状態によっては若干の下地色が付く場合があるので、その下地色を消すなどの目的で行われるものである。そこで、Ｓ４１１において画像形成内のガンマ補正が行われた場合、一度処理された画像形成内のガンマ補正の効果を消したうえで、輝度補正を行い、再度画像形成内のガンマ補正を行うようにしてもよい。 By the method of correcting the brightness of the image brightly using the gamma correction process described above, it is possible to convert the brightness of the scanned image to a brightness equivalent to the normal brightness by setting it to be darker than normal at the time of scanning. However, in the “scan and send” function, gamma correction processing (hereinafter referred to as gamma correction in image formation) different from the above is performed as image processing in the image forming processing in S411. There is a case. The gamma correction processing in image formation is, for example, that even if the document to be scanned is originally white paper, it may have a slight background color depending on the quality of the paper and the light source and sensor status of the scanner. This is done for the purpose of erasing the color. Therefore, when the gamma correction in the image formation is performed in S411, the brightness correction is performed after the effect of the gamma correction in the image formation once processed is deleted, and the gamma correction in the image formation is performed again. May be.
図１９は画像輝度調整処理のフローを示すフローチャートである。図１９に記載の処理を実現するためのプログラムはＲＯＭ１１７または、ＨＤＤ１１９に記憶されており、ＣＰＵ１１１が当該プログラムを読出し実行することで処理が実現する。
FIG. 19 is a flowchart showing the flow of image brightness adjustment processing. A program for realizing the processing illustrated in FIG. 19 is stored in the
ＣＰＵ１１１は、画像形成内のガンマ補正の効果を消す（逆関数をかける）ような変換を行う（Ｓ１１０３）。例えば、画像形成内において入力される輝度に対し、１．８乗（または、１．０乗〜３．０乗程度）の値を用いたガンマ補正が実行される。
The
上記の変換式で画像形成内のガンマ補正の効果を消す（逆関数をかける）ような変換を行うことができる。 Conversion that eliminates the effect of gamma correction in image formation (by applying an inverse function) can be performed using the above conversion formula.
その後、ＣＰＵ１１１は、画像の輝度を調整するための変換を行う（Ｓ１１０４）。例えば、入力される信号値に対し特定の係数をかけることによって輝度を調整することができる。
Ｒ′＝Ｒ×ｒａｔｅ この際、ｒａｔｅ＞１．０とする
Ｇ′＝２５５×ｒａｔｅ この際、ｒａｔｅ＞１．０とする・・・（式７）
Ｂ′＝２５５×ｒａｔｅ この際、ｒａｔｅ＞１．０とする
Thereafter, the
R ′ = R × rate At this time, rate> 1.0 G ′ = 255 × rate At this time, rate> 1.0 (Expression 7)
B ′ = 255 × rate At this time, rate> 1.0
更に、その後、ＣＰＵ１１１は、画像形成内のガンマ補正と同等のガンマ補正をかけるような変換を行う（Ｓ１１０５）。例えば、画像形成内において入力される輝度に対し、１／１．８乗（または、１／１．０乗〜１／３．０乗程度）の値を用いたガンマ補正が実行される。
Further, after that, the
上記の変換式で画像形成内のガンマ補正と同等のガンマ補正を行う変換を行うことができる。 With the above conversion formula, it is possible to perform conversion for performing gamma correction equivalent to gamma correction in image formation.
３つ目の手法として、３次元ＬＵＴ（ＬｏｏｋＵｐ Ｔａｂｌｅ）による変換処理を説明する。ここで扱う３次元ＬＵＴは、入力されたＲＧＢデータを変換して、別のＲＧＢデータへ変換するために利用するものである。３次元ＬＵＴの構成を概念的に表すと図２０のようになり、Ｒ、Ｇ、Ｂの３方向に０〜２５５の直行軸を設ける。これは、入力されたＲＧＢデータの１画素ごとに対応した軸である。この直行軸上には離散的にＬＵＴのエントリーポイントが配置されており、各エントリーポイントには３次元ＬＵＴのＲＧＢ出力値が格納されている。以後、このエントリーポイントを格子点と呼称する。図１３は、格子点間隔が１７の場合の格子点テーブルの例である。図１３の入力Ｒ，入力Ｇ、入力Ｂは、図２０の直行軸上の座標である。出力Ｒ、出力Ｇ，出力Ｂは、入力Ｒ，入力Ｇ、入力Ｂの組み合わせに対応する出力値である。たとえば、入力Ｒ，入力Ｇ、入力Ｂが（０，０，１７）であった場合の出力Ｒ、出力Ｇ，出力Ｂは（０，０，１９）となる。 As a third method, a conversion process using a three-dimensional LUT (LookUp Table) will be described. The three-dimensional LUT handled here is used to convert input RGB data and convert it into other RGB data. A conceptual representation of the configuration of the three-dimensional LUT is as shown in FIG. This is an axis corresponding to each pixel of the input RGB data. LUT entry points are discretely arranged on the orthogonal axis, and RGB output values of the three-dimensional LUT are stored in each entry point. Hereinafter, this entry point is referred to as a grid point. FIG. 13 is an example of a lattice point table when the lattice point interval is 17. FIG. Input R, input G, and input B in FIG. 13 are coordinates on the orthogonal axis in FIG. Output R, output G, and output B are output values corresponding to combinations of input R, input G, and input B. For example, when the input R, input G, and input B are (0, 0, 17), the output R, output G, and output B are (0, 0, 19).
３次元ＬＵＴには、格子点に対応するＲＧＢ値以外も入力される。そのような場合には、補間処理により出力のＲＧＢ値を決定する。具体的には、入力ＲＧＢ値が３次元ＬＵＴに入力されたとき、その座標を包括する４つの格子点すなわち三角錐の頂点となる格子を決定する。そして、各格子が持つ出力ＲＧＢ値と、各格子と入力ＲＧＢ値の座標の距離をもとに線形補間をして、出力ＲＧＢ値を決定する。より詳細には特開２００５−３５４４２１号公報などで説明がなされているものである。 Other than the RGB values corresponding to the grid points are also input to the three-dimensional LUT. In such a case, output RGB values are determined by interpolation processing. Specifically, when the input RGB value is input to the three-dimensional LUT, four lattice points including the coordinates, that is, the lattice serving as the apex of the triangular pyramid are determined. Then, an output RGB value is determined by performing linear interpolation based on the output RGB value of each grid and the distance between the coordinates of each grid and the input RGB value. More details are described in JP-A-2005-354421.
例えば入力画素信号Ｐを包括する４格子が図２１に示すとおりになった場合をもとに説明すると、該４格子はＣ０、Ｃ１、Ｃ２、Ｃ３のようになる。 For example, a description will be given based on the case where four grids including the input pixel signal P are as shown in FIG. 21. The four grids are C0, C1, C2, and C3.
夫々の格子に格納されている出力ＲＧＢ値を
Ｃ０：（Ｒ＿Ｃ０、Ｇ＿Ｃ０、Ｂ＿Ｃ０）
Ｃ１：（Ｒ＿Ｃ１、Ｇ＿Ｃ１、Ｂ＿Ｃ１）
Ｃ２：（Ｒ＿Ｃ２、Ｇ＿Ｃ２、Ｂ＿Ｃ２）
Ｃ３：（Ｒ＿Ｃ３、Ｇ＿Ｃ３、Ｂ＿Ｃ３）
とし、格子間の距離をＮとする。
The output RGB values stored in the respective grids are represented as C0: (R_C0, G_C0, B_C0).
C1: (R_C1, G_C1, B_C1)
C2: (R_C2, G_C2, B_C2)
C3: (R_C3, G_C3, B_C3)
And the distance between the lattices is N.
また、これら４つの格子が選択された時点で、各格子と入力ＲＧＢ値の座標の距離をもとにＡ０、Ａ１、Ａ２，Ａ３の重み係数が算出される。 Further, when these four grids are selected, the weighting coefficients A0, A1, A2, and A3 are calculated based on the distances between the coordinates of the grids and the input RGB values.
そして入力ＲＧＢ信号に対する３次元ＬＵＴの出力ＲＧＢ値Ｒ２、Ｇ２、Ｂ２は
Ｒ２＝（Ａ０×Ｒ＿Ｃ０＋Ａ１×Ｒ＿Ｃ１＋Ａ２×Ｒ＿Ｃ２＋Ａ３×Ｒ＿Ｃ３）／Ｎ
Ｇ２＝（Ａ０×Ｇ＿Ｃ０＋Ａ１×Ｇ＿Ｃ１＋Ａ２×Ｇ＿Ｃ２＋Ａ３×Ｇ＿Ｃ３）／Ｎ
Ｂ２＝（Ａ０×Ｂ＿Ｃ０＋Ａ１×Ｂ＿Ｃ１＋Ａ２×Ｂ＿Ｃ２＋Ａ３×Ｂ＿Ｃ３）／Ｎ
のように線形補間し、導出される。このようにして、３次元ＬＵＴを利用することにより、入力されたＲＧＢ信号を非線形に変換して、異なる色空間特性を持つＲＧＢ信号を出力することが可能となる。なお、格子点の数を増やすことにより、補間演算精度が向上するが、使用メモリ量増加とのトレードオフとなる。
The output RGB values R2, G2, and B2 of the three-dimensional LUT for the input RGB signal are R2 = (A0 × R_C0 + A1 × R_C1 + A2 × R_C2 + A3 × R_C3) / N
G2 = (A0 * G_C0 + A1 * G_C1 + A2 * G_C2 + A3 * G_C3) / N
B2 = (A0 × B_C0 + A1 × B_C1 + A2 × B_C2 + A3 × B_C3) / N
It is derived by linear interpolation as follows. In this way, by using the three-dimensional LUT, it is possible to convert input RGB signals nonlinearly and output RGB signals having different color space characteristics. Note that increasing the number of grid points improves the interpolation calculation accuracy, but this is a trade-off with an increase in the amount of memory used.
Ｓ６０２において、輝度ゲイン調整後のＲＧＢ信号は、ｓＲＧＢ等の規格化されたＲＧＢ信号へ変換される。これは、輝度ゲイン調整後のＲＧＢ信号は、光学デバイスに依存した特性を持っているだけであるためである。その変換には、ガンマ補正のための１次元ＬＵＴと３次元ＬＵＴが組み合わせて利用される場合が多い。このような変換は、一般的に非線形な変換であり、単純な線形演算処理では対応が出来ないためである。 In S602, the RGB signal after luminance gain adjustment is converted into a standardized RGB signal such as sRGB. This is because the RGB signal after luminance gain adjustment only has characteristics depending on the optical device. For the conversion, a one-dimensional LUT and a three-dimensional LUT for gamma correction are often used in combination. This is because such conversion is generally non-linear conversion and cannot be handled by simple linear arithmetic processing.
ここで利用される３次元ＬＵＴのパラメータは、マルチクロップがオフに設定されている通常スキャン時に最適化して設計されていることが想定される。このような場合には、Ｓ６０２で非線形の変換が行われているため、Ｓ６０４の輝度調整処理において線形の処理を行っても、通常スキャン時と同等のＲＧＢ値に戻すことは出来ない。このような場合には、本ステップにおいても、３次元ＬＵＴを利用して、ＲＧＢ信号の変換を行うことにより、輝度調整処理を行う。 It is assumed that the parameters of the three-dimensional LUT used here are optimized and designed during normal scanning in which multi-crop is set to off. In such a case, since non-linear conversion is performed in S602, even if linear processing is performed in the luminance adjustment processing in S604, it is not possible to return to RGB values equivalent to those during normal scanning. In such a case, also in this step, luminance adjustment processing is performed by converting RGB signals using a three-dimensional LUT.
続いて、この輝度調整用の輝度調整３次元ＬＵＴの作成方法について、図２２を用いて説明を行う。図２２（ａ）は、マルチクロップ設定がオフの際のＲＧＢ信号の流れを表現している。入力ＲＧＢ２２０１は、シェーディング補正を行い、画像の輝度を所定の白基準に基づいて正規化された信号である。この信号に対して、輝度ゲイン調整を行うが、マルチクロップ設定がオフの際には、スルー相当の処理しかされない。そのため、輝度ゲイン調整後ＲＧＢ２２０２と入力ＲＧＢ２２０１は同等の信号となる。ただし、信号値が２５５以上の領域の信号値を２５５に置換する処理は行う。この後に、ガンマ補正１次元ＬＵＴによる処理と、色空間変換３次元ＬＵＴによる処理により、規格化されたＲＧＢへ
変換されたものが通常出力ＲＧＢ２２０３である。これ以降の処理は、マルチクロップ設定がオフであるため施されない。
Next, a method of creating the brightness adjustment three-dimensional LUT for brightness adjustment will be described with reference to FIG. FIG. 22A represents the flow of RGB signals when the multi-crop setting is off. The input RGB 2201 is a signal obtained by performing shading correction and normalizing the luminance of the image based on a predetermined white standard. The luminance gain adjustment is performed on this signal, but when the multi-crop setting is off, only processing equivalent to through is performed. Therefore,
図２２（ｂ）は、マルチクロップ設定がオンの際の、ＲＧＢ信号の流れを表現している。入力ＲＧＢ２２０４は、シェーディング補正を行い、画像の輝度を所定の白基準に基づいて正規化された信号である。この信号は、入力ＲＧＢ２２０１と同等の信号である。この信号に対して、輝度ゲイン調整を行い、輝度ゲイン調整後ＲＧＢ２２０５とする。この後に、ガンマ補正１次元ＬＵＴによる処理と、色空間変換３次元ＬＵＴによる処理により生成されるのが、輝度調整前ＲＧＢ２２０６である。この輝度調整前ＲＧＢ２２０６を生成する際の、ガンマ補正１次元ＬＵＴと、色空間変換３次元ＬＵＴは、図２２（ａ）のものと同一のパラメータのＬＵＴである。ただし、輝度ゲイン調整が行われているため、通常出力ＲＧＢ２２０３と輝度調整前ＲＧＢ２２０６は、同一の出力とはならない。この信号が輝度調整３次元ＬＵＴとクロップ座標検出処理の入力信号となる。Ｓ６０４の輝度調整処理の目的は、輝度調整前ＲＧＢ２２０６を変換して、通常出力ＲＧＢ２２０３と同等の信号とすることである。つまり、輝度調整３次元ＬＵＴ２２０１は、輝度調整前信号２２０６を変換し、出力される輝度調整後信号２２０７を、通常出力ＲＧＢ２２０３と同等にすることが役務となる。なお、補間演算の精度や、ビット精度の問題で、完全に同一にはならないため、同等の出力とすることが目的となる。
FIG. 22B represents the flow of RGB signals when the multi-crop setting is on. The input RGB 2204 is a signal obtained by performing shading correction and normalizing the luminance of the image based on a predetermined white standard. This signal is equivalent to the input RGB 2201. A luminance gain adjustment is performed on this signal to obtain
そのための輝度調整３次元ＬＵＴ２２０１のパラメータの求め方について、続いて説明をする。まず、入力ＲＧＢ２２０１と入力ＲＧＢ２２０４のＲＧＢ値が同一である場合の、通常出力ＲＧＢ２２０３のＲＧＢ値と、輝度調整前ＲＧＢ２２０７のＲＧＢ値の組み合わせを求める。入力ＲＧＢ２２０１と入力ＲＧＢ２２０４のＲＧＢ値を変化させることにより、種々の組み合わせを求め、組み合わせ表とする。ＲＧＢ値は、Ｒ，Ｇ，Ｂそれぞれについて、０からＸまで変化させる。Ｘは、図２２（ｂ）の輝度ゲイン調整後ＲＧＢ２２０５で２５５の信号値となる入力ＲＧＢ２２０４の信号値の中で最少となる値である。本実施例においては、図６（ｂ）からわかるように、２６５である。この組み合わせ表は、輝度調整３次元ＬＵＴ２２０１の入力と出力の組み合わせとなる。入力が、輝度調整前ＲＧＢ２２０６のＲＧＢ値であり、出力が通常出力ＲＧＢ２２０３のＲＧＢ値である。この組み合わせ表から、３次元ＬＵＴの格子点に格納されるＲＧＢ値を求めれば、輝度調整３次元ＬＵＴ２２０１のパラメータを求められることになる。ここで、格子点の座標は、輝度調整前ＲＧＢ２２０７のＲＧＢ値であり、その格子点に格納される値が該当する輝度調整前ＲＧＢ２２０７のＲＧＢ値と組になる通常出力ＲＧＢ２２０３のＲＧＢ値である。組み合わせ表に、格子点座標の輝度調整前ＲＧＢ２２０７のＲＧＢ値が存在しない場合には、格子点座標の周囲の座標の組となる通常出力ＲＧＢ２２０３のＲＧＢ値を補間して、格子点に格納される値とする。このようにして、非線形の輝度調整処理が可能な、輝度調整３次元ＬＵＴを作成することが可能となる。
A method for obtaining the parameters of the luminance adjustment three-dimensional LUT 2201 for that purpose will be described subsequently. First, when the RGB values of the input RGB 2201 and the input RGB 2204 are the same, a combination of the RGB value of the
ここまで、説明した手法は、３次元ＬＵＴでの処理を２回行う必要がある。しかしながら、３次元ＬＵＴでの処理は、計算コストが高い。また、輝度調整３次元ＬＵＴの処理を、外部サーバーで行う際などは、機種ごとの輝度調整３次元ＬＵＴを外部サーバー側に保持する必要がある。このような課題を解決するために、３次元ＬＵＴを１回だけ利用する方法について、図２２（ｃ）（ｄ）を用いて説明を行う。図２２（ｃ）は、図２２（ｂ）における輝度調整３次元ＬＵＴ２２０１を分割して、非線形補正３次元ＬＵＴ２２０３と輝度調整１次元ＬＵＴ２２０４として、クロップ座標検出処理の前後に配置している。ここで、輝度調整１次元ＬＵＴ２２０４は、輝度ゲインをもとに戻すことだけを行う。具体的には、Ｒ，Ｇ，Ｂの信号ごとに下記の式６を利用して計算する。
Up to this point, the described method needs to perform the process in the three-dimensional LUT twice. However, the processing with the three-dimensional LUT has a high calculation cost. Further, when the brightness adjustment three-dimensional LUT processing is performed by an external server, it is necessary to hold the brightness adjustment three-dimensional LUT for each model on the external server side. In order to solve such a problem, a method of using the three-dimensional LUT only once will be described with reference to FIGS. In FIG. 22C, the luminance adjustment three-dimensional LUT 2201 in FIG. 22B is divided and arranged as a non-linear correction three-
ここで、ＩＮは輝度調整１次元ＬＵＴ２２０４の入力であり、ＯＵＴは輝度調整１次元ＬＵＴ２２０４の出力である。ここで、ＯＵＴの値が２５５を超える場合には、２５５とする処理を行う。輝度ゲイン調整パラメータは、式１のもとの同一の値を利用する。本実施例においては、２６５であるが、式１と同一のパラメータであれば、他の値でも良い。式６は、式１で信号値にかけた輝度ゲイン調整処理をもとに戻す処理となる。しかしながら、ガンマ補正１次元ＬＵＴおよび色空間変換３次元ＬＵＴの処理を、考慮していない。そこで、その部分については、非線形補正３次元ＬＵＴ２２０３で吸収を行う。つまり、非線形補正３次元ＬＵＴ２２０３は、色空間変換後ＲＧＢ２００８を処理し、出力される輝度調整前信号２２０９を、輝度調整１次元ＬＵＴ２２０４でさらに処理した後に、通常出力ＲＧＢ２２０３と同等にすることが役務となる。なお、補間演算の精度や、ビット精度の問題で、完全に同一にはならないため、同等の出力とすることが目的となる。
Here, IN is an input of the luminance adjustment one-dimensional LUT 2204, and OUT is an output of the luminance adjustment one-dimensional LUT 2204. Here, when the value of OUT exceeds 255, the process of 255 is performed. The luminance gain adjustment parameter uses the same value as in
非線形補正３次元ＬＵＴ２２０３のパラメータの求め方について、続いて説明をする。まず、輝度調整３次元ＬＵＴ２２０１のパラメータを求めた際と同一の組み合わせ表を求める。ここで入力値は、輝度調整３次元ＬＵＴ２２０１のパラメータを求める際には、輝度調整前ＲＧＢ２２０７であったが、今回は、色空間変換後ＲＧＢ２２０８となるが、両者の値は同一である。続いて、この組み合わせ表の出力値（通常出力ＲＧＢ２２０３のＲＧＢ値）の値を式１を利用して変換する。これは、今回求めたいのは、非線形補正３次元ＬＵＴの出力である輝度調整前ＲＧＢ２２０９であるためである。変換後の値を輝度調整１次元ＬＵＴで処理すると、輝度調整後ＲＧＢ２２１０と通常出力ＲＧＢ２２０３が同等の値となる。ただし、このままでは、輝度調整前ＲＧＢ２２０９は０から２５５×２５５／輝度ゲイン調整パラメータの値しか持たなくなる。輝度ゲイン調整パラメータが２６５のときには、約２４５である。クロップ座標検出処理のためには、２５５に近い部分の値が重要であるため、非線形補正３次元ＬＵＴ２２０３の出力値としては、２５５付近の値を保持するようにすることが望ましい。そこで、変換後の出力値が２５５×２５５／輝度ゲイン調整パラメータの値である場合は、入力値の信号値をそのまま出力値とするように補正を行う。補正後の出力値が２５５×２５５／輝度ゲイン調整パラメータの値を下回った場合には、補正後の出力値を２５５×２５５／輝度ゲイン調整パラメータの値のままとする。このような補正処理を行っても、輝度調整１次元ＬＵＴ２２０４の処理で２５５とされるため問題は生じない。具体的な例を図２３に示す。図２３は、輝度ゲイン調整パラメータが２６５である場合の、組み合わせ表のから２種類の組み合わせの例を示したものである。組み合わせＩｎｄｅｘ１の場合については、出力値ＲＧＢ（８０、５３、１２４）が変換され、式１による変換後出力値ＲＧＢ（７７．０、５１．０、１１９．３）となる。補正処理は、補正条件（２５５×２５５／２６５≒２４５．４）を満たすＲＧＢ値がないので施されず、補正処理後出力値は変換後出力と同一になる。補正処理後出力値ＲＧＢが、輝度調整１次元ＬＵＴ２２０４で処理されると、輝度調整後ＲＧＢ（８０、５３、１２４）となり、出力値ＲＧＢと同一となり、正しい変換処理となっていることが分かる。組み合わせＩｎｄｅｘ２の場合については、出力値ＲＧＢ（２２８、２５５、２５５）が変換され、式１による変換後出力値ＲＧＢ（２１９．４、２４５．４、２４５．４）となる。補正処理は、補正条件（２５５×２５５／２６５＝２４５．４）を満たすＲＧＢ値であるＧおよびＢに対して施される。Ｇについては、入力値が２４３であり、２４５．４を下回るため、２４５．４のままとなる。Ｂについては、入力値が２５０であり、２４５．４を上回るため、２５０となる。結果として、補正処理後出力値ＲＧＢは（２１９．４、２４５．４、２５０）となる。この補正処理後出力値ＲＧＢが、輝度調整１次元ＬＵＴ２２０４で処理されると、輝度調整後ＲＧＢ（２２８、２５５、２５５）となり、出力値ＲＧＢと同一となり、正しい変換処理となっていることが分かる。なお、Ｂについては、２５５を超える値を２５５とする処理が働いている。このようにして計算する補正処理後出力値のＲＧＢを非線形補正３次元ＬＵＴ２２０３の出力とする。そして、色空間変換後ＲＧＢ２２０８を非線形補正３次元ＬＵＴ２２０３の入力とする。この入出力の組み合わせ表から、３次元ＬＵＴの格子点に格納されるＲＧＢ値を求めれば、非線形補正３次元ＬＵＴ２２０３のパラメータを求められることになる。ここで、格子点の座標は、色空間変換後ＲＧＢ２２０８のＲＧＢ値であり、その格子点に格納される値が該当する色空間変換後ＲＧＢ２２０８のＲＧＢ値と組になる補正処理後出力値のＲＧＢ値である。組み合わせ表に、格子点座標の色空間変換後ＲＧＢ２２０８のＲＧＢ値が存在しない場合には、格子点座標の周囲の座標の組となる補正処理後出力値のＲＧＢ値を補間して、格子点に格納される値とする。このようにして、非線形の輝度調整処理が可能な、輝度調整１次元ＬＵＴと組み合わせることが可能な、非線形補正３次元ＬＵＴを作成することが可能となる。こうして作成した非線形補正３次元ＬＵＴ２２０３は、色空間変換３次元ＬＵＴ２２０２と合成することが可能である。それを示したのが、図２２（ｄ）である。図２２（ｄ）において、色空間変換＆非線形補正３次元ＬＵＴ２２０５は、色空間変換３次元ＬＵＴ２２０２と非線形補正３次元ＬＵＴ２２０３を合成したものである。合成することによって、３次元ＬＵＴ処理を１回にすることが可能となる。
Next, how to determine the parameters of the nonlinear correction three-
以上のように３次元ＬＵＴを用いることにより、マルチクロップ処理がオフ時の処理で非線形な処理が施されている場合であっても、マルチクロップ処理がオン時の最終的な信号値をマルチクロップ処理がオフ時の信号と同等の信号とすることが可能となる。 As described above, by using the three-dimensional LUT, even when non-linear processing is performed when multi-crop processing is off, the final signal value when multi-crop processing is on is multi-crop. It becomes possible to make the signal equivalent to the signal when the processing is off.
なお、本実施例では３つの画像輝度調整処理を説明したが、画像の輝度を調整する方法を限定するものではなく画像全体を明るくできる手法であれば上記以外の方法を用いるとしてもよい。 In the present embodiment, three image brightness adjustment processes have been described. However, the method for adjusting the brightness of the image is not limited, and any method other than the above may be used as long as it can brighten the entire image.
＜画像クロッピング出力処理の方法＞
次に、図１４はＣＰＵ１１１が原稿に対応する画像を切り出して出力、保存する処理を示すフローチャートである。図１４に記載の処理を実行するためのプログラムは、ＲＯＭ１１７またはＨＤＤ１１９に記憶されており、ＣＰＵ１１１が当該プログラムを実行することにより処理が実現される。
<Image cropping output processing method>
Next, FIG. 14 is a flowchart showing processing in which the
ＣＰＵ１１１は、図７Ｓ６０４においてＨＤＤ１１９に格納されている画像をＲＡＭ１１８に展開する（Ｓ９００）。Ｓ９００において、ＣＰＵ１１１はＨＤＤ１１９にＪＰＥＧ等で画像圧縮され、保存されている画像を、展開する。
The
ＣＰＵ１１１は、図７Ｓ６０３において検出され、ＨＤＤ１１９に格納された座標を取得する（Ｓ９０１）。
The
ＣＰＵ１１１は、Ｓ９００で取得した画像とＳ９０１で取得した各原稿の４頂点の座標を用いて画像の切り出し処理を実行する（Ｓ９０３）。画像を切り出す方法は、公知の方法を用いるとする。たとえば、Ｓ９０１で取得された４点を結んだ矩形が傾斜していない場合、ＣＰＵ１１１は４頂点で囲まれた領域を切り出す。また、４頂点を結んだ矩形が傾斜している場合、ＣＰＵ１１１は公知のアフィン変換により回転のみを考慮し、切り出す領域を決定する。また、ＣＰＵ１１１が回転に加え、台形補正やひずみ補正を考慮したホモグラフィ行列を用いた射影変換により切り出す領域を決定してもよい。
The
ＣＰＵ１１１は、Ｓ９０２において切り出した画像を圧縮しＨＤＤ１１９に格納する（Ｓ９０３）。図１５にＳ９０３でＨＤＤ１１９に格納された画像を示す。Ｓ９０３では、入力した図５（ｄ）から、図１５（ａ）（ｂ）（ｃ）の各原稿の画像がＨＤＤ１１９に格納される。
The
なお、本実施例では「スキャンして送信」機能のフローを例に説明したが、「スキャンして送信」機能に関わらず本実施例を実行するとしてもよい。例えば、スキャンした画像を画像処理装置１００等に保存する「スキャンして保存」機能や、マルチクロップ後の原稿画像をＦＡＸ送信するＦＡＸ送信機能等において本実施例を実行するとしてもよい。
In this embodiment, the flow of the “scan and send” function is described as an example. However, the present embodiment may be executed regardless of the “scan and send” function. For example, the present embodiment may be executed in a “scan and save” function for saving a scanned image in the
また、本実施例では、画像処理装置１００が、クロップ座標の検出、画像の輝度補正、画像の切り出し処理を実行するとして説明した。画像処理装置１００にスキャンを行い、輝度ゲイン調整をした後の画像を、サーバーやＰＣ、クラウドに送信する。そして、サーバーやＰＣ、クラウドにおいて、クロップ座標の検出、画像の輝度補正、画像の切り出し処理が実行されるとしてもよい。
In the present embodiment, the
以上によって、マルチクロップ処理を行う場合は、原稿をスキャンする際に高輝度側の信号が残るようにしたスキャン画像を生成することにより、スキャン画像から原稿の領域を検出しやすくし、さらに、該スキャン画像の輝度を調整することにより、保存に適した明るさの画像を生成することができる。 As described above, when multi-crop processing is performed, it is possible to easily detect a region of a document from a scanned image by generating a scanned image in which a signal on a high luminance side remains when scanning a document. By adjusting the brightness of the scanned image, an image having brightness suitable for storage can be generated.
（実施例２）
実施例１では、輝度ゲイン調整に使用されるパラメータを変え、通常よりも画像全体が暗くなるよう処理した画像を用いて原稿のエッジ部を抽出した。そして、原稿のエッジ部抽出に用いた画像の輝度を補正し、画像全体を明るくすることで、保存用の画像を生成した。実施例１で説明した方法を用いてデジタル処理で画像の輝度を明るく補正すると、通常の明るさで取得した画像に対し、色味や階調性が変わってしまう場合がある。実施例２では、マルチクロップ処理の設定に応じてデジタル処理で原稿の明るさを調整するか、再度原稿をスキャンし通常のスキャン時に用いられるパラメータを用いて輝度ゲイン調整を行うかを切り替える方法を説明する。
(Example 2)
In the first embodiment, the parameters used for luminance gain adjustment are changed, and the edge portion of the document is extracted using an image processed so that the entire image becomes darker than usual. Then, the brightness of the image used for extracting the edge portion of the document is corrected, and the entire image is brightened to generate a storage image. When the brightness of an image is corrected brightly by digital processing using the method described in the first embodiment, the color and gradation may be changed with respect to an image acquired with normal brightness. In the second embodiment, there is a method of switching between adjusting the brightness of a document by digital processing according to the setting of the multi-crop processing, or performing brightness gain adjustment using a parameter that is scanned again and is used during normal scanning. explain.
写真等の画像の色味や階調性等の画質を優先する原稿をスキャンする場合、一度、マルチクロップ用のパラメータを用いて輝度ゲイン調整を行ったのち、再度スキャンを実行し、通常のスキャンで用いられるパラメータを用いて輝度ゲイン調整を行う。このようにすることで、原稿の画質や色味を担保しつつ、クロップする座標の精度を上げることができる。一方で、モノクロの文書原稿や文字のみの原稿等、画質を優先する必要のない原稿をスキャンするときには、デジタル処理で画像の輝度をあげることで、原稿毎の画像を得るのにかかる処理時間を抑制することができる。 When scanning a document that prioritizes image quality such as the color and gradation of an image such as a photo, adjust the brightness gain once using the parameters for multi-crop and then scan again to perform normal scanning. The luminance gain is adjusted using the parameters used in the above. By doing so, it is possible to increase the accuracy of the coordinates to be cropped while ensuring the image quality and color of the document. On the other hand, when scanning a document that does not require priority on image quality, such as a monochrome document or a text-only document, the processing time required to obtain an image for each document can be increased by increasing the brightness of the image by digital processing. Can be suppressed.
原稿をスキャンして外部の装置に送信したり、画像処理装置１００内に記憶する場合、様々な画像処理が行われる。例えば、二値化処理を行ってから保存する指示や文字認識を行い文字列データとして保存する指示がなされている場合、保存する画像の色味や色の階調性が低下しても問題ない。そこで、二値化処理や文字認識処理が指示された場合、画像処理装置１００はマルチクロップ用のパラメータを用いて輝度ゲイン調整がなされた画像の輝度を補正することで得られた画像から原稿の画像を抽出する。一方でＪＰＥＧ変換や全面写真専用処理を行う設定がなされた場合、色味や色の階調性を保証することが望まれる。そこで、１度目にスキャンして得られた画像に対して、マルチクロップ用のパラメータを用いて輝度ゲイン調整を行い各原稿のエッジを検出する。そして、２度目にスキャンして得られた画像に対して、通常のスキャン時のパラメータを用いて輝度ゲイン調整を行い、保存用の画像を生成する。このようにすることで、保存用の画像の色味や階調性を保証することができる。
When a document is scanned and transmitted to an external apparatus or stored in the
本実施例では、上記のように画質を優先する後段処理か、処理速度を優先する後段処理（画質を優先しない後段処理）かによって処理を切り替える。図１６は実施例２において画像処理装置１００が実行する処理を示すフローチャートである。図１６に記載の処理を実行するためのプログラムはＲＯＭ１１７またはＨＤＤ１１９に格納されている。ＣＰＵ１１１がＲＯＭ１１７、またはＨＤＤ１１９に格納されている処理を読み出して実行することにより以下の処理が実現される。図７と同様の処理については図７と同じ符号を付与する。ここでは、図７の異なる処理についてのみ説明をする。
In the present embodiment, the process is switched depending on whether it is a post-process that prioritizes image quality or a post-process that prioritizes processing speed (post-process that does not prioritize image quality) as described above. FIG. 16 is a flowchart illustrating processing executed by the
ＣＰＵ１１１は、設定されている設定値が画質を優先する設定値であるか否かを判定する（Ｓ１６０１）。画質を優先する設定がなされているか否かの判定方法は様々であるが、本実施例では図１７に示すテーブルを用いて画質を優先する設定であるか否かを判定する。ＣＰＵ１１１はユーザが設定した設定値を参照し、画質優先の設定値が設定されているか否かを判定する。画質を優先する設定値が設定されていない場合、ＣＰＵ１１１がＳ６０４以降の処理を実行する。画質を優先する設定がなされていない場合は、実施例１と同様にマルチクロップ用の輝度ゲイン調整パラメータを用いて輝度ゲイン調整をして得られた画像の輝度をデジタル処理により明るくする。これにより、マルチクロップ処理が完了するまでにかかる時間を短くすることができる。
The
一方で、画質を優先する処理が設定されている場合、ＣＰＵ１１１がＳ１６０２以降に記載の処理を実行する。
On the other hand, if processing that prioritizes image quality is set, the
ＣＰＵ１１１は、マルチクロップ処理がオフに設定されているときに用いられる輝度ゲイン調整パラメータをＲＯＭ１１７から読み出してＲＡＭ１１８に記憶する（Ｓ１６０２）。マルチクロップ処理がオフに設定されているときに用いられる輝度ゲイン調整パラメータとは、Ｓ６００において設定される輝度ゲイン調整パラメータよりも小さな値である。マルチクロップ処理がオフのときに用いられる輝度ゲイン調整パラメータは予めＲＯＭ１１７に格納されている。
The
ＣＰＵ１１１は、スキャナＩ／Ｆ１１４を介してスキャナ部１２０を制御し、原稿をスキャンする（Ｓ１６０３）。Ｓ１６０３において、ＣＰＵ１１１が実行する処理は、Ｓ６０１においてＣＰＵ１１１が実行する処理と同様の処理である。
The
ＣＰＵ１１１はＳ１６０２において取得された輝度ゲイン調整パラメータを用いてＳ１６０２で取得された画像の輝度を調整する（Ｓ１６０４）。Ｓ１６０４で実行される処理は、図８を用いて説明した処理と同様の処理であるため説明を省略する。Ｓ１６０４を実行することで、図５（ｂ）に示す画像を生成することができる。以降の処理はＳ６０５以降と同様であるため説明を省略する。上記のＳ１６０２〜Ｓ１６０４のように、画質を優先する設定がなされている場合は、通常のスキャンと同じパラメータを用いて輝度ゲイン調整を行う。このようにすることで、マルチクロップ処理を行わないときと同程度の画質や色味を保証した画像から原稿の画像を切り出すことができる。
The
以上のように設定値に応じて画像の切り出し元となる画像の生成方法を切り替える。このようにすることで、色味や階調性などの画質を優先する場合と、パフォーマンスやユーザの手離れなどの速度を優先させる場合で処理を切り替えることができる。 As described above, the generation method of the image to be the image cut-out source is switched according to the set value. In this way, processing can be switched between when priority is given to image quality such as color and gradation, and when priority is given to speed such as performance and user's handing off.
なお、本実施例ではユーザの指示で設定された設定値に基づいて処理を切り替える構成とした。Ｓ６０１のスキャンにより取得された画像を解析して、画質を優先した処理を行うか否かを判定してもよい。たとえば、ＣＰＵ１１１がスキャンして得られた画像に含まれる色の数やグラデーションの有無に応じてＳ１６０１以降を実行するかＳ６０４以降を実行するか切り替えるとしてもよい。このとき、ＣＰＵ１１１は、画像に含まれる色の数が所定の数以上である場合、または、画像内にグラデーションの領域がある場合に、Ｓ１６０１以降の処理を実行する。
In this embodiment, the processing is switched based on the set value set by the user's instruction. The image acquired by the scan in S601 may be analyzed to determine whether or not to perform processing giving priority to image quality. For example, depending on the number of colors included in the image obtained by scanning by the
さらに、本実施例では、画質を優先する設定がなされている場合に、再度原稿をスキャンして、Ｓ６０２とは異なる輝度ゲイン調整パラメータを用いて輝度ゲイン調整を実行するとした。画像処理装置１００がＳ６０１において原稿をスキャンして得られた画像を記憶するメモリを有する場合、Ｓ１６０４において、メモリに保存された画像に対して輝度ゲイン調整を実行するとしてもよい。このとき、Ｓ１６０３において原稿を再度スキャンする必要がなくなる。そのため、画質を優先する場合であっても、原稿のスキャンを２回行うことなくマルチクロップ処理を実行することができる。
Furthermore, in this embodiment, when priority is given to the image quality, the document is scanned again and the brightness gain adjustment is executed using the brightness gain adjustment parameter different from S602. When the
（実施例３）
実施例１では、輝度ゲイン調整に使用されるパラメータを変え、通常よりも画像全体が暗くなるよう処理した画像を用いて原稿のエッジ部を抽出した。そして、原稿のエッジ部抽出に用いた画像の輝度を補正し、画像全体を明るくすることで、保存用の画像を生成した。実施例１で説明した方法では原稿の全体画像の輝度を補正した上で、画像の一部から切り出しを行う。全体画像の輝度調整を行うため、最終的な画像として不要な部分にも輝度調整が行われ処理パフォーマンスが低下してしまう可能性がある。実施例３では、処理パフォーマンスを向上させるための検出した原稿の各画像を切り出ししたのちに、切り出した画像にのみ輝度調整を行う方法を説明する。
(Example 3)
In the first embodiment, the parameters used for luminance gain adjustment are changed, and the edge portion of the document is extracted using an image processed so that the entire image becomes darker than usual. Then, the brightness of the image used for extracting the edge portion of the document is corrected, and the entire image is brightened to generate a storage image. In the method described in the first embodiment, the luminance of the entire original image is corrected, and then a part of the image is cut out. Since the brightness adjustment of the entire image is performed, the brightness adjustment is also performed on a portion unnecessary as a final image, and the processing performance may be deteriorated. In the third embodiment, a method of performing brightness adjustment only on a cut-out image after cutting out each image of the detected document for improving the processing performance will be described.
図１８を用いて、ユーザが「スキャンして送信」機能を用いてマルチクロップ処理を実行するためのシーケンスを説明する図である。図１８は、図３の構成に対し、Ｓ４１４の画像クロッピング処理の内容を変更し、さらに、画像クロッピング処理（Ｓ４１４）とマルチクロップ処理結果ＵＩ表示処理（Ｓ４１５）との間に、クロップ画像輝度調整処理（Ｓ４２２）を追加する。 FIG. 19 is a diagram illustrating a sequence for a user to execute a multi-crop process using a “scan and send” function using FIG. 18 is different from the configuration of FIG. 3 in the contents of the image cropping process of S414, and further, the crop image brightness adjustment is performed between the image cropping process (S414) and the multi-crop process result UI display process (S415). A process (S422) is added.
Ｓ４００〜Ｓ４１２までの処理、および、Ｓ４１５以降の処理については、実施例１と同様であるので、詳細説明を省略する。 Since the processes from S400 to S412 and the processes from S415 onward are the same as those in the first embodiment, detailed description thereof is omitted.
Ｓ４１４の画像クロッピング処理において、画像処理装置１００は、Ｓ４１１でＨＤＤ１１９にデータとして格納された画像から、各原稿に対応する原稿画像の切り出しを行う。画像処理装置１００は、原稿の左上、右上、右下、左下の４頂点座標を元に、傾き補正等のアフィン変換も用いて、矩形の原稿画像の切り出し処理を行う。画像処理装置１００は、切り出し後の画像を圧縮し画像圧縮後にＨＤＤ１１９に格納する。
In the image cropping process of S414, the
Ｓ４２２のクロップ画像輝度調整処理において、画像処理装置１００は、Ｓ４１４で切り出してＨＤＤ１１９に格納した各原稿画像の輝度を調整する処理を行う。Ｓ４２２での輝度調整処理は、実施例１において説明したＳ４１３の画像輝度調整処理と同様の処理である。すなわち、Ｓ４２２のクロップ画像輝度調整処理において、各原稿画像の輝度をあげる処理を行うことで、通常の設定でスキャンした際の明るさと同程度の明るさの画像を生成することができる。
In the crop image brightness adjustment process in S422, the
以上によって、原稿位置検出に適した画像から座標位置を検出し、当該画像から各原稿の画像の切り出しを行い、当該切り出した原稿画像に輝度調整を行うことで送信用画像を生成する、という構成にすることで、処理のパフォーマンスを向上することができる。 As described above, the coordinate position is detected from an image suitable for document position detection, the image of each document is cut out from the image, and the transmission image is generated by adjusting the brightness of the cut out document image. By doing so, processing performance can be improved.
（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施例の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム又は装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのコンピュータプログラム、及び該コンピュータプログラムを記憶した記憶媒体は本発明を構成することになる。
(Other embodiments)
The present invention is also realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, etc.) of the system or apparatus reads the program code. It is a process to be executed. In this case, the computer program and the storage medium storing the computer program constitute the present invention.
Claims (14)
前記第１の調整手段で生成された第１の画像内に含まれる前記原稿に対応する領域の位置を検出する検出手段と、
前記第１の画像に含まれる画素の輝度が高くなるように調整することにより第２の画像を生成する第２の調整手段と、
前記検出手段で検出された前記原稿に対応する領域の位置に基づいて、前記第２の調整手段で生成された第２の画像から、前記原稿に対応する原稿画像を切り出す切り出し手段と、
を有することを特徴とする画像処理装置。 First adjusting means for generating a first image whose luminance is adjusted such that a signal value on the high luminance side when the original is read by the reading means remains;
Detecting means for detecting a position of an area corresponding to the document included in the first image generated by the first adjusting means;
Second adjusting means for generating a second image by adjusting the luminance of the pixels included in the first image to be high;
Clipping means for cutting out a document image corresponding to the document from the second image generated by the second adjustment unit based on the position of the region corresponding to the document detected by the detection unit;
An image processing apparatus comprising:
前記検出手段は、前記第１の画像内に含まれる前記複数の原稿それぞれに対応する領域の位置を検出し、
前記切り出し手段は、前記複数の原稿それぞれに対応する領域の位置に基づいて、前記第２の原稿から、前記複数の原稿それぞれに対応する原稿画像を切り出す、
ことを特徴とする請求項１に記載の画像処理装置。 The first image includes a plurality of original images,
The detecting means detects a position of an area corresponding to each of the plurality of documents included in the first image;
The cutout means cuts out a document image corresponding to each of the plurality of documents from the second document based on the position of an area corresponding to each of the plurality of documents.
The image processing apparatus according to claim 1.
前記切り出した原稿画像と当該原稿画像の文字認識処理の結果とを関連付けて保存する保存手段と、
を更に有することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。 Character recognition processing means for executing character recognition processing on the document image cut out by the cut-out means;
Storage means for storing the clipped document image and the result of character recognition processing of the document image in association with each other;
The image processing apparatus according to claim 1, further comprising:
前記受付手段で前記原稿画像を切り出す設定を受付けた場合は、前記第１の調整手段と前記検出手段と前記第２の調整手段と前記切り出し手段とによる処理を行うように制御し、
前記受付手段で前記原稿画像を切り出さない設定を受け付けた場合は、前記読取手段で原稿を読み取った際の高輝度側の所定の信号値より高い信号値が白の輝度値となるように前記第１の調整手段で調整した画像を出力するように制御する制御手段と、
を有することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。 Accepting means for accepting a setting as to whether or not to cut out the original image from a user;
If the accepting unit accepts the setting for cutting out the original image, control is performed so as to perform processing by the first adjusting unit, the detecting unit, the second adjusting unit, and the cutting unit,
When the accepting unit accepts a setting not to cut out the document image, the signal value higher than a predetermined signal value on the high luminance side when the document is read by the reading unit becomes a white luminance value. Control means for controlling to output an image adjusted by one adjusting means;
The image processing apparatus according to claim 1, further comprising:
前記第１の調整手段で生成された第１の画像内に含まれる前記原稿に対応する領域の位置を検出する検出手段と、
前記検出手段で検出された前記原稿に対応する領域の位置に基づいて、前記第１の調整手段で生成された第１の画像から、前記原稿に対応する第１の原稿画像を切り出す切り出し手段と、
前記切り出し手段で切り出された第１の原稿画像に含まれる画素の輝度が高くなるように調整することにより、第２の原稿画像を生成する第２の調整手段と、
を有することを特徴とする画像処理装置。 First adjusting means for generating a first image whose luminance is adjusted such that a signal value on the high luminance side when the original is read by the reading means remains;
Detecting means for detecting a position of an area corresponding to the document included in the first image generated by the first adjusting means;
Clipping means for cutting out the first document image corresponding to the document from the first image generated by the first adjustment unit based on the position of the area corresponding to the document detected by the detection unit; ,
A second adjustment unit that generates a second document image by adjusting the luminance of the pixels included in the first document image cut out by the clipping unit;
An image processing apparatus comprising:
読取手段で原稿を読み取った際の高輝度側の信号値が残るように輝度を調整した第１の画像を生成する第１の調整工程と、
前記第１の調整工程で生成された第１の画像内に含まれる前記原稿に対応する領域の位置を検出する検出工程と、
前記第１の画像に含まれる画素の輝度が高くなるように調整することにより第２の画像を生成する第２の調整工程と、
前記検出工程で検出された前記原稿に対応する領域の位置に基づいて、前記第２の調整工程で生成された第２の画像から、前記原稿に対応する原稿画像を切り出す切り出し工程と、
を有することを特徴とする画像処理方法。 An image processing method executed by processing means of an image processing apparatus,
A first adjustment step of generating a first image whose luminance is adjusted such that a signal value on the high luminance side when the original is read by the reading unit remains;
A detection step of detecting a position of an area corresponding to the document included in the first image generated in the first adjustment step;
A second adjustment step of generating a second image by adjusting the brightness of the pixels included in the first image to be high;
A clipping step of cutting out a document image corresponding to the document from the second image generated in the second adjustment step based on the position of the region corresponding to the document detected in the detection step;
An image processing method comprising:
読取手段で原稿を読み取った際の高輝度側の信号値が残るように輝度を調整した第１の画像を生成する第１の調整工程と、
前記第１の調整工程で生成された第１の画像内に含まれる前記原稿に対応する領域の位置を検出する検出工程と、
前記検出工程で検出された前記原稿に対応する領域の位置に基づいて、前記第１の調整工程で生成された第１の画像から、前記原稿に対応する第１の原稿画像を切り出す切り出し工程と、
前記切り出し工程で切り出された第１の原稿画像に含まれる画素の輝度が高くなるように調整することにより、第２の原稿画像を生成する第２の調整工程と、
を有することを特徴とする画像処理方法。 An image processing method executed by processing means of an image processing apparatus,
A first adjustment step of generating a first image whose luminance is adjusted such that a signal value on the high luminance side when the original is read by the reading unit remains;
A detection step of detecting a position of an area corresponding to the document included in the first image generated in the first adjustment step;
A clipping step of cutting out a first document image corresponding to the document from the first image generated in the first adjustment step based on the position of the region corresponding to the document detected in the detection step; ,
A second adjustment step of generating a second original image by adjusting the brightness of the pixels included in the first original image cut out in the cutout step;
An image processing method comprising:
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/415,499 US11308318B2 (en) | 2018-05-30 | 2019-05-17 | Image processing apparatus, image processing method, and storage medium |
| CN201910463948.3A CN110557515B (en) | 2018-05-30 | 2019-05-30 | Image processing apparatus, image processing method, and storage medium |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018103878 | 2018-05-30 | ||
| JP2018103878 | 2018-05-30 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019213190A true JP2019213190A (en) | 2019-12-12 |
Family
ID=68847101
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019016307A Pending JP2019213190A (en) | 2018-05-30 | 2019-01-31 | Image processing apparatus, image processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2019213190A (en) |
-
2019
- 2019-01-31 JP JP2019016307A patent/JP2019213190A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110557515B (en) | Image processing apparatus, image processing method, and storage medium | |
| JP7130436B2 (en) | IMAGE PROCESSING APPARATUS FOR MULTI-CROP PROCESSING, METHOD AND PROGRAM FOR GENERATING IMAGE IN UNIT OF DOCUMENT USING MULTI-CROP PROCESSING | |
| JP4700721B2 (en) | Image processing device | |
| US9307115B2 (en) | Image processing device generating rectangular image data from intermediate image data | |
| US10841457B2 (en) | Image forming apparatus with density correction and edge smoothing, method, and storage medium storing program to perform the method | |
| JP2015171099A (en) | Image processing apparatus and image processing method | |
| EP1850291B1 (en) | System and method for enhancing stored binary images | |
| JP6628279B2 (en) | Image processing apparatus, image processing method, image processing program, and recording medium | |
| US20110235906A1 (en) | Image processing apparatus, image processing method, and computer-readable storage medium for computer program | |
| JP5819378B2 (en) | Image determination apparatus, image processing system, program, and recording medium | |
| JP2019140628A (en) | Image reading device, image reading method, and program | |
| JP2019213190A (en) | Image processing apparatus, image processing method, and program | |
| JP5025611B2 (en) | Image processing apparatus, image forming apparatus, computer program, recording medium, and image processing method | |
| JP2018182464A (en) | Image processing system and program | |
| JP2014017636A (en) | Image reader and program | |
| JP2017135690A (en) | Image processing device, image processing method, and program | |
| US20160072966A1 (en) | Non-transitory computer readable medium and image processing device | |
| US20090323090A1 (en) | Image forming apparatus and image forming method | |
| JP4277464B2 (en) | Image processing apparatus, image processing method, image processing program, and computer-readable recording medium on which image processing program is recorded | |
| US11863717B2 (en) | Image reading apparatus and image reading method | |
| JP2010004152A (en) | Image processor and character region extraction method, and computer program | |
| JP6915295B2 (en) | Data processing equipment and data processing program | |
| JP2022189063A (en) | Image data generation device and image data generation method | |
| JP2006254324A (en) | Image forming apparatus and method | |
| JP2023055502A (en) | Information processing device, information processing method, program and image processing system |