JP2018191094A - Document reader, method of controlling document reader, and program - Google Patents

Document reader, method of controlling document reader, and program Download PDF

Info

Publication number
JP2018191094A
JP2018191094A JP2017090932A JP2017090932A JP2018191094A JP 2018191094 A JP2018191094 A JP 2018191094A JP 2017090932 A JP2017090932 A JP 2017090932A JP 2017090932 A JP2017090932 A JP 2017090932A JP 2018191094 A JP2018191094 A JP 2018191094A
Authority
JP
Japan
Prior art keywords
document
floating
area
user
reading apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017090932A
Other languages
Japanese (ja)
Inventor
啓水 奥間
Hiromi Okuma
啓水 奥間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017090932A priority Critical patent/JP2018191094A/en
Publication of JP2018191094A publication Critical patent/JP2018191094A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a document reader that presents how to properly press a document to a user so as to avoid a situation in which the document is read with an edge of the document hidden behind a hand or fingers of the user.SOLUTION: A flotation region detection part of a camera scanner is configured to: acquires a distance image of a region where a document is mounted using a distance image acquisition part S500; detect a flotation region of the document placed on a document platen based upon the acquired distance image, S501; specify a kind of flotation of the document for each detected flotation region S503, S509-S515; and project by a projector how to press the document according to the kind of flotation of the document so as to correct the flotation of the document S504-S507.SELECTED DRAWING: Figure 5

Description

本発明は、カメラスキャナ等で原稿を読み取る技術に関する。   The present invention relates to a technique for reading a document with a camera scanner or the like.

従来、書画台に載せられたA4用紙のような一枚の紙(以降「原稿」という)や書籍等を読み取るフラットベット型の読取装置が知られている。フラットベット型の読取装置で書籍の見開きページを読み取る際、書籍の綴じ部付近が書画台から浮き上がり、読み取られた画像データにおいて、綴じ部付近の画像が暗くなったり、歪んだり、ぼけたりして十分な品質の画像データが得られないことがある。これを防ぐため、ユーザは書籍を直接手で押さえ付けながらスキャンすることが考えられる。   2. Description of the Related Art Conventionally, there has been known a flat bed type reading device that reads a sheet of paper (hereinafter referred to as “original”) such as A4 paper placed on a document table or a book. When reading a spread page of a book with a flatbed reader, the area near the binding area of the book rises from the document table, and in the scanned image data, the image near the binding area becomes dark, distorted, or blurred. Image data with sufficient quality may not be obtained. In order to prevent this, it is conceivable that the user scans the book while directly pressing it with the hand.

特許文献1において、ユーザが書籍の適切な押さえ方を把握するため、書画台に対して書籍が浮いている方向を提示する技術が検討されている。   In patent document 1, in order that a user grasps | ascertains how to hold down a book appropriately, the technique which presents the direction which the book floats with respect to the document stage is examined.

また、上述したフラットベット型の読取装置の他に、スタンド型スキャナ(カメラスキャナ)も知られている。スタンド型スキャナは、書画台に原稿を上向きに置き、書画台上方に配置されたカメラにより撮像し、原稿をスキャン処理する読取装置である。スタンド型スキャナは、フラットベット型とは異なり、操作者の影や照明などに影響を受けやすいため、エッジベースの四辺検出手法を用いることによって原稿や書籍のページ領域のみを切り出すことができる。   In addition to the above-described flatbed type reader, a stand type scanner (camera scanner) is also known. The stand-type scanner is a reading device that places a document on a document table upward, captures an image with a camera disposed above the document table, and scans the document. Unlike the flat-bed scanner, the stand-type scanner is easily affected by an operator's shadow, illumination, and the like. Therefore, only the page area of a document or a book can be cut out by using an edge-based four-side detection method.

スタンド型スキャナで原稿を読み取る際、原稿を圧板で押さえることはできない。そのため、スタンド型スキャナでは、フラットベット型とは異なり、書籍だけでなく原稿も浮き上がりが生じることがある。これを防ぐために、ユーザが原稿の浮いた個所(例えば、原稿の辺や角)を手や指で押さえながらスキャンすることが考えられる。   When reading a document with a stand type scanner, the document cannot be pressed with a pressure plate. Therefore, in the stand type scanner, unlike the flat bed type, not only books but also originals may be lifted. In order to prevent this, it is conceivable that the user scans a place where the document is lifted (for example, a side or corner of the document) with a hand or a finger.

特開2012−160896号公報JP 2012-160896 A

上述したスタンド型スキャナでは、スキャン時、エッジベースの四辺検出手法で原稿の四辺を切り出すため、原稿のみを過不足なく抽出するためには、ユーザは原稿のエッジがなるべく手や指で隠れないように押さえる必要がある。
しかし、従来の技術では、原稿における浮きの位置や浮きに対する適切な押さえ方をユーザに提示することは実現できていない。そのため、スタンド型スキャナで原稿の読み取りを行う場合に、原稿のエッジがユーザの手や指で隠れた状態で読み取られてしまう場合があった。
In the above-described stand type scanner, the four sides of the document are cut out by the edge-based four-side detection method at the time of scanning. It is necessary to hold on.
However, according to the conventional technology, it is not possible to present the user with the position of the float in the document and an appropriate pressing method for the float. Therefore, when reading a document with a stand-type scanner, the document edge may be read with the user's hand or finger hidden.

本発明は、上記の問題点を解決するためになされたものである。本発明の目的は、原稿の浮きに対して適切な押さえ方をユーザに提示し、原稿のエッジがユーザの手や指で隠れた状態で読み取られてしまうといった事態の発生を抑えることができる仕組みを提供することである。   The present invention has been made to solve the above problems. An object of the present invention is to provide a user with an appropriate way to hold down a document and to prevent occurrence of a situation in which the edge of the document is read with the user's hand or finger hidden. Is to provide.

本発明は、載置される原稿から画像データを読み取る原稿読取装置であって、前記原稿が載置されている領域の距離情報を取得する取得手段と、前記取得手段により取得された距離情報に基づいて、前記領域に載置された原稿の浮き領域を検出する検出手段と、前記検出手段により検出された浮き領域ごとに、前記原稿の浮きの種類を特定する特定手段と、前記原稿の浮きの種類に応じて、前記原稿の浮きを補正するための原稿の押さえ方を提示する提示手段と、を有することを特徴とする。   The present invention provides a document reading apparatus that reads image data from a document to be placed, and obtains distance information of a region where the document is placed, and distance information obtained by the obtaining unit. Based on detection means for detecting a floating area of the document placed on the area, identification means for specifying the type of floating of the original document for each floating area detected by the detection means, and floating of the original document Presenting means for presenting how to hold down the original for correcting the floating of the original according to the type.

本発明によれば、原稿の浮きに対して適切な押さえ方をユーザに提示することができる。この結果、原稿のエッジがユーザの手や指で隠れた状態で読み取られてしまうといった事態の発生を抑えることができる。   According to the present invention, it is possible to present a user with an appropriate method of holding down a document. As a result, it is possible to suppress the occurrence of a situation in which the edge of the document is read while being hidden by the user's hand or finger.

本実施例のカメラスキャナを含むネットワーク構成図Network configuration diagram including the camera scanner of this embodiment 本実施例のカメラスキャナの構成を説明する図The figure explaining the structure of the camera scanner of a present Example 本実施例のカメラスキャナのコントローラ部のハードウェア構成図Hardware configuration diagram of the controller unit of the camera scanner of this embodiment 本実施例のカメラスキャナのソフトウェア構成図Software configuration diagram of the camera scanner of this embodiment 実施例1の浮き領域検出処理のフローチャートFlow chart of floating area detection processing of embodiment 1 浮き領域検出処理を説明するための図Diagram for explaining floating area detection processing 浮きの種類を特定する処理を説明するための図Diagram for explaining the process of specifying the type of float 原稿の押さえ方の表示例を示す図Figure showing an example of how to hold down the document 実施例2の浮き領域検出処理のフローチャートFlowchart of floating area detection process of embodiment 2 実施例2において浮き領域に対して優先度を付与する処理を説明する図The figure explaining the process which gives a priority with respect to a floating area | region in Example 2. カメラスキャナとユーザの位置関係を説明するための図The figure for demonstrating the positional relationship of a camera scanner and a user 実施例3の浮き領域検出処理のフローチャートFlowchart of floating area detection process of embodiment 3 実施例1における角が浮いた原稿の押さえ方の表示例一覧を示す図The figure which shows the example of a display example of the holding method of the original with the angle | corner which floated in Example 1. 実施例1における角が浮いた原稿の押さえ方の表示例一覧を示す図The figure which shows the example of a display example of the holding method of the original with the angle | corner which floated in Example 1. 実施例1における辺が浮いた原稿の押さえ方の表示例一覧を示す図The figure which shows the example of a display example of the holding method of the original with which the edge | side floated in Example 1. 実施例1における中央が浮いた原稿の押さえ方の表示例一覧を示す図The figure which shows the example of a display example of how to hold | maintain the document which the center floated in Example 1. 実施例3における角が浮いた原稿の押さえ方の表示例一覧を示す図The figure which shows the example of a display example of how to hold | press the original with the angle | corner which floated in Example 3. 実施例3における角が浮いた原稿の押さえ方の表示例一覧を示す図The figure which shows the example of a display example of how to hold | press the original with the angle | corner which floated in Example 3. 実施例3における辺が浮いた原稿の押さえ方の表示例一覧を示す図The figure which shows the example of a display of how to hold | press the document which the edge | side floated in Example 3 実施例3における中央が浮いた原稿の押さえ方の表示例一覧を示す図The figure which shows the example of a display example of the holding method of the original in which the center floated in Example 3.

以下、本発明を実施するための形態について図面を参照して説明する。   Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings.

図1は、本発明の原稿読取装置の一実施例を示すスタンド型スキャナを含むネットワーク構成の一例を示す図である。
カメラスキャナ101は、本実施例のスタンド型スキャナである。カメラスキャナ101は、イーサネット(登録商標)等のネットワーク104を介して、ホストコンピュータ102およびプリンタ103と通信可能に接続されている。
FIG. 1 is a diagram showing an example of a network configuration including a stand type scanner showing an embodiment of a document reading apparatus of the present invention.
The camera scanner 101 is a stand type scanner according to the present embodiment. The camera scanner 101 is communicably connected to the host computer 102 and the printer 103 via a network 104 such as Ethernet (registered trademark).

カメラスキャナ101は、ホストコンピュータ102からの指示により、カメラスキャナ101から画像を読み取るスキャン機能や、スキャンデータをプリンタ103により出力するプリント機能の実行が可能である。また、カメラスキャナ101は、ホストコンピュータ102を介さず、カメラスキャナ101への直接の指示により、スキャン機能、プリント機能の実行も可能である。   The camera scanner 101 can execute a scan function for reading an image from the camera scanner 101 and a print function for outputting scan data by the printer 103 according to an instruction from the host computer 102. Further, the camera scanner 101 can also execute a scan function and a print function according to a direct instruction to the camera scanner 101 without using the host computer 102.

<カメラスキャナ101の構成>
図2は、カメラスキャナ101の構成の一例を説明する図である。
図2(a)に示すように、カメラスキャナ101は、コントローラ部201、カメラ部202、腕部203、短焦点プロジェクタ207、距離画像センサ部208を含む。
<Configuration of camera scanner 101>
FIG. 2 is a diagram for explaining an example of the configuration of the camera scanner 101.
As shown in FIG. 2A, the camera scanner 101 includes a controller unit 201, a camera unit 202, an arm unit 203, a short focus projector 207, and a distance image sensor unit 208.

カメラスキャナの本体であるコントローラ部201と、撮像を行うためのカメラ部202、短焦点プロジェクタ207および距離画像センサ部208は、腕部203により連結されている。腕部203は、関節を用いて曲げ伸ばしが可能である。   A controller unit 201 that is a main body of the camera scanner, a camera unit 202 for performing imaging, a short focus projector 207, and a distance image sensor unit 208 are connected by an arm unit 203. The arm portion 203 can be bent and stretched using a joint.

図2(a)には、カメラスキャナ101が設置されている書画台204も示している。カメラスキャナ101のカメラ部202および距離画像センサ部208のレンズは、書画台204方向に向けられている。カメラスキャナ101は、破線で囲まれた読み取り領域205内の画像を読み取り可能である。図2の例では、読み取り領域205内に原稿206が置かれている。よって、カメラスキャナ101は、この原稿206を読み取り可能である。   FIG. 2A also shows a document table 204 on which the camera scanner 101 is installed. The lenses of the camera unit 202 and the distance image sensor unit 208 of the camera scanner 101 are directed toward the document table 204. The camera scanner 101 can read an image in a reading area 205 surrounded by a broken line. In the example of FIG. 2, a document 206 is placed in the reading area 205. Therefore, the camera scanner 101 can read the document 206.

また、書画台204内にはターンテーブル209が設けられている。ターンテーブル209は、コントローラ部201からの指示によって回転することが可能である。ターンテーブル209を回転することにより、ターンテーブル209上に置かれた物体とカメラ部202との角度を変えることができる。   A turntable 209 is provided in the document table 204. The turntable 209 can be rotated by an instruction from the controller unit 201. By rotating the turntable 209, the angle between the object placed on the turntable 209 and the camera unit 202 can be changed.

なお、カメラ部202は、単一解像度で画像を撮像するものとしてもよいが、高解像度画像撮像と低解像度画像撮像が可能なものとすることが好ましい。   The camera unit 202 may capture an image with a single resolution, but it is preferable that the camera unit 202 can capture a high-resolution image and a low-resolution image.

また、図2には示していないが、カメラスキャナ101は、図3に示すように、LCDタッチパネル330およびスピーカ340、人物検出用RGBカメラ360をさらに備えることもできる。人物検出用RGBカメラ360は、カメラスキャナ101周辺にいる人物を検出するためのものである。   Although not shown in FIG. 2, the camera scanner 101 may further include an LCD touch panel 330, a speaker 340, and a person detection RGB camera 360 as shown in FIG. The person detection RGB camera 360 is for detecting a person around the camera scanner 101.

図2(b)は、カメラスキャナ101における座標系について表している。
カメラスキャナ101では、各ハードウェアデバイスに対して、「カメラ座標系」、「距離画像センサ座標系」、「プロジェクタ座標系」という座標系が定義されている。これらの座標系は、カメラ部202および距離画像センサ部208のRGBカメラ363が撮像する画像平面、あるいはプロジェクタ207が投影する画像平面をXY平面とし、画像平面に直交する方向をZ方向として定義したものである。
FIG. 2B shows a coordinate system in the camera scanner 101.
In the camera scanner 101, coordinate systems of “camera coordinate system”, “distance image sensor coordinate system”, and “projector coordinate system” are defined for each hardware device. In these coordinate systems, an image plane captured by the RGB camera 363 of the camera unit 202 and the distance image sensor unit 208 or an image plane projected by the projector 207 is defined as an XY plane, and a direction orthogonal to the image plane is defined as a Z direction. Is.

さらに、本実施例では、これらの独立した座標系の3次元データを統一的に扱えるようにするために「直交座標系」が定義されている。直交座標系では、書画台204を含む平面をXY平面とし、このXY平面から上方に垂直な向きをZ軸とする。   Furthermore, in this embodiment, an “orthogonal coordinate system” is defined so that the three-dimensional data of these independent coordinate systems can be handled uniformly. In the orthogonal coordinate system, a plane including the document table 204 is an XY plane, and a direction perpendicular to the XY plane is a Z axis.

以下、座標系を変換する場合の例を、図2(c)を用いて説明する。
図2(c)は、直交座標系とカメラ座標系とを用いて表現された空間と、カメラ部202が撮像する画像平面との関係を示す。
直交座標系における3次元点P[X,Y,Z]は、(1)式によって、カメラ座標系における3次元点Pc[X,Y,Z]へ変換できる。
Hereinafter, an example of converting the coordinate system will be described with reference to FIG.
FIG. 2C shows a relationship between a space expressed using an orthogonal coordinate system and a camera coordinate system and an image plane captured by the camera unit 202.
The three-dimensional point P [X, Y, Z] in the orthogonal coordinate system can be converted to the three-dimensional point Pc [X c , Y c , Z c ] in the camera coordinate system by the equation (1).

Figure 2018191094
Figure 2018191094

ここで、Rcおよびtcは、直交座標系に対するカメラの姿勢(回転)と位置(並進)によって求まる外部パラメータによって構成され、Rcを3×3の回転行列、tcを並進ベクトルと呼ぶ。   Here, Rc and tc are constituted by external parameters obtained by the posture (rotation) and position (translation) of the camera with respect to the orthogonal coordinate system, and Rc is called a 3 × 3 rotation matrix and tc is called a translation vector.

逆に、カメラ座標系で定義された3次元点Pc[X,Y,Z]は(2)式によって、直交座標系における3次元点P[X,Y,Z]への変換することができる Conversely, the three-dimensional point Pc [X c , Y c , Z c ] defined in the camera coordinate system is converted to the three-dimensional point P [X, Y, Z] in the orthogonal coordinate system by the equation (2). be able to

Figure 2018191094
Figure 2018191094

さらに、カメラ部202で撮影される2次元のカメラ画像平面は、カメラ部202によって3次元空間中の3次元情報が2次元情報に変換されたものである。すなわち、カメラ座標系上での3次元点Pc[X,Y,Z]を、(3)式によってカメラ画像平面での2次元座標pc[x,y]に透視投影変換することによて変換することができる。 Further, the two-dimensional camera image plane photographed by the camera unit 202 is obtained by converting the three-dimensional information in the three-dimensional space into the two-dimensional information by the camera unit 202. In other words, the three-dimensional point Pc [X c , Y c , Z c ] on the camera coordinate system is perspective-projected into the two-dimensional coordinate pc [x p , y p ] on the camera image plane according to equation (3). Can be converted.

Figure 2018191094
Figure 2018191094

ここで、Aは、カメラの内部パラメータと呼ばれ、焦点距離と画像中心などで表現される3×3の行列である。   Here, A is a 3 × 3 matrix called an internal parameter of the camera and expressed by a focal length and an image center.

以上のように、(1)式と(3)式を用いることで、直交座標系で表された3次元点群を、カメラ座標系での3次元点群座標やカメラ画像平面に変換することができる。なお、各ハードウェアデバイスの内部パラメータおよび直交座標系に対する位置姿勢(外部パラメータ)は、公知のキャリブレーション手法により予めキャリブレーションされているものとする。以後、特に断りがなく3次元点群と表記した場合は、直交座標系における3次元データを表しているものとする。   As described above, by using the equations (1) and (3), the three-dimensional point group represented by the orthogonal coordinate system is converted into the three-dimensional point group coordinates or the camera image plane in the camera coordinate system. Can do. It is assumed that the internal parameters of each hardware device and the position / orientation (external parameters) with respect to the orthogonal coordinate system are calibrated in advance by a known calibration method. Hereinafter, when there is no particular notice and it is expressed as a three-dimensional point group, it represents three-dimensional data in an orthogonal coordinate system.

<カメラスキャナ101のコントローラ部201のハードウェア構成>
図3は、カメラスキャナ101の本体であるコントローラ部201のハードウェア構成の一例を示す図である。
<Hardware Configuration of Controller 201 of Camera Scanner 101>
FIG. 3 is a diagram illustrating an example of a hardware configuration of the controller unit 201 which is the main body of the camera scanner 101. As illustrated in FIG.

図3に示すように、コントローラ部201は、システムバス301に接続されたCPU302、RAM303、ROM304、HDD305及びネットワークI/F306を有する。さらに、コントローラ部201は、画像処理プロセッサ307、カメラI/F308、ディスプレイコントローラ309、シリアルI/F310、オーディオコントローラ311及びUSBコントローラ312を有する。   As illustrated in FIG. 3, the controller unit 201 includes a CPU 302, a RAM 303, a ROM 304, an HDD 305, and a network I / F 306 connected to a system bus 301. The controller unit 201 further includes an image processing processor 307, a camera I / F 308, a display controller 309, a serial I / F 310, an audio controller 311, and a USB controller 312.

CPU302は、コントローラ部201全体の動作を制御する中央演算装置である。RAM303は、揮発性メモリである。ROM304は不揮発性メモリであり、CPU302の起動用プログラム等が格納されている。HDD305は、RAM303と比較して大容量なハードディスクドライブ(HDD)である。HDD305には、コントローラ部201の実行する、カメラスキャナ101の制御用プログラム等が格納されている。   The CPU 302 is a central processing unit that controls the operation of the entire controller unit 201. The RAM 303 is a volatile memory. A ROM 304 is a nonvolatile memory, and stores a startup program for the CPU 302 and the like. The HDD 305 is a hard disk drive (HDD) that has a larger capacity than the RAM 303. The HDD 305 stores a control program for the camera scanner 101 executed by the controller unit 201.

CPU302は、電源ON等の起動時、ROM304に格納されている起動用プログラムを実行する。この起動用プログラムは、HDD305に格納されている制御用プログラムを読み出し、RAM303上に展開するためのものである。CPU302は、起動用プログラムを実行すると、続けてRAM303上に展開した制御用プログラムを実行し、制御を行う。また、CPU302は、制御用プログラムによる動作に用いるデータもRAM303上に格納して読み書きを行う。HDD305には、さらに制御用プログラムによる動作に必要な各種設定や、カメラ入力によって生成された画像データ等を格納することができる。HDD305は、CPU302によって読み書き可能である。CPU302は、ネットワークI/F306を介してネットワーク104上の他の機器との通信を行う。   The CPU 302 executes a startup program stored in the ROM 304 when the power is turned on or the like. This activation program is for reading a control program stored in the HDD 305 and developing it on the RAM 303. When executing the startup program, the CPU 302 executes the control program developed on the RAM 303 and performs control. The CPU 302 also stores data used for the operation by the control program on the RAM 303 to read / write. The HDD 305 can further store various settings necessary for operation by the control program, image data generated by camera input, and the like. The HDD 305 can be read and written by the CPU 302. The CPU 302 communicates with other devices on the network 104 via the network I / F 306.

画像処理プロセッサ307は、RAM303に格納された画像データを読み出して処理し、またRAM303へ書き戻す。なお、画像処理プロセッサ307が実行する画像処理は、回転、変倍、色変換等を含む。   The image processor 307 reads and processes the image data stored in the RAM 303 and writes it back to the RAM 303. Note that image processing executed by the image processor 307 includes rotation, scaling, color conversion, and the like.

カメラI/F308は、カメラ部202、距離画像センサ部208および人物検出用RGBカメラ360と接続される。カメラI/F308は、CPU302からの指示に応じて、カメラ部202や人物検出用RGBカメラ360から画像データを、距離画像センサ部208から距離画像データ(距離情報)を取得して、RAM303へ書き込む。また、カメラI/F308は、CPU302からの制御コマンドを、カメラ部202、距離画像センサ部208及び人物検出用RGBカメラ360へ送信し、カメラ部202、距離画像センサ部208及び人物検出用RGBカメラ360の設定を行う。距離画像センサ部208の構成については後述する。   The camera I / F 308 is connected to the camera unit 202, the distance image sensor unit 208, and the person detection RGB camera 360. The camera I / F 308 acquires image data from the camera unit 202 or the person detection RGB camera 360 and distance image data (distance information) from the distance image sensor unit 208 in accordance with an instruction from the CPU 302, and writes it into the RAM 303. . The camera I / F 308 transmits a control command from the CPU 302 to the camera unit 202, the distance image sensor unit 208, and the person detection RGB camera 360, and the camera unit 202, the distance image sensor unit 208, and the person detection RGB camera. Set 360. The configuration of the distance image sensor unit 208 will be described later.

なお、コントローラ部201は、ディスプレイコントローラ309、シリアルI/F310、オーディオコントローラ311およびUSBコントローラ312のうち少なくとも1つを備える。   The controller unit 201 includes at least one of a display controller 309, a serial I / F 310, an audio controller 311 and a USB controller 312.

ディスプレイコントローラ309は、CPU302の指示に応じて、ディスプレイへの画像データの表示を制御する。ここで、ディスプレイコントローラ309は、短焦点プロジェクタ207およびLCDタッチパネル330に接続されており、これらの表示を制御する。   A display controller 309 controls display of image data on the display in accordance with an instruction from the CPU 302. Here, the display controller 309 is connected to the short focus projector 207 and the LCD touch panel 330, and controls these displays.

シリアルI/F310は、シリアル信号の入出力を行う。ここでは、シリアルI/F310はターンテーブル209に接続され、CPU302の回転開始・終了および回転角度の指示をターンテーブル209へ送信する。また、シリアルI/F310はLCDタッチパネル330に接続され、CPU302はLCDタッチパネル330が押下されたときに、シリアルI/F310を介して押下された座標を取得する。   The serial I / F 310 inputs and outputs serial signals. Here, the serial I / F 310 is connected to the turntable 209, and transmits to the turntable 209 instructions for the rotation start / end of the CPU 302 and the rotation angle. Further, the serial I / F 310 is connected to the LCD touch panel 330, and the CPU 302 acquires the coordinates pressed via the serial I / F 310 when the LCD touch panel 330 is pressed.

オーディオコントローラ311はスピーカ340に接続され、CPU302の指示に応じて音声データをアナログ音声信号に変換し、スピーカ340を通じて音声を出力する。   The audio controller 311 is connected to the speaker 340, converts audio data into an analog audio signal in accordance with an instruction from the CPU 302, and outputs audio through the speaker 340.

USBコントローラ312は、CPU302の指示に応じて外付けのUSBデバイスの制御を行う。ここでは、USBコントローラ312は、USBメモリやSDカードなどの外部メモリ350と接続され、外部メモリ350へのデータの読み書きを行う。   The USB controller 312 controls an external USB device in accordance with an instruction from the CPU 302. Here, the USB controller 312 is connected to an external memory 350 such as a USB memory or an SD card, and reads / writes data from / to the external memory 350.

<カメラスキャナ101の制御用プログラムの機能構成>
図4は、CPU302が実行するカメラスキャナ101の制御用プログラムの機能構成401の一例を示す図である。カメラスキャナ101の制御用プログラムは前述のようにHDD305に格納され、CPU302が起動時にRAM303上に展開して実行する。すなわち、図4に示す機能構成401は、CPU302がHDD305に格納されるカメラスキャナ101の制御用プログラムをRAM303にロードして実行することにより実現される。
<Functional configuration of control program for camera scanner 101>
FIG. 4 is a diagram illustrating an example of the functional configuration 401 of the control program for the camera scanner 101 executed by the CPU 302. The control program for the camera scanner 101 is stored in the HDD 305 as described above, and the CPU 302 develops and executes it on the RAM 303 at the time of activation. That is, the functional configuration 401 illustrated in FIG. 4 is realized by the CPU 302 loading a control program for the camera scanner 101 stored in the HDD 305 into the RAM 303 and executing the program.

機能構成401において、メイン制御部402は制御の中心であり、機能構成401内の他の各モジュールを制御する。
画像取得部416は、画像入力処理を行うモジュールである。画像取得部416は、カメラ画像取得部407、距離画像取得部408を有する。
In the functional configuration 401, the main control unit 402 is the center of control and controls other modules in the functional configuration 401.
The image acquisition unit 416 is a module that performs image input processing. The image acquisition unit 416 includes a camera image acquisition unit 407 and a distance image acquisition unit 408.

カメラ画像取得部407は、カメラI/F308を介してカメラ部202が出力する画像データを取得し、RAM303へ格納する。
距離画像取得部408は、カメラI/F308を介して距離画像センサ部208が出力する距離画像データを取得し、RAM303へ格納する。距離画像取得部408の処理の詳細は、後述する図5で説明する領域検出処理の中で説明する。
A camera image acquisition unit 407 acquires image data output from the camera unit 202 via the camera I / F 308 and stores the image data in the RAM 303.
The distance image acquisition unit 408 acquires the distance image data output from the distance image sensor unit 208 via the camera I / F 308 and stores it in the RAM 303. Details of the processing of the distance image acquisition unit 408 will be described in the region detection processing described later with reference to FIG.

認識処理部417は、カメラ画像取得部407、距離画像取得部408が取得する画像データから書画台204上の物体の動きを検知して認識するモジュールである。認識処理部417は、ジェスチャ認識部409、物体検知部410を有する。   The recognition processing unit 417 is a module that detects and recognizes the movement of an object on the document table 204 from image data acquired by the camera image acquisition unit 407 and the distance image acquisition unit 408. The recognition processing unit 417 includes a gesture recognition unit 409 and an object detection unit 410.

ジェスチャ認識部409は、画像取得部416から書画台204上の画像を取得し続け、タッチなどのジェスチャを検知するとメイン制御部402へ通知する。
物体検知部410は、メイン制御部402から物体載置待ち処理あるいは物体除去待ち処理の通知を受けると、画像取得部416から書画台204を撮像した画像を取得する。また、物体検知部410は、書画台204上に物体が置かれて静止するタイミングあるいは物体が取り除かれるタイミングを検知する処理を行う。
The gesture recognition unit 409 continues to acquire an image on the document table 204 from the image acquisition unit 416, and notifies the main control unit 402 when a gesture such as a touch is detected.
When the object detection unit 410 receives notification of the object placement waiting process or the object removal waiting process from the main control unit 402, the object detection unit 410 acquires an image obtained by capturing the document stage 204 from the image acquisition unit 416. In addition, the object detection unit 410 performs processing for detecting the timing at which an object is placed on the document table 204 and stopped or the timing at which the object is removed.

スキャン処理部418は、実際に対象物のスキャンを行うモジュールである。スキャン処理部418は、浮き領域検出部411、画像処理部412、コンテンツ有無判定部413を有する。   The scan processing unit 418 is a module that actually scans an object. The scan processing unit 418 includes a floating area detection unit 411, an image processing unit 412, and a content presence / absence determination unit 413.

浮き領域検出部411は、後述する図5に示す浮き領域検出処理を行う。
画像処理部412は、カメラ画像取得部407から取得する画像データに対して色味など見栄えがよくなるよう調整した色調整済み画像を生成する。
The floating area detection unit 411 performs a floating area detection process shown in FIG.
The image processing unit 412 generates a color-adjusted image in which the image data acquired from the camera image acquisition unit 407 is adjusted to improve the appearance such as color.

コンテンツ有無判定部413は、指定された画像の指定された領域にコンテンツが存在するか否かの判定(コンテンツ有無判定)を行う。このコンテンツ有無判定は、以下のように行う。まず、コンテンツ有無判定部413は、指定された画像から、指定された領域以外をマスクする。続いて、コンテンツ有無判定部413は、キャニー法によるエッジ検出を行う。続いて、コンテンツ有無判定部413は、エッジとして検出された画素数の、指定された領域の画素数に対する割合を調べる。さらに、コンテンツ有無判定部413は、該割合が所定値より大きい場合、コンテンツが存在すると判定し、該割合が所定値より小さい場合コンテンツが存在しないと判定する。なお、コンテンツの対象を文字のみと限定してもよい、その場合、コンテンツ有無判定部413は、公知の属性判定技術を適用し、文字が含まれればコンテンツが存在すると判定する。もし、画像のみである場合は、コンテンツ有無判定部413は、コンテンツでないと判断する。コンテンツの対象を文字のみと限定することは、視認性の低下を容認できてもOCRの精度低下を防ぐ必要がある場合に有用である。   The content presence / absence determination unit 413 determines whether or not content exists in a specified area of a specified image (content presence / absence determination). This content presence / absence determination is performed as follows. First, the content presence / absence determination unit 413 masks areas other than the specified area from the specified image. Subsequently, the content presence / absence determination unit 413 performs edge detection by the Canny method. Subsequently, the content presence / absence determination unit 413 checks the ratio of the number of pixels detected as an edge to the number of pixels in the designated area. Further, the content presence / absence determination unit 413 determines that content exists when the ratio is greater than a predetermined value, and determines that content does not exist when the ratio is smaller than the predetermined value. Note that the content target may be limited to only characters. In this case, the content presence / absence determination unit 413 applies a known attribute determination technique, and determines that content exists if a character is included. If there is only an image, the content presence / absence determination unit 413 determines that the content is not content. Limiting the content target to only characters is useful when it is necessary to prevent a reduction in OCR accuracy even if a reduction in visibility is acceptable.

ユーザインターフェイス部403は、GUI部品生成表示部414、投射領域検出部415を有する。
GUI部品生成表示部414は、メイン制御部402からの要求を受け、メッセージやボタン等のGUI部品を生成し、生成したGUI部品の表示を表示部406へ要求する。なお、書画台204上のGUI部品の表示場所は、投射領域検出部415により検出される。
The user interface unit 403 includes a GUI component generation / display unit 414 and a projection area detection unit 415.
The GUI component generation display unit 414 receives a request from the main control unit 402, generates a GUI component such as a message or a button, and requests the display unit 406 to display the generated GUI component. Note that the display area of the GUI part on the document table 204 is detected by the projection area detection unit 415.

表示部406は、ディスプレイコントローラ309を介して、短焦点プロジェクタ207もしくはLCDタッチパネル330へ要求されたGUI部品の表示を行う。プロジェクタ207は、書画台204に向けて設置されているため、書画台204上にGUI部品を投射することが可能となっている。   The display unit 406 displays the requested GUI component on the short focus projector 207 or the LCD touch panel 330 via the display controller 309. Since the projector 207 is installed toward the document table 204, it is possible to project a GUI component on the document table 204.

また、ユーザインターフェイス部403は、ジェスチャ認識部409が認識したタッチ等のジェスチャ操作、あるいはシリアルI/F310を介したLCDタッチパネル330からの入力操作、そしてさらにそれらの座標を受信する。そして、ユーザインターフェイス部403は、描画中の操作画面の内容と操作座標を対応させて操作内容(押下されたボタン等)を判定する。ユーザインターフェイス部403は、この操作内容をメイン制御部402へ通知することにより、操作者の操作を受け付ける。   Further, the user interface unit 403 receives a gesture operation such as touch recognized by the gesture recognition unit 409, an input operation from the LCD touch panel 330 via the serial I / F 310, and coordinates thereof. Then, the user interface unit 403 determines the operation content (such as a pressed button) by associating the content of the operation screen being drawn with the operation coordinates. The user interface unit 403 receives the operation of the operator by notifying the main control unit 402 of the operation content.

ネットワーク通信部404は、ネットワークI/F306を介して、ネットワーク104上の他の機器とTCP/IP等による通信を行う。
データ管理部405は、制御用プログラム401の実行において生成した作業データなど様々なデータをHDD305上の所定の領域へ保存し、管理する。
The network communication unit 404 communicates with other devices on the network 104 by TCP / IP or the like via the network I / F 306.
The data management unit 405 stores and manages various data such as work data generated in the execution of the control program 401 in a predetermined area on the HDD 305.

<距離画像センサ部208および距離画像取得部408の説明>
距離画像センサ部208は、赤外線によるパターン投射方式の距離画像センサである。図3に示すように、距離画像センサ部208は、赤外線パターン投射部361、赤外線カメラ362、RGBカメラ363を有する。
<Description of Distance Image Sensor Unit 208 and Distance Image Acquisition Unit 408>
The distance image sensor unit 208 is a pattern image type distance image sensor using infrared rays. As shown in FIG. 3, the distance image sensor unit 208 includes an infrared pattern projection unit 361, an infrared camera 362, and an RGB camera 363.

赤外線パターン投射部361は、対象物に対して、人の目には不可視である赤外線によって3次元測定パターンを投射する。赤外線カメラ362は、対象物に投射した3次元測定パターンを読みとるカメラである。RGBカメラ363は、人の目に見える可視光をRGB信号で撮影するカメラである。   The infrared pattern projection unit 361 projects a three-dimensional measurement pattern onto an object using infrared rays that are invisible to human eyes. The infrared camera 362 is a camera that reads a three-dimensional measurement pattern projected onto an object. The RGB camera 363 is a camera that captures visible light visible to the human eye using RGB signals.

なお、本実施例では上述したように、距離画像センサ部208として赤外線パターン投射方式を採用しているが、他の方式の距離画像センサを用いることも可能である。例えば、距離画像センサ部208として、2つのRGBカメラでステレオ立体視を行うステレオ方式や、レーザー光の飛行時間を検出することで距離を測定するTOF(Time of Flight)方式を用いてもよい。   In the present embodiment, as described above, an infrared pattern projection method is employed as the distance image sensor unit 208, but a distance image sensor of another method can also be used. For example, the distance image sensor unit 208 may be a stereo system that performs stereo stereoscopic viewing with two RGB cameras, or a TOF (Time of Flight) system that measures distance by detecting the flight time of laser light.

<ジェスチャ認識部409の説明>
ジェスチャ認識部409の処理の詳細を説明する。
ジェスチャ認識部409は、距離画像取得部408から距離画像と3次元点群を取得する。続いて、ジェスチャ認識部409は、書画台204を含む平面から所定の高さ以上にある、肌色の3次元点群を抽出することで、手の3次元点群を得る。続いて、ジェスチャ認識部409は、抽出した手の3次元点群を、書画台204の平面に射影した2次元画像を生成して、その手の外形を検出する。この時、手の3次元点群の各点が、書画台204の平面に投影した2次元画像の各座標のどれに対応するかの対応関係を記憶しておくものとする。続いて、ジェスチャ認識部409は、検出した手の外形上の各点について、その点での外形の曲率を算出し、算出した曲率が所定値より小さい点を指先として検出する。続いて、ジェスチャ認識部409は、それぞれの指先検出した指先の書画台204を含む平面との距離を、先の対応関係を用いて3次元点群から算出する。ジェスチャ認識部409は、算出した距離が微小な所定値以下である場合、タッチジェスチャありと判定し、メイン制御部402へ通知する。
<Description of gesture recognition unit 409>
Details of processing of the gesture recognition unit 409 will be described.
The gesture recognition unit 409 acquires a distance image and a three-dimensional point group from the distance image acquisition unit 408. Subsequently, the gesture recognition unit 409 obtains a three-dimensional point group of the hand by extracting a three-dimensional point group of skin color that is above a predetermined height from the plane including the document table 204. Subsequently, the gesture recognizing unit 409 generates a two-dimensional image obtained by projecting the extracted three-dimensional point group of the hand onto the plane of the document table 204, and detects the outer shape of the hand. At this time, it is assumed that the correspondence relationship that each point of the three-dimensional point group of the hand corresponds to which of the coordinates of the two-dimensional image projected on the plane of the document table 204 is stored. Subsequently, the gesture recognition unit 409 calculates, for each point on the detected outline of the hand, the curvature of the outline at that point, and detects a point where the calculated curvature is smaller than a predetermined value as a fingertip. Subsequently, the gesture recognizing unit 409 calculates the distance from the plane including the document table 204 of the fingertip detected at each fingertip from the three-dimensional point group using the previous correspondence. The gesture recognition unit 409 determines that there is a touch gesture when the calculated distance is equal to or smaller than a minute predetermined value, and notifies the main control unit 402 of it.

なお、指先検出について、ここでは3次元点群から2次元画像に投影した画像から指先を検出する方法を説明したが、指先検出の対象とする画像は、これに限定されるものではない。例えば、距離画像の背景差分や、RGB画像の肌色領域から手の領域を抽出し、上に述べたのと同様の方法(外形の曲率計算等)で、手領域のうちの指先を検出してもよい。   As for fingertip detection, a method for detecting a fingertip from an image projected on a two-dimensional image from a three-dimensional point group has been described here, but the image to be subjected to fingertip detection is not limited to this. For example, the hand region is extracted from the background difference of the distance image or the skin color region of the RGB image, and the fingertip in the hand region is detected by the same method (external curvature calculation, etc.) as described above. Also good.

<浮き領域検出部411の説明>
浮き領域検出部411による浮き領域検出処理の詳細を図5及び図6を用いて説明する。
図5は、実施例1において原稿の浮き領域を検出する処理(浮き領域検出処理)の一例を説明するフローチャートである。図5(a)及び図5(b)のフローチャートに示す処理は、浮き領域検出部411により実行される。すなわち、図5(a)及び図5(b)に示す処理は、CPU302がHDD305に格納されるカメラスキャナ101の制御用プログラムをRAM303にロードして実行することにより実現される。
<Description of Floating Area Detection Unit 411>
Details of the floating area detection processing by the floating area detection unit 411 will be described with reference to FIGS. 5 and 6.
FIG. 5 is a flowchart for explaining an example of a process for detecting a floating area of a document (a floating area detection process) in the first embodiment. The processing shown in the flowcharts of FIGS. 5A and 5B is executed by the floating area detection unit 411. That is, the processing shown in FIGS. 5A and 5B is realized when the CPU 302 loads the control program for the camera scanner 101 stored in the HDD 305 to the RAM 303 and executes it.

図6は、浮き領域を検出する処理の一例を説明するための図である。
図6(a)は浮きのない原稿600を示す。図6(b)は角が浮いている原稿601を示す。図6(c)は辺が浮いている原稿602を示す。図6(d)は中央が浮いている原稿603を示す。
FIG. 6 is a diagram for explaining an example of processing for detecting a floating region.
FIG. 6A shows a document 600 that does not float. FIG. 6B shows a document 601 with a raised corner. FIG. 6C shows a document 602 with a floating side. FIG. 6D shows a document 603 whose center is floating.

まず、図5(a)のS500において、浮き領域検出部411は、距離画像取得部408を用いて距離画像(距離情報)を取得する。例えば、図6(a)〜図6(d)の原稿600,601,602,603を書画台204にそれぞれ置いた場合、取得される距離画像はそれぞれ図6(e)〜図6(h)の距離画像604,605,606,607となる。   First, in S500 of FIG. 5A, the floating area detection unit 411 acquires a distance image (distance information) using the distance image acquisition unit 408. For example, when the originals 600, 601, 602, and 603 shown in FIGS. 6A to 6D are placed on the document table 204, the acquired distance images are shown in FIGS. 6E to 6H, respectively. Distance images 604, 605, 606, and 607.

続いてS501において、浮き領域検出部411は、上記S500で取得した距離画像を用いて、浮き領域を検出する。浮き領域の検出は以下のようにして行う。まず、浮き領域検出部411は、上記S500で得た距離画像と、事前に取得している書画台204に何も置かれていない状態の距離画像との差分画像を取得する。続いて、浮き領域検出部411は、該差分画像において事前に決定した所定値を閾値とし、閾値以上の値を持つピクセルを特定し、該ピクセルが連続している領域の外接矩形を検出する。次に、浮き領域検出部411は、該検出された外接矩形を原稿における浮き領域とする。さらに、浮き領域検出部411は、原稿の複数箇所に浮きがある場合、互いに隣接しない複数の外接矩形をそれぞれ浮き領域として検出する。   Subsequently, in S501, the floating area detection unit 411 detects a floating area using the distance image acquired in S500. The floating area is detected as follows. First, the floating area detection unit 411 acquires a difference image between the distance image obtained in S500 and the distance image in a state where nothing is placed on the document table 204 acquired in advance. Subsequently, the floating area detection unit 411 uses a predetermined value determined in advance in the difference image as a threshold, specifies a pixel having a value equal to or larger than the threshold, and detects a circumscribed rectangle of an area where the pixel is continuous. Next, the floating area detection unit 411 sets the detected circumscribed rectangle as a floating area in the document. Further, the floating area detection unit 411 detects a plurality of circumscribed rectangles that are not adjacent to each other as floating areas when there are floating at a plurality of locations on the document.

ここで、浮き領域の検出について、図6(f)の角が浮いた原稿の距離画像605から、図6(i)の浮き領域608を検出するまでの具体例を、図7(a)を用いて説明する。   Here, with regard to the detection of the floating area, a specific example of detecting the floating area 608 in FIG. 6I from the distance image 605 of the document with the corners in FIG. It explains using.

図7は、浮きの種類を特定する処理を説明するための図である。
図7(a)は、図6(f)の角が浮いた原稿の距離画像605における座標系を示す図である。ここでは、距離画像はXY座標系で表され、画像サイズは640×480ピクセルである。図6(f)の距離画像605に対して、図5(a)のS501を実行すると、図7(a)のような浮き領域608が検出される。浮き領域608の座標は、領域の左上の座標から幅w、高さhの矩形で検出される。具体的には、浮き領域608の座標は、領域の左上の座標が(500,400)、幅50、高さ50の矩形として検出される。以上のように、図6(f)の角が浮いた原稿の距離画像605から、図6(i)の浮き領域608を検出する。
FIG. 7 is a diagram for explaining processing for specifying the type of float.
FIG. 7A is a diagram showing a coordinate system in the distance image 605 of the document with the floating corner in FIG. Here, the distance image is expressed in the XY coordinate system, and the image size is 640 × 480 pixels. When S501 in FIG. 5A is executed on the distance image 605 in FIG. 6F, a floating region 608 as shown in FIG. 7A is detected. The coordinates of the floating area 608 are detected as a rectangle having a width w and a height h from the upper left coordinates of the area. More specifically, the coordinates of the floating area 608 are detected as a rectangle having an upper left coordinate (500, 400), a width of 50, and a height of 50. As described above, the floating area 608 in FIG. 6I is detected from the distance image 605 of the document with the corner in FIG.

同様に、図6(e)〜図6(h)の距離画像604,605,606,607において、図5(a)のS501でそれぞれ浮き領域を検出する。これにより、図6(i)〜図6(k)の浮き領域608,609,610,611が検出され、それぞれ浮き領域の座標と幅、高さが算出される。   Similarly, in the distance images 604, 605, 606, and 607 in FIGS. 6E to 6H, floating regions are detected in S501 in FIG. 5A, respectively. As a result, the floating areas 608, 609, 610, and 611 in FIGS. 6 (i) to 6 (k) are detected, and the coordinates, width, and height of the floating areas are calculated.

なお、図6(a)のように原稿に浮きがない場合、図6(e)の距離画像604から、浮き領域は検出されない。また、図6(c)のように原稿に複数の浮きがある場合、図6(j)のように複数の浮き領域609,610が検出される。   If the original does not float as shown in FIG. 6A, the floating area is not detected from the distance image 604 in FIG. 6E. Further, when the document has a plurality of floats as shown in FIG. 6C, a plurality of lift areas 609 and 610 are detected as shown in FIG. 6J.

<浮き領域における浮きの種類を特定する>
以下、図5(a)のフローチャートの説明に戻る。
S502において、浮き領域検出部411は、上記S501で検出した浮き領域から浮きの種類を特定していない浮き領域を一つ取得する。
次に、S503において、浮き領域検出部411は、上記S502で取得した浮き領域における浮きの種類を特定する。ここで、S503の詳細を、図5(b)を用いて説明する。
<Identify the type of float in the float area>
Hereinafter, the description returns to the flowchart of FIG.
In S502, the floating area detection unit 411 acquires one floating area that does not specify the type of floating from the floating area detected in S501.
Next, in S503, the floating area detection unit 411 identifies the type of floating in the floating area acquired in S502. Here, details of S503 will be described with reference to FIG.

図5(b)は、浮きの種類を特定する処理を示すフローチャートである。
S509において、浮き領域検出部411は、浮き領域における重心位置を特定する。重心位置は、浮き領域内で特に浮いている箇所を特定するために用いる。浮き領域の各画素の座標を(x,y)、浮き領域における全画素数をMとすると、重心位置(X,Y)は以下の式(4)を用いて算出する。
FIG. 5B is a flowchart showing a process for specifying the type of float.
In S509, the floating area detection unit 411 identifies the position of the center of gravity in the floating area. The position of the center of gravity is used in order to identify a particularly floating part in the floating area. If the coordinates of each pixel in the floating area are (x, y) and the total number of pixels in the floating area is M, the center of gravity (X, Y) is calculated using the following equation (4).

Figure 2018191094
Figure 2018191094

重心位置によって浮き領域内で特に浮いている箇所を特定するため、重心位置を特定する際に用いる閾値は、図5(a)のS501で用いた閾値よりも大きい閾値を用いるのが望ましい。   In order to identify a particularly floating part in the floating region based on the center of gravity position, it is desirable to use a threshold value larger than the threshold value used in S501 of FIG.

続いてS510において、浮き領域検出部411は、浮き領域を複数の領域に分割する。例えば、浮き領域の幅と高さをそれぞれ3等分することによって、浮き領域を9つの領域に分割する(例えば図7(c))。   Subsequently, in S510, the floating area detection unit 411 divides the floating area into a plurality of areas. For example, the floating area is divided into nine areas by dividing the width and height of the floating area into three equal parts (for example, FIG. 7C).

S511において、浮き領域検出部411は、重心が分割した領域の辺に含まれるか否か判定する。浮き領域検出部411が、重心が分割した領域の辺に含まれると判定した場合(S511でYesの場合)、浮き領域検出部411は、S515に処理を進め。S515において、浮き領域検出部411は、浮きの種類を「辺」として、図5(b)の処理を終了する。   In S511, the floating area detection unit 411 determines whether the center of gravity is included in the side of the divided area. When the floating area detection unit 411 determines that the center of gravity is included in the side of the divided area (Yes in S511), the floating area detection unit 411 proceeds to S515. In S515, the floating area detection unit 411 sets the type of the floating as “side” and ends the process of FIG.

一方、上記S511において、浮き領域検出部411が、重心が分割した領域の辺に含まれないと判定した場合(S511でNOの場合)、浮き領域検出部411は、S512に処理を進め。   On the other hand, when the floating area detection unit 411 determines in S511 that the center of gravity is not included in the side of the divided area (NO in S511), the floating area detection unit 411 proceeds to S512.

S512において、浮き領域検出部411が、重心が分割した領域の角に含まれるか否か判定する。浮き領域検出部411が、重心が分割した領域の角に含まれると判定した場合(S512でYesの場合)、浮き領域検出部411は、S514に処理を進め。S514において、浮き領域検出部411は、浮きの種類を「角」として、図5(b)の処理を終了する。   In S512, the floating area detection unit 411 determines whether the center of gravity is included in the corner of the divided area. When the floating area detection unit 411 determines that the center of gravity is included in the corner of the divided area (Yes in S512), the floating area detection unit 411 proceeds to S514. In step S514, the floating area detection unit 411 sets the type of floating as “corner” and ends the process in FIG.

一方、上記S512において、浮き領域検出部411が、重心が分割した領域の角に含まれないと判定した場合(S512でNOの場合)、浮き領域検出部411は、S513に処理を進め。S513において、浮き領域検出部411は、浮きの種類を「中央」として、図5(b)の処理を終了する。以上が、S503の浮きの種類を特定する処理である。   On the other hand, when the floating area detection unit 411 determines in S512 that the center of gravity is not included in the corner of the divided area (NO in S512), the floating area detection unit 411 proceeds to S513. In step S513, the floating area detection unit 411 sets the type of floating as “center” and ends the process of FIG. The above is the processing for specifying the type of float in S503.

ここで、浮きの種類を特定する処理について、図6(i)の浮き領域608から浮きの種類を特定するまでの具体例を、図7(b)と図7(c)を用いて説明する。   Here, with regard to the processing for specifying the type of floating, a specific example from the floating region 608 in FIG. 6 (i) until the type of floating is specified will be described with reference to FIGS. 7 (b) and 7 (c). .

図7(b)は、浮き領域608を示す図である。
まず図5(b)のS509において、浮き領域検出部411は、浮き領域608の重心位置gを特定する。前述した(4)式を用いることによって、重心位置gは例えば、(x、y)=(548,448)として算出される。
FIG. 7B is a diagram showing the floating area 608.
First, in S509 of FIG. 5B, the floating area detection unit 411 identifies the center of gravity position g of the floating area 608. By using the above-described equation (4), the barycentric position g is calculated as (x, y) = (548,448), for example.

続いてS510において、浮き領域検出部411は、浮き領域608を複数の領域に分割する。一例として、浮き領域608を9つの領域に分割する。
図7(c)は浮き領域608を9つの領域に分割した例を示す図である。
分割した領域はそれぞれ角、辺、中央に分類される。浮き領域608における重心位置gは、図7(c)のように、分割した領域の内、右下の角の領域に含まれる。
Subsequently, in S510, the floating area detection unit 411 divides the floating area 608 into a plurality of areas. As an example, the floating region 608 is divided into nine regions.
FIG. 7C shows an example in which the floating area 608 is divided into nine areas.
The divided areas are classified into corners, sides, and centers. The center-of-gravity position g in the floating region 608 is included in the lower right corner region of the divided regions as shown in FIG.

続いてS511において、浮き領域検出部411は、重心gが分割した領域の辺に含まれるか否か判定する。図7(c)において、重心gは分割した領域の辺に含まれていないため、判定はNoとなり、S512に進む。S512において、浮き領域検出部411は、重心が分割した領域の角に含まれるか否か判定する。図7(c)において、重心gは分割した領域の角に含まれているため、判定はYesとなり、S514に進む。S514において、浮き領域608における浮きの種類は、「角」となる。以上のように、図6(i)の浮き領域608から浮きの種類が特定される。   Subsequently, in S511, the floating area detection unit 411 determines whether the center of gravity g is included in the side of the divided area. In FIG. 7C, since the center of gravity g is not included in the side of the divided area, the determination is no and the process proceeds to S512. In S512, the floating area detection unit 411 determines whether the center of gravity is included in the corner of the divided area. In FIG. 7C, since the center of gravity g is included in the corner of the divided area, the determination is yes, and the process proceeds to S514. In S514, the type of floating in the floating area 608 is “corner”. As described above, the type of floating is specified from the floating region 608 in FIG.

同様に、図6(j)、(k)の浮き領域609,610,611は、図7(d)と図7(e)のようにそれぞれ領域が分割され、浮き領域609,610における浮きの種類は「辺」となる。また、浮き領域611の浮きの種類は「中央」となる。   Similarly, the floating regions 609, 610, and 611 in FIGS. 6 (j) and (k) are divided as shown in FIGS. 7 (d) and 7 (e), and the floating regions in the floating regions 609 and 610 are separated. The type is “Side”. In addition, the floating type of the floating region 611 is “center”.

<押さえ方の表示例>
以下、図5(a)のフローチャートの説明に戻る。
上記S503の処理の後、浮き領域検出部411は、S504に処理を進める。
S504において、浮き領域検出部411は、上記S503で特定された浮き領域における浮きの種類を判定する。浮き領域検出部411は、浮きの種類が「辺」であると判定した場合(S504で「辺」の場合)、S505に処理を進める。S505において、浮き領域検出部411は、原稿の辺を指で押さえるために適切な押さえ方をプロジェクタ207によって書画台204に表示(投影)し、S508に処理を進める。
<Example of how to hold down>
Hereinafter, the description returns to the flowchart of FIG.
After the process of S503, the floating area detection unit 411 advances the process to S504.
In S504, the floating area detection unit 411 determines the type of floating in the floating area specified in S503. When the floating area detection unit 411 determines that the type of the float is “side” (in the case of “side” in S504), the process proceeds to S505. In step S505, the floating area detection unit 411 displays (projects) an appropriate pressing method on the document table 204 by the projector 207 in order to press the side of the document with a finger, and advances the process to step S508.

また、浮き領域検出部411は、浮きの種類が「角」であると判定した場合(S504で「角」の場合)、S506に処理を進める。S506において、浮き領域検出部411は、原稿の角を指で押さえるために適切な押さえ方をプロジェクタ207によって書画台204に表示(投影)し、S508に処理を進める。   If the floating area detection unit 411 determines that the type of floating is “corner” (in the case of “corner” in S504), the process proceeds to S506. In step S506, the floating area detection unit 411 displays (projects) an appropriate pressing method on the document table 204 by the projector 207 in order to press the corner of the document with a finger, and advances the process to step S508.

また、浮き領域検出部411は、浮きの種類が「中央」であると判定した場合(S504で「中央」の場合)、S507に処理を進める。S507において、浮き領域検出部411は、原稿の中央を指で押さえるために適切な押さえ方をプロジェクタ207によって書画台204に表示(投影)し、S508に処理を進める。   If the floating area detection unit 411 determines that the type of floating is “center” (in the case of “center” in S504), the process proceeds to S507. In step S507, the floating area detection unit 411 displays (projects) an appropriate pressing method on the document table 204 by the projector 207 in order to press the center of the document with a finger, and advances the process to step S508.

ここで、適切な押さえ方の表示例について具体的に示す。ここでは、図6(a)の角が浮いた原稿601を書画台204に置いた場合を例として図8で説明する。
図8は、書画台204上に角が浮いた原稿601を置いた場合の押さえ方の表示例の一例を示す図である。なお、書画台204は、XY座標系で左上を原点として幅640、高さ480とする。また、書画台204の幅や高さはこの値に限定せず、別の値を用いてもよい。
Here, a display example of an appropriate pressing method will be specifically described. Here, FIG. 8 will be described with reference to FIG. 8 as an example of a case where the document 601 with the raised corners in FIG.
FIG. 8 is a diagram showing an example of a display method of how to hold down when a document 601 with a raised corner is placed on the document table 204. The document table 204 has a width 640 and a height 480 with the upper left as the origin in the XY coordinate system. Further, the width and height of the document table 204 are not limited to these values, and other values may be used.

押さえ方の表示例として、メッセージ800やアイコン801の表示を含む表示例を示す。メッセージ800は、原稿601の角の辺を隠さないよう促す文言を書画台204の上側に表示するものである。メッセージ800の表示位置は、図8の例に限定されるものではなく、例えば書画台204の下側や左側、右側等でもよい。また、アイコン801は、ユーザが実際の押さえ方をイメージしやすいよう、指のアイコンを表示するものである。表示する指のアイコンは、右手と左手の指のアイコンを浮き領域の位置に応じて、切替えて表示してもよい。例えば図8では、右下の角が浮いているため右手の指アイコンを表示する例を示しているが、左下の角が浮いている場合には左手の指アイコンを左下の角の位置に表示するようにしてもよい。   As a display example of how to hold down, a display example including display of a message 800 and an icon 801 is shown. The message 800 displays a word prompting not to hide the corners of the document 601 on the upper side of the document table 204. The display position of the message 800 is not limited to the example shown in FIG. 8 and may be, for example, the lower side, the left side, or the right side of the document table 204. The icon 801 displays a finger icon so that the user can easily imagine the actual pressing method. The finger icons to be displayed may be switched between the right hand and left hand finger icons depending on the position of the floating area. For example, FIG. 8 shows an example in which the right hand finger icon is displayed because the lower right corner is floating, but when the lower left corner is floating, the left hand finger icon is displayed at the lower left corner position. You may make it do.

また、アイコン801は、図8のように、図5(b)のS509で求めた重心位置に、アイコン801の矩形の頂点が一致するように表示される。アイコン801の表示位置はこれに限定されるものではなく、例えば重心位置から所定距離以上離れた位置に表示したり、浮き領域の近辺に表示したりしてもよい。また、アイコン801が指アイコンの場合、右手の指先や左手の指先の座標と重心位置が一致するように表示してもよい。以上のように、書画台204に置かれた原稿601に対して押さえ方が表示される。   Further, as shown in FIG. 8, the icon 801 is displayed such that the rectangular vertex of the icon 801 coincides with the barycentric position obtained in S509 of FIG. 5B. The display position of the icon 801 is not limited to this. For example, the icon 801 may be displayed at a position away from the center of gravity by a predetermined distance or more, or may be displayed near the floating area. When the icon 801 is a finger icon, the coordinates of the center of gravity and the coordinates of the fingertip of the right hand and the fingertip of the left hand may be displayed. As described above, how to press the document 601 placed on the document table 204 is displayed.

以下、原稿の角や辺、中央がそれぞれ浮いた場合の押さえ方の表示のバリエーションについて、図13A、図13B、図14、図15を用いて説明する。
なお、図13A、図13B、図14、図15の具体例は、ユーザ1100がカメラスキャナ101で原稿をスキャンする場合、図11(a)のように、ユーザ1100はカメラスキャナ101に対して正面にいることを想定した表示例に対応する。
In the following, variations of the display of how to hold down when the corners, sides, and center of the document are raised will be described with reference to FIGS. 13A, 13B, 14, and 15. FIG.
13A, 13B, 14 and 15, when the user 1100 scans an original with the camera scanner 101, the user 1100 is in front of the camera scanner 101 as shown in FIG. Corresponds to a display example assuming that

図13A、図13Bは、実施例1において、角が浮いた原稿に対する押さえ方の表示の一覧を示す図である。
図14は、実施例1において、辺が浮いた原稿に対する押さえ方の表示の一覧を示す図である。
図15は、実施例1において、中央が浮いた原稿に対する押さえ方の表示の一覧を示す図である。
なお、図13A、図13B、図14、図15において、ユーザ1100、カメラスキャナ101は、ユーザとカメラスキャナとの位置関係を明確にするための記載であり、本実施例の押さえ方の表示には含まれない。
FIGS. 13A and 13B are diagrams illustrating a list of display methods of how to hold a document with a raised corner in the first embodiment.
FIG. 14 is a diagram illustrating a display list of how to hold a document with a floating side in the first embodiment.
FIG. 15 is a diagram illustrating a display list of how to hold a document with a floating center in the first embodiment.
In FIG. 13A, FIG. 13B, FIG. 14, and FIG. 15, the user 1100 and the camera scanner 101 are descriptions for clarifying the positional relationship between the user and the camera scanner. Is not included.

図13Aの(a)〜(d)は、原稿の角のうち1箇所だけが浮いている場合の表示例を示す。この場合、浮き領域検出部411は、浮いている原稿の角を押さえる押さえ方を提示する。また、浮き領域検出部411は、浮き領域が左側にある場合と右側にある場合とで、表示するアイコンを切替え、重心位置に指先が一致するようにそれぞれアイコン801を表示する。   (A)-(d) of FIG. 13A shows a display example when only one portion of the corners of the document is floating. In this case, the floating area detection unit 411 presents a pressing method for pressing a corner of the floating document. In addition, the floating area detection unit 411 switches icons to be displayed depending on whether the floating area is on the left side or the right side, and displays icons 801 so that the fingertips coincide with the center of gravity.

図13Bの(e)〜(j)は、原稿の角のうち2箇所が浮いている場合の表示例を示す。この場合、浮き領域は複数検出されるため、浮き領域検出部411は、浮き領域毎にそれぞれ、アイコン801を角が1箇所だけが浮いている場合と同様の処理で表示する。即ち、浮き領域検出部411は、浮いている原稿の各角を押さえる押さえ方を提示する。なお、図13Bの(g)や(h)のように、2箇所の角の浮き領域が右側又は左側で両方検出された場合、浮き領域検出部411は、図13(g)では左下の角に右手の指アイコン、図13(h)では右下の角に左手のアイコンを表示する。   (E) to (j) of FIG. 13B show display examples when two of the corners of the document are floating. In this case, since a plurality of floating areas are detected, the floating area detection unit 411 displays the icon 801 for each floating area in the same process as when only one corner is floating. That is, the floating area detecting unit 411 presents a pressing method for pressing each corner of the floating document. In addition, as shown in (g) and (h) of FIG. 13B, when both the floating areas at the two corners are detected on the right side or the left side, the floating area detection unit 411 detects the lower left corner in FIG. 13 (g). In FIG. 13H, a left hand icon is displayed in the lower right corner.

図14の(a)〜(d)は、原稿の辺のうち1箇所だけが浮いている場合の表示例を示す。この場合、浮いている辺の両端を押さえる押さえ方を提示する。図14の(a)〜(d)で表示するアイコン801は、辺に含まれる2箇所の角が浮いているものと同様のものを表示する。即ち、図13Bの(e)〜(h)と同様のアイコンを表示する。また、アイコンの表示位置は浮き領域の短辺の中央とする。   14A to 14D show display examples in the case where only one portion of the sides of the document is floating. In this case, a method of holding down both ends of the floating side is presented. The icons 801 displayed in (a) to (d) of FIG. 14 display the same icons as those in which two corners included in the side are floating. That is, the same icons as (e) to (h) in FIG. 13B are displayed. The icon display position is set at the center of the short side of the floating area.

図14(e)と図14(f)は、原稿の辺のうち2箇所が浮いている場合の表示例を示す。図14(e)のように左右の辺がそれぞれ浮いている場合、辺の中央を押さえるよう促すメッセージ800とアイコン801を表示する。図14(f)のように上下の辺がそれぞれ浮いている場合、ユーザの位置からは押さえづらいため、原稿を90度回転後、辺の中央を押さえるよう促すメッセージ800を表示する。アイコン801の表示位置は例えば、原稿の回転を考慮し、書画台204の辺に近い個所に表示する。   FIG. 14E and FIG. 14F show display examples when two of the sides of the document are floating. When the left and right sides are floating as shown in FIG. 14 (e), a message 800 and an icon 801 that prompt the user to press the center of the side are displayed. When the upper and lower sides are floating as shown in FIG. 14 (f), it is difficult to press from the position of the user, so a message 800 prompting the user to press the center of the side is displayed after the document is rotated 90 degrees. The display position of the icon 801 is displayed at a location close to the side of the document table 204 in consideration of, for example, the rotation of the document.

図15の(a)〜(c)は、中央が浮いている場合の表示例を示す図である。図15(a)のように原稿の中央が縦長(ユーザの正面方向)に浮いている場合、例えば原稿を伸ばしながら(引っ張りながら)両辺の中央を押さえるよう促すメッセージ800を表示する。また、図15(b)のように原稿を90度回転後、辺の中央を押さえるよう促すメッセージ800を表示してもよい。アイコン801は、浮き領域から所定以上離れた個所にそれぞれ表示する。図15(c)のように原稿の中央が横長に浮いている場合、辺の中央を押さえるよう促すメッセージ800を表示する。アイコン801は、浮き領域の短辺の中央にそれぞれ表示する。   (A)-(c) of FIG. 15 is a figure which shows the example of a display when the center has floated. As shown in FIG. 15A, when the center of the document is vertically long (in the front direction of the user), for example, a message 800 that prompts the user to press the center of both sides while stretching (pulling) the document is displayed. Further, as shown in FIG. 15B, a message 800 that prompts the user to press the center of the side after rotating the document by 90 degrees may be displayed. The icons 801 are displayed at locations separated by a predetermined distance or more from the floating area. When the center of the document is floated horizontally as shown in FIG. 15C, a message 800 prompting to press the center of the side is displayed. The icon 801 is displayed at the center of the short side of the floating area.

以上ように、実施例1によれば、浮き領域を特定し、浮き領域毎に適切な押さえ方をユーザに対して提示することができる。これにより、ユーザは原稿をスキャンする際、様々な浮き原稿に対して適切な押さえ方を容易に実施することができる。   As described above, according to the first embodiment, the floating area can be specified, and an appropriate pressing method can be presented to the user for each floating area. Thus, when the user scans the document, the user can easily carry out appropriate pressing methods against various floating documents.

上記実施例1で示したように原稿の浮き領域を検出する場合、浮き領域が複数検出される場合がある。例えば、3か所以上の浮き領域が検出された場合、ユーザの両手では押さえきれない可能性がある。本実施例2では、浮き領域毎に優先度を決定し、優先度の高い浮き領域のみ押さる押さえ方を表示する仕組みを提供する。   As described in the first embodiment, when detecting a floating area of a document, a plurality of floating areas may be detected. For example, when three or more floating areas are detected, there is a possibility that the user cannot hold it with both hands. In the second embodiment, a priority is determined for each floating area, and a mechanism for displaying a pressing method for pressing only a floating area having a high priority is provided.

図9は、実施例2において原稿の浮き領域を検出する処理(浮き領域検出処理)の一例を説明するフローチャートである。このフローチャートに示す処理は、浮き領域検出部411により実行される。すなわち、図9に示す処理は、CPU302がHDD305に格納されるカメラスキャナ101の制御用プログラムをRAM303にロードして実行することにより実現される。なお、図5と同一の処理については同一のステップ番号を付与し、詳細な説明を省略する。   FIG. 9 is a flowchart for explaining an example of processing for detecting a floating region of a document (floating region detection processing) in the second embodiment. The process shown in this flowchart is executed by the floating area detection unit 411. That is, the processing shown in FIG. 9 is realized by the CPU 302 loading a control program for the camera scanner 101 stored in the HDD 305 into the RAM 303 and executing it. Note that the same steps as those in FIG. 5 are assigned the same step numbers, and detailed descriptions thereof are omitted.

S501,S501の処理の後、浮き領域検出部411は、S900に処理を進める。S900において、浮き領域検出部411は、上記S501で検出された浮き領域が所定数より多いか否か判定する。本実施例では、所定数を「2」として説明する。   After the processing of S501 and S501, the floating area detection unit 411 advances the processing to S900. In S900, the floating area detection unit 411 determines whether or not the number of floating areas detected in S501 is greater than a predetermined number. In this embodiment, the predetermined number is assumed to be “2”.

上記S900において、浮き領域検出部411が、検出された浮き領域が所定数より多くないと判定した場合(S900でNoの場合)、S502に処理を進める。一方、浮き領域検出部411が、検出された浮き領域が所定数より多いと判定した場合(S900でYesの場合)、S901に処理を進める。   In S900, when the floating area detecting unit 411 determines that the detected floating areas are not more than the predetermined number (No in S900), the process proceeds to S502. On the other hand, when the floating area detection unit 411 determines that the number of detected floating areas is greater than the predetermined number (Yes in S900), the process proceeds to S901.

S901において、浮き領域検出部411は、S501検出された浮き領域毎に優先度を付与する。優先度は、浮き領域内のコンテンツの有無や浮き領域内の浮きの大きさによって決定する。コンテンツのある浮き領域を補正せずそのまま撮像すると、コンテンツが歪んでしまう。そのため、浮き領域検出部411は、優先度を決定する際、浮きの大きさよりもコンテンツの有無を優先する。また、浮き領域内のコンテンツの有無は、コンテンツ有無判定部413によって判定する。また、浮き領域内の浮きの大きさは、事前に取得された書画台204に何も置かれていない状態の距離画像との差分画像における差分の最大値を用いる。   In S901, the floating area detection unit 411 gives priority to each floating area detected in S501. The priority is determined by the presence / absence of content in the floating area and the size of the floating in the floating area. If a floating area with content is imaged without correction, the content is distorted. Therefore, when determining the priority, the floating area detection unit 411 gives priority to the presence / absence of content over the size of the floating. Also, the presence / absence determination unit 413 determines the presence / absence of content in the floating area. Further, as the size of the float in the float area, the maximum value of the difference in the difference image from the distance image in a state where nothing is placed on the document table 204 acquired in advance is used.

次にS902において、浮き領域検出部411は、優先度の高い浮き領域を上述した所定数(ここでは「2」)分だけ取得する。浮き領域検出部411は、S902で取得した浮き領域に対してのみS502〜S508の処理を実行し、浮きの種類を特定して押さえ方を表示するように制御する。   Next, in step S902, the floating area detection unit 411 acquires the predetermined number (here, “2”) of floating areas having high priority. The floating area detection unit 411 performs processing of S502 to S508 only for the floating area acquired in S902, and controls to specify the type of floating and display the pressing method.

図10は、浮き領域が所定数より多く検出された場合の処理を説明するための図である。
図10(a)は浮き領域が所定数より多く検出された様子を示す。また、図10(b)は検出された浮き領域に対して優先度を付与した結果の一例を示す。なお、図10(b)における浮き領域1、浮き領域2、浮き領域3は、図10(a)における浮き領域1000、浮き領域1001、浮き領域1002とそれぞれ対応している。
図10(c)は優先度の高い浮き領域に対する押さえ方の表示例を示す。
FIG. 10 is a diagram for explaining processing when more than a predetermined number of floating areas are detected.
FIG. 10A shows a state in which more than a predetermined number of floating areas are detected. FIG. 10B shows an example of the result of giving priority to the detected floating area. Note that the floating area 1, the floating area 2, and the floating area 3 in FIG. 10B correspond to the floating area 1000, the floating area 1001, and the floating area 1002 in FIG. 10A, respectively.
FIG. 10C shows a display example of how to hold a floating area with high priority.

図9のS901では、浮き領域検出部411は、まずコンテンツの有無を比較し、コンテンツが含まれる浮き領域1を最も高い優先度を設定する。次に、浮き領域検出部411は、浮き領域2と浮き領域3を浮きの大きさで比較し、浮きの大きい浮き領域2を2番目に高い優先度を設定する。さらに、浮き領域検出部411は、最後に残った浮き領域3を3番目に高い優先度を設定する。S902では、浮き領域検出部411は、優先度の高い浮き領域1と浮き領域2を取得する。その後、浮き領域検出部411は、S502、S503において、上記S902で取得した浮き領域における浮きの種類を特定する。そして、浮き領域検出部411は、S505〜S507において、図10(c)のように優先度の高い浮き領域1と浮き領域2に対する押さえ方のみを表示する。   In S901 of FIG. 9, the floating area detection unit 411 first compares the presence or absence of content, and sets the highest priority for the floating area 1 including the content. Next, the floating area detection unit 411 compares the floating area 2 and the floating area 3 with the size of the floating, and sets the second highest priority for the floating area 2 with the large floating. Furthermore, the floating area detection unit 411 sets the third highest priority for the remaining floating area 3. In S902, the floating area detection unit 411 acquires the floating area 1 and the floating area 2 having high priority. Thereafter, in S502 and S503, the floating area detection unit 411 identifies the type of floating in the floating area acquired in S902. In S505 to S507, the floating area detection unit 411 displays only the method of pressing the floating area 1 and the floating area 2 with high priority as illustrated in FIG.

以上のように、実施例2によれば、浮き領域毎に優先度を付与し、優先度の高い浮き領域のみ押さえ方を提示することができる。これにより、ユーザは原稿をスキャンする際、複数の浮きのある原稿の中でも特に押さえた方が良い個所を押さえながらスキャンすることを容易に実施することができる。   As described above, according to the second embodiment, it is possible to give priority to each floating area and present a method of pressing only the floating area having a high priority. As a result, when scanning the document, the user can easily perform scanning while pressing a portion that should be pressed particularly among a plurality of floating documents.

上述した実施例1では、ユーザ1100がカメラスキャナ101で原稿をスキャンする場合、図11(a)のように、ユーザ1100はカメラスキャナ101に対して正面にいることを想定としていた。しかし、図11(b)のように、ユーザ1100はカメラスキャナ101に対して横にいる可能性がある。このときユーザ1100が原稿1101の辺が隠れないように一本の指で押さえたとしても、図11(b)のようにカメラスキャナ101と原稿1101の間にユーザの左手が入り、撮像時に原稿が手で遮られる場合がある。この状態で、カメラ部202で書画台204の原稿1101を撮像すると、図11(c)のような撮像画像1102が得られる。撮像画像1102では、ユーザの左手により原稿の辺が大きく隠れてしまっている。このようになる理由として、カメラ部202がユーザの視点とは異なる方向から原稿を撮像しているためである。   In the first embodiment described above, when the user 1100 scans an original with the camera scanner 101, it is assumed that the user 1100 is in front of the camera scanner 101 as shown in FIG. However, as shown in FIG. 11B, the user 1100 may be lying beside the camera scanner 101. At this time, even if the user 1100 holds the document 1101 with one finger so that the side of the document 1101 is not hidden, the user's left hand enters between the camera scanner 101 and the document 1101 as shown in FIG. May be blocked by hand. In this state, when the camera unit 202 captures an image of the original 1101 on the document table 204, a captured image 1102 as shown in FIG. 11C is obtained. In the captured image 1102, the side of the document is largely hidden by the left hand of the user. The reason for this is that the camera unit 202 captures an image of a document from a direction different from the user's viewpoint.

例えば、書画台204の、ユーザから見て奥側の領域、且つ、カメラスキャナ101(カメラ部202)から見て手前側の領域、即ち図11(d)の領域1103に浮き領域が含まれると、撮像時に原稿が原稿を押さえるユーザの手で遮られる場合がある。そこで、本実施例3では、カメラスキャナと原稿の間に、原稿を押さえるユーザの手や指が入らないよう、カメラスキャナに対するユーザの位置を検出し、ユーザの位置、浮き領域の位置、及び浮きの種類に応じて浮き領域の押さえ方を表示する仕組みを提供する。   For example, if the floating area is included in the area on the back of the document table 204 as viewed from the user and the area on the near side as viewed from the camera scanner 101 (camera unit 202), that is, the area 1103 in FIG. The document may be blocked by the user's hand holding the document during imaging. Therefore, in the third embodiment, the position of the user with respect to the camera scanner is detected so that the user's hand or finger holding the document does not enter between the camera scanner and the document, and the user's position, the position of the floating area, and the floating Provide a mechanism to display how to hold the floating area according to the type.

図12は、実施例3において原稿の浮き領域を検出する処理(浮き領域検出処理)の一例を説明するフローチャートである。このフローチャートに示す処理は、浮き領域検出部411により実行される。すなわち、図9に示す処理は、CPU302がHDD305に格納されるカメラスキャナ101の制御用プログラムをRAM303にロードして実行することにより実現される。なお、図5と同一の処理については同一のステップ番号を付与し、詳細な説明を省略する。   FIG. 12 is a flowchart for explaining an example of processing for detecting a floating region of a document (floating region detection processing) in the third embodiment. The process shown in this flowchart is executed by the floating area detection unit 411. That is, the processing shown in FIG. 9 is realized by the CPU 302 loading a control program for the camera scanner 101 stored in the HDD 305 into the RAM 303 and executing it. Note that the same steps as those in FIG. 5 are assigned the same step numbers, and detailed descriptions thereof are omitted.

まず、S1200において、浮き領域検出部411は、カメラスキャナ101に対するユーザの位置を取得する。取得するユーザの位置として、図11(a)や図11(b)のように正面か横にいるか、正面にいるかを取得する。ユーザの位置は以下のように取得する。まず、浮き領域検出部411は、人物検出用RGBカメラ360を用いて撮像画像を取得し、撮像画像に対して公知の顔検出技術を適用する。さらに、浮き領域検出部411は、検出された顔の位置が画像の中央の領域など、所定の領域に含まれている場合、ユーザの位置を正面と判定する。それ以外の領域であれば、ユーザの位置を横と判定する。ユーザの位置を横と判定した場合、浮き領域検出部411は、ユーザがカメラスキャナ101から見て左右いずれ側にいるかも判定する。S1200の処理の後、浮き領域検出部411は、S500に処理を進める。   First, in step S1200, the floating area detection unit 411 acquires the position of the user with respect to the camera scanner 101. As the position of the user to be acquired, it is acquired whether it is front, side, or front as shown in FIG. 11 (a) and FIG. 11 (b). The user's position is acquired as follows. First, the floating area detection unit 411 acquires a captured image using the person detection RGB camera 360, and applies a known face detection technique to the captured image. Furthermore, the floating area detection unit 411 determines that the position of the user is the front when the detected face position is included in a predetermined area such as the center area of the image. If the area is other than that, the user's position is determined to be horizontal. When it is determined that the user's position is horizontal, the floating area detection unit 411 also determines whether the user is on the left or right side when viewed from the camera scanner 101. After the process of S1200, the floating area detection unit 411 advances the process to S500.

浮き領域検出部411は、浮きの種類が「辺」であると判定した場合(S504で「辺」の場合)、S1201において、ユーザの位置に応じた辺の押さえ方をプロジェクタ207によって書画台204に表示(投影)する。
また、浮き領域検出部411は、浮きの種類が「角」であると判定した場合(S504で「角」の場合)、S1202において、ユーザの位置に応じた角の押さえ方をプロジェクタ207によって書画台204に表示(投影)する。
また、浮き領域検出部411は、浮きの種類が「中央」であると判定した場合(S504で「中央」の場合)、S1203において、ユーザの位置に応じた中央の押さえ方をプロジェクタ207によって書画台204に表示(投影)する。
When the floating area detecting unit 411 determines that the type of the floating is “side” (in the case of “side” in S504), the projector 207 determines how to hold the side according to the user's position in S1201. Is displayed (projected).
In addition, when the floating area detection unit 411 determines that the type of floating is “corner” (in the case of “corner” in S504), the projector 207 prints the corner pressing method according to the user's position in S1202. Display (project) on the table 204.
In addition, when the floating area detection unit 411 determines that the floating type is “center” (in the case of “center” in S504), the projector 207 prints the center pressing method corresponding to the user's position in S1203. Display (project) on the table 204.

なお、浮き領域検出部411は上記S1201、S1202又はS1203を実行する際、スキャン時に原稿が原稿を押さえるユーザの手で遮られる可能性のある領域(以下「影領域」)に浮き領域が含まれるか否かを判定する。ここで影領域とは、例えば、図11(c)の1103のような、ユーザから見て奥側の領域、且つカメラスキャナ101(カメラ部202)から見て手前側の領域等である。   When the floating area detection unit 411 executes S1201, S1202, or S1203, a floating area is included in an area in which a document may be blocked by a user's hand holding the document during scanning (hereinafter referred to as a “shadow area”). It is determined whether or not. Here, the shadow region is, for example, a region on the back side when viewed from the user and a region on the near side when viewed from the camera scanner 101 (camera unit 202), such as 1103 in FIG.

浮き領域検出部411は、上記影領域に浮き領域が含まれると判定した場合、ユーザに対して、正面に移動してから原稿を押さえるよう促すメッセージを表示し、ユーザが正面に移動した後の原稿の押さえ方を表示するように制御する。一方、影領域に浮き領域が含まれないと判定した場合は、浮き領域検出部411は、実施例1と同様のメッセージを表示し、実施例1と同様に、ユーザの現在の位置からの原稿の押さえ方を表示するように制御する。   When the floating area detection unit 411 determines that the shadow area includes the floating area, the floating area detection unit 411 displays a message prompting the user to press the document after moving to the front, and after the user has moved to the front Control how to hold down the original. On the other hand, when it is determined that the floating area does not include the floating area, the floating area detecting unit 411 displays a message similar to that in the first embodiment, and the document from the current position of the user as in the first embodiment. Control how to hold down.

なお、表示する押さえ方の具体例として、ユーザが正面にいる場合は実施例1と同様の表示をするため説明を省略する。以下、ユーザが横にいる場合の原稿の押さえ方の表示の具体例を、図16A、図16B、図17、図18を用いて説明する。   In addition, as a specific example of the pressing method to be displayed, since the same display as in the first embodiment is performed when the user is in front, the description is omitted. Hereinafter, specific examples of how to hold down a document when the user is on the side will be described with reference to FIGS. 16A, 16B, 17, and 18. FIG.

図16A、図16Bは、実施例3において、ユーザが横にいる場合において、角が浮いた原稿に対する押さえ方の表示の一覧を示す図である。
図17は、実施例3において、ユーザが横にいる場合において、辺が浮いた原稿に対する押さえ方の表示の一覧を示す図である。
図18は、実施例3において、ユーザが横にいる場合において、中央が浮いた原稿に対する押さえ方の表示の一覧を示す図である。
これらの表示例は全て、図11(b)のように、カメラスキャナ101から見て右側にユーザがいる場合、つまりユーザから見て左側にカメラスキャナ101がある場合に対応し、ユーザから見たときの書画台204における表示例である。なお、図16A、図16B、図17、図18において、ユーザ1100、カメラスキャナ101は、ユーザとカメラスキャナとの位置関係を明確にするための記載であり、本実施例の押さえ方の表示には含まれない。
FIGS. 16A and 16B are diagrams illustrating a list of display methods of how to hold a document with a raised corner when the user is sideways in the third embodiment.
FIG. 17 is a diagram illustrating a list of display methods of how to hold a document whose side is floated when the user is sideways in the third embodiment.
FIG. 18 is a diagram illustrating a display list of how to hold a document whose center is lifted when the user is lying sideways in the third embodiment.
All of these display examples correspond to the case where the user is on the right side when viewed from the camera scanner 101 as shown in FIG. 11B, that is, the case where the camera scanner 101 is on the left side when viewed from the user. It is a display example on the document table 204 at the time. 16A, FIG. 16B, FIG. 17 and FIG. 18, the user 1100 and the camera scanner 101 are descriptions for clarifying the positional relationship between the user and the camera scanner. Is not included.

図16Aの(a)〜(d)は、原稿の角のうち1箇所だけが浮いている場合の表示例を示す図である。実施例1との差分として、影領域に浮き領域が含まれる図16(a)の場合、浮き領域検出部411は、ユーザに対して正面に移動してから角を押さえるよう促すメッセージ800を表示する。また、この場合、浮き領域検出部411は、ユーザが正面に移動した後の押さえ方を提示するようなアイコン801を表示する。図16A(a)の表示の場合、ユーザが正面に移動した後の押さえ方は、図13A(b)と同様の押さえ方になる。即ち、移動後のユーザから見て原稿の右奥を右手の指で押さえる押さえ方が提示される。   (A)-(d) of FIG. 16A is a figure which shows the example of a display when only one place of the corners of a document is floating. As a difference from the first embodiment, in the case of FIG. 16A in which a shadow area includes a floating area, the floating area detection unit 411 displays a message 800 that prompts the user to move the front and press the corner. To do. Further, in this case, the floating area detection unit 411 displays an icon 801 that presents a pressing method after the user has moved to the front. In the case of the display in FIG. 16A (a), the pressing method after the user has moved to the front is the same pressing method as in FIG. 13A (b). That is, a pressing method for pressing the right back of the document with the finger of the right hand as viewed from the user after movement is presented.

図16Bの(e)〜(j)は、原稿の角のうち2箇所が浮いている場合の表示例を示す。実施例1との差分として、影領域に浮き領域が含まれる図16Bの(f)、(g)及び(j)の場合、浮き領域検出部411は、ユーザに対して正面に移動してから角を押さえるよう促すメッセージ800を表示する。また、この場合、浮き領域検出部411は、ユーザが正面に移動した後の押さえ方を提示するようなアイコン801を表示する。図16Bの(f)、(g)、(j)の表示の場合、ユーザが正面に移動した後の押さえ方は、それぞれ図13Bの(h)、(f)、(i)と同様の押さえ方になる。   (E) to (j) of FIG. 16B show display examples when two of the corners of the document are floating. In the case of (f), (g), and (j) in FIG. 16B where the shadow area includes a floating area as a difference from the first embodiment, the floating area detection unit 411 moves forward with respect to the user. Display a message 800 prompting you to hold a corner. Further, in this case, the floating area detection unit 411 displays an icon 801 that presents a pressing method after the user has moved to the front. In the case of the display of (f), (g), and (j) in FIG. 16B, the pressing method after the user has moved to the front is the same as that in (h), (f), and (i) of FIG. 13B, respectively. Become.

図17の(a)〜(d)は、原稿の辺のうち1箇所だけが浮いている場合の表示例を示す。実施例1との差分として、影領域に浮き領域が含まれる図17の(a)、(c)の場合、浮き領域検出部411は、ユーザに対して正面に移動してから角を押さえるよう促すメッセージ800を表示する。また、この場合、浮き領域検出部411は、ユーザが正面に移動した後の押さえ方を提示するようなアイコン801を表示する。図17の(a)、(c)の表示の場合、ユーザが正面に移動した後の押さえ方は、それぞれ図14の(c)、(b)と同様の押さえ方になる。   FIGS. 17A to 17D show display examples when only one side of the document is floating. As a difference from the first embodiment, in the case of FIGS. 17A and 17C in which the shadow area includes the floating area, the floating area detection unit 411 moves to the front with respect to the user and then presses the corner. A prompt message 800 is displayed. Further, in this case, the floating area detection unit 411 displays an icon 801 that presents a pressing method after the user has moved to the front. In the display of FIGS. 17A and 17C, the pressing method after the user has moved to the front is the same pressing method as in FIGS. 14C and 14B, respectively.

図17の(e)、(f)は、原稿の辺のうち2箇所が浮いている場合の表示例を示す。実施例1との差分として、影領域に浮き領域が含まれる図17の(e)の場合、浮き領域検出部411は、ユーザに対して正面に移動したのち、原稿を90度回転させて辺の中央を押さえるよう促すメッセージ800を表示する。また、この場合、浮き領域検出部411は、ユーザが正面に移動した後の押さえ方を提示するようなアイコン801を表示する。図17の(e)の表示の場合、ユーザが正面に移動した後の押さえ方は、図14の(f)と同様の押さえ方になる。   FIGS. 17E and 17F show display examples when two of the sides of the document are floating. In the case of FIG. 17E in which the shadow area includes a floating area as a difference from the first embodiment, the floating area detection unit 411 moves the document to the front by 90 degrees after moving to the front. A message 800 prompting the user to hold down the center of is displayed. Further, in this case, the floating area detection unit 411 displays an icon 801 that presents a pressing method after the user has moved to the front. In the case of the display in FIG. 17E, the pressing method after the user has moved to the front is the same pressing method as in FIG.

また、実施例1との差分として、影領域に浮き領域が含まれる図17の(f)の場合、浮き領域検出部411は、ユーザに対して正面に移動したのち、辺の中央を押さえるよう促すメッセージ800を表示する。また、この場合、浮き領域検出部411は、ユーザが正面に移動した後の押さえ方を提示するようなアイコン801を表示する。図17の(f)の表示の場合、ユーザが正面に移動した後の押さえ方は、図14の(e)と同様の押さえ方になる。   Further, as a difference from the first embodiment, in the case of FIG. 17F where the shadow area includes the floating area, the floating area detection unit 411 moves to the front with respect to the user and then presses the center of the side. A prompt message 800 is displayed. Further, in this case, the floating area detection unit 411 displays an icon 801 that presents a pressing method after the user has moved to the front. In the case of the display of FIG. 17F, the pressing method after the user has moved to the front is the same pressing method as in FIG.

図18の(a)、(b)は、原稿の中央が浮いている場合の表示例を示す。実施例1との差分として、影領域に浮き領域が含まれる図18の(a)の場合、浮き領域検出部411は、ユーザに対して正面に移動してから辺を押さえるよう促すメッセージ800を表示する。また、この場合、浮き領域検出部411は、ユーザが正面に移動した後の押さえ方を提示するようなアイコン801を表示する。図18の(a)の表示の場合、ユーザが正面に移動した後の押さえ方は、図15の(c)と同様の押さえ方になる。   18A and 18B show display examples when the center of the document is floating. As a difference from the first embodiment, in the case of FIG. 18A in which a floating area is included in the shadow area, the floating area detecting unit 411 displays a message 800 that prompts the user to press the side after moving to the front. indicate. Further, in this case, the floating area detection unit 411 displays an icon 801 that presents a pressing method after the user has moved to the front. In the case of the display in FIG. 18A, the pressing method after the user has moved to the front is the same pressing method as in FIG.

また、実施例1との差分として、影領域に浮き領域が含まれる図18の(b)の場合、浮き領域検出部411は、ユーザに対して正面に移動し、原稿を伸ばしながら辺を押さえるよう促すメッセージ800を表示する。また、この場合、浮き領域検出部411は、ユーザが正面に移動した後の押さえ方を提示するようなアイコン801を表示する。図18の(b)の表示の場合、ユーザが正面に移動した後の押さえ方は、図15の(a)と同様の押さえ方になる。   Further, as a difference from the first embodiment, in the case of FIG. 18B in which a shadow area includes a floating area, the floating area detection unit 411 moves to the front with respect to the user and presses the side while stretching the document. A message 800 prompting the user is displayed. Further, in this case, the floating area detection unit 411 displays an icon 801 that presents a pressing method after the user has moved to the front. In the case of the display in FIG. 18B, the pressing method after the user has moved to the front is the same pressing method as in FIG.

以上のように、実施例3によれば、カメラスキャナ101に対するユーザの位置に応じて、浮き領域毎に適切な押さえ方をユーザに対して提示することができる。これにより、ユーザは原稿をスキャンする際、カメラスキャナと原稿の間に手が入らない押さえ方を容易に実施することができる。   As described above, according to the third embodiment, it is possible to present an appropriate pressing method for each floating area to the user according to the position of the user with respect to the camera scanner 101. Thereby, when the user scans the document, the user can easily perform a pressing method in which a hand does not enter between the camera scanner and the document.

以上、各実施例によれば、浮き領域毎に浮きの種類を特定し、浮きの種類に応じた適切な原稿の押さえ方をユーザに提示することができる。したがって、ユーザは原稿の浮きに対して適切な押さえ方を容易に把握し、適切な押さえ方で原稿を押さえてスキャンすることができる。この結果、スタンド型スキャナで原稿の読み取りを行う場合に、原稿のエッジがユーザの手や指で隠れた状態で読み取られてしまう事態の発生を抑えることができる。   As described above, according to each embodiment, it is possible to specify the type of floating for each floating region, and to present the user with an appropriate method of pressing a document according to the type of floating. Therefore, the user can easily grasp an appropriate pressing method against the floating of the document, and can scan by pressing the document with the appropriate pressing method. As a result, when reading a document with a stand type scanner, it is possible to suppress the occurrence of a situation where the edge of the document is read with the user's hand or finger hidden.

なお、上述した各種データの構成及びその内容はこれに限定されるものではなく、用途や目的に応じて、様々な構成や内容で構成されていてもよい。
以上、一実施形態について示したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
また、上記各実施例を組み合わせた構成も全て本発明に含まれるものである。
In addition, the structure of the various data mentioned above and its content are not limited to this, You may be comprised with various structures and content according to a use and the objective.
Although one embodiment has been described above, the present invention can take an embodiment as, for example, a system, apparatus, method, program, or storage medium. Specifically, the present invention may be applied to a system composed of a plurality of devices, or may be applied to an apparatus composed of a single device.
Moreover, all the structures which combined said each Example are also contained in this invention.

(その他の実施例)
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
また、本発明は、複数の機器から構成されるシステムに適用しても、1つの機器からなる装置に適用してもよい。
本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形(各実施例の有機的な組合せを含む)が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施例及びその変形例を組み合わせた構成も全て本発明に含まれるものである。
(Other examples)
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in the computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
Further, the present invention may be applied to a system composed of a plurality of devices or an apparatus composed of one device.
The present invention is not limited to the above embodiments, and various modifications (including organic combinations of the embodiments) are possible based on the spirit of the present invention, and these are excluded from the scope of the present invention. is not. That is, the present invention includes all the combinations of the above-described embodiments and modifications thereof.

1 ハンドスキャナハウジング
2 入力書面
3 1次元イメージセンサ
4 ワイドレンズ
5 照明ランプ
1 Hand scanner housing
2 Input documents
3 One-dimensional image sensor
4 Wide lens
5 Lighting lamp

Claims (18)

載置される原稿から画像データを読み取る原稿読取装置であって、
前記原稿が載置されている領域の距離情報を取得する取得手段と、
前記取得手段により取得された距離情報に基づいて、前記領域に載置された原稿の浮き領域を検出する検出手段と、
前記検出手段により検出された浮き領域ごとに、前記原稿の浮きの種類を特定する特定手段と、
前記原稿の浮きの種類に応じて、前記原稿の浮きを補正するための原稿の押さえ方を提示する提示手段と、
を有することを特徴とする原稿読取装置。
An original reading device that reads image data from a placed original,
Obtaining means for obtaining distance information of a region where the document is placed;
Detecting means for detecting a floating area of the document placed in the area based on the distance information acquired by the acquiring means;
Specifying means for specifying the type of lifting of the document for each floating area detected by the detecting means;
Presenting means for presenting a document pressing method for correcting the document floating according to the type of document floating;
A document reading apparatus comprising:
前記浮き領域が所定数より多い場合、前記各浮き領域に優先度を設定する設定手段を有し、
前記提示手段は、前記浮き領域が所定数より多い場合には、前記設定手段により設定された優先度の高い前記所定数の浮き領域をユーザが押さえるべき領域とする押さえ方を提示することを特徴とする請求項1に記載の原稿読取装置。
When the number of floating areas is greater than a predetermined number, setting means for setting a priority for each floating area,
The presenting means presents, when the number of the floating areas is larger than a predetermined number, a method of pressing the predetermined number of floating areas set by the setting means as an area to be pressed by the user. The document reading apparatus according to claim 1.
前記設定手段は、前記優先度を、浮き領域内のコンテンツの有無、及び、浮き領域内の浮きの大きさに基づいて決定することを特徴とする請求項2に記載の原稿読取装置。   The document reading apparatus according to claim 2, wherein the setting unit determines the priority based on presence / absence of content in the floating area and a size of the floating in the floating area. 前記原稿読取装置に対するユーザの位置を検出する検出手段を有し、
前記提示手段は、前記検出手段により検出されたユーザの位置が前記原稿読取装置の正面でない場合、前記浮き領域が所定の領域に含まれるか否かに応じて、前記原稿の押さえ方の提示を切り換えることを特徴とする請求項1〜3のいずれか1項に記載の原稿読取装置。
Detecting means for detecting a position of a user with respect to the document reading device;
The presenting means presents how to hold down the original depending on whether or not the floating area is included in a predetermined area when the position of the user detected by the detecting means is not in front of the original reading apparatus. The document reading device according to claim 1, wherein the document reading device is switched.
前記提示手段は、前記検出手段により検出されたユーザの位置が前記原稿読取装置の正面でない場合、前記浮き領域が所定の領域に含まれる場合には、ユーザが前記原稿読取装置の正面に移動することの提示と、該移動後の位置からユーザが前記原稿を押さえる押さえ方の提示を行うことを特徴とする請求項4に記載の原稿読取装置。   The presenting means moves the user to the front of the original reading apparatus when the position of the user detected by the detecting means is not the front of the original reading apparatus, or when the floating area is included in a predetermined area. The document reading apparatus according to claim 4, wherein the document reading apparatus and a pressing method for pressing the document from a position after the movement are presented. 前記提示手段は、前記原稿の浮きの種類が前記原稿の角が浮いている種類の場合には、該浮いている原稿の角を押さえる押さえ方を提示することを特徴とする請求項1〜5のいずれか1項に記載の原稿読取装置。   The presenting means presents a pressing method for pressing a corner of the floating document when the type of the document floating is a type in which the corner of the document is floating. The document reading device according to any one of the above. 前記提示手段は、前記原稿の浮きの種類が前記原稿の1つの辺が浮いている種類の場合には、該浮いている辺の両端を押さえる押さえ方を提示することを特徴とする請求項1〜5のいずれか1項に記載の原稿読取装置。   The presenting means presents a pressing method for pressing both ends of the floating side when the type of floating of the original is a type in which one side of the original is floating. The document reading device according to any one of? 前記提示手段は、前記原稿の浮きの種類が前記原稿の複数の辺が浮いている種類の場合には、該浮いている各辺の中央を押さえる押さえ方を提示することを特徴とする請求項1〜5のいずれか1項に記載の原稿読取装置。   The presenting means presents a pressing method for pressing the center of each of the floating sides when the type of floating of the document is a type in which a plurality of sides of the document are floating. The document reading apparatus according to any one of 1 to 5. 前記提示手段は、前記原稿の浮きの種類が前記原稿の中央が浮いている種類の場合には、該原稿の両辺の中央を押さえる押さえ方を提示することを特徴とする請求項1〜5のいずれか1項に記載の原稿読取装置。   The presenting means presents a pressing method for pressing the center of both sides of the document when the document float type is a type in which the center of the document is floating. The document reading apparatus according to claim 1. 前記提示手段は、前記原稿の中央にできた浮き領域がユーザの正面方向に伸びている場合には、該原稿の前記ユーザの正面方向に伸びる両辺の中央を引っ張りながら押さえる押さえ方、又は、該原稿を90度回転させ、該回転後の原稿の前記ユーザの正面方向に伸びる両辺の中央を押さえる押さえ方を提示することを特徴とする請求項9に記載の原稿読取装置。   When the floating area formed in the center of the document extends in the front direction of the user, the presenting means holds the document while pulling the center of both sides extending in the front direction of the user. The document reading apparatus according to claim 9, wherein the document is rotated by 90 degrees, and a pressing method for pressing the center of both sides of the rotated document extending in the front direction of the user is presented. 前記提示手段は、前記原稿の中央にできた浮き領域がユーザの正面方向と直交する方向に伸びている場合には、該原稿の前記ユーザの正面方向に伸びる両辺の中央を押さえる押さえ方を提示することを特徴とする請求項9に記載の原稿読取装置。   When the floating area formed in the center of the document extends in a direction orthogonal to the front direction of the user, the presenting means presents a pressing method for pressing the center of both sides of the document extending in the front direction of the user. The document reading device according to claim 9. 前記提示手段は、前記原稿の押さえ方を示す情報を、前記原稿を載置する領域に投影することにより押さえ方を提示することを特徴とする請求項1〜11のいずれか1項に記載の原稿読取装置。   The said presentation means presents how to hold down by projecting the information which shows how to hold down the said document on the area | region which mounts the said document, The any one of Claims 1-11 characterized by the above-mentioned. Document reader. 前記原稿の押さえ方を示す情報は、前記原稿の押さえ方を説明するメッセージと、前記原稿の押さえ方を示す画像の少なくともいずれかを含むことを特徴とする請求項12項に記載の原稿読取装置。   13. The document reading apparatus according to claim 12, wherein the information indicating how to press the document includes at least one of a message explaining how to press the document and an image indicating how to press the document. . 前記原稿の押さえ方を示す画像は、原稿を押さえる指のアイコンを含むことを特徴とする請求項13に記載の原稿読取装置。   The document reading apparatus according to claim 13, wherein the image indicating how to press the document includes a finger icon for pressing the document. 前記提示手段は、前記指のアイコンを前記原稿の浮き領域に投影することを特徴とする請求項14に記載の原稿読取装置。   The document reading apparatus according to claim 14, wherein the presenting unit projects the finger icon onto a floating area of the document. 前記提示手段は、前記浮き領域の位置に応じて、右手の指に対応するアイコンと左手の指に対応するアイコンを切替えて投影することを特徴とする請求項15に記載の原稿読取装置。   The document reading apparatus according to claim 15, wherein the presenting unit switches and projects an icon corresponding to the right finger and an icon corresponding to the left finger according to the position of the floating area. 載置される原稿から画像データを読み取る原稿読取装置の制御方法であって、
前記原稿が載置されている領域の距離情報を取得する取得ステップと、
前記取得ステップで取得された距離情報に基づいて、前記領域に載置された原稿の浮き領域を検出する検出ステップと、
前記検出ステップで検出された浮き領域ごとに、前記原稿の浮きの種類を特定する特定ステップと、
前記原稿の浮きの種類に応じて、前記原稿の浮きを補正するための原稿の押さえ方を提示する提示ステップと、
を有することを特徴とする原稿読取装置の制御方法。
A method for controlling a document reading apparatus that reads image data from a placed document,
An acquisition step of acquiring distance information of an area where the document is placed;
A detection step of detecting a floating area of the document placed in the area based on the distance information acquired in the acquisition step;
A specifying step for specifying the type of floating of the document for each floating region detected in the detecting step;
A presenting step for presenting how to hold down the original for correcting the floating of the original according to the type of floating of the original;
A method for controlling a document reading apparatus, comprising:
コンピュータを、請求項1〜16のいずれか1項に記載の手段として機能させるためのプログラム。   The program for functioning a computer as a means of any one of Claims 1-16.
JP2017090932A 2017-05-01 2017-05-01 Document reader, method of controlling document reader, and program Pending JP2018191094A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017090932A JP2018191094A (en) 2017-05-01 2017-05-01 Document reader, method of controlling document reader, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017090932A JP2018191094A (en) 2017-05-01 2017-05-01 Document reader, method of controlling document reader, and program

Publications (1)

Publication Number Publication Date
JP2018191094A true JP2018191094A (en) 2018-11-29

Family

ID=64478800

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017090932A Pending JP2018191094A (en) 2017-05-01 2017-05-01 Document reader, method of controlling document reader, and program

Country Status (1)

Country Link
JP (1) JP2018191094A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115086502A (en) * 2022-06-06 2022-09-20 中亿启航数码科技(北京)有限公司 Non-contact scanning device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115086502A (en) * 2022-06-06 2022-09-20 中亿启航数码科技(北京)有限公司 Non-contact scanning device

Similar Documents

Publication Publication Date Title
JP5680976B2 (en) Electronic blackboard system and program
JP6723814B2 (en) Information processing apparatus, control method thereof, program, and storage medium
JP2014143548A (en) Image processing apparatus, image processing method, and image processing program
KR20150020065A (en) Mobile document capture assist for optimized text recognition
US10694098B2 (en) Apparatus displaying guide for imaging document, storage medium, and information processing method
US9888209B1 (en) Remote communication system, method for controlling remote communication system, and storage medium
US20160054806A1 (en) Data processing apparatus, data processing system, control method for data processing apparatus, and storage medium
JP2016103137A (en) User interface system, image processor and control program
US9392263B2 (en) 3D scanner, 3D scan method, computer program, and storage medium
JP2017117373A (en) Operation device and control method of the same, and program
US9979858B2 (en) Image processing apparatus, image processing method and program
JP2019016843A (en) Document reading device, control method of document reading device, and program
JP2018191094A (en) Document reader, method of controlling document reader, and program
US10116809B2 (en) Image processing apparatus, control method, and computer-readable storage medium, which obtains calibration image information with which to correct image data
JP2018207342A (en) Image reader, method of controlling the same, and program
JP5550111B2 (en) Imaging apparatus, imaging method, and program
US10270929B2 (en) Image processing apparatus, control method, and recording medium
US10044904B2 (en) Apparatus, image reading method, and storage medium for reading an image of a target object
JP2018191258A (en) Image reading device, image reading method, and program
JP6203070B2 (en) Scanning system, control method therefor, and program
US20230379442A1 (en) Information processing apparatus, projection method, and non-transitory computer readable medium
JP6157068B2 (en) Information processing apparatus and control method thereof
JP6779798B2 (en) Information processing equipment, information processing methods and programs
JP2017022590A (en) Image processing apparatus, control method for image processing apparatus, and program
JP2017123561A (en) Image processing device, image processing method for image processing device, control method for image processing device, and program

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20180306