JP2001320579A - 広域精細画像生成方法及びシステム並びにコンピュータ可読記録媒体 - Google Patents
広域精細画像生成方法及びシステム並びにコンピュータ可読記録媒体Info
- Publication number
- JP2001320579A JP2001320579A JP2000142299A JP2000142299A JP2001320579A JP 2001320579 A JP2001320579 A JP 2001320579A JP 2000142299 A JP2000142299 A JP 2000142299A JP 2000142299 A JP2000142299 A JP 2000142299A JP 2001320579 A JP2001320579 A JP 2001320579A
- Authority
- JP
- Japan
- Prior art keywords
- image
- partial
- component
- resolution
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/3871—Composing, repositioning or otherwise geometrically modifying originals the composed originals being of different kinds, e.g. low- and high-resolution originals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/40062—Discrimination between different image types, e.g. two-tone, continuous tone
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Studio Devices (AREA)
Abstract
(57)【要約】
【課題】 原稿中に比較的大きな空白部分が存在する場
合であっても、広域精細な全体画像を少ない処理量で生
成できるようにする。 【解決手段】 構造解析部24は、撮像装置３で撮像され
た原稿２の全体画像を解析し、原稿２上のテキスト部分
などの構成要素を求める。制御情報生成部25は、少なく
とも１つの構成要素について、その構成要素が存在する
領域を撮像する１以上の部分領域及び解像度を決定し、
画像取得制御部23は、決定された部分領域毎に、決定し
た解像度で撮像装置３で原稿２を撮像し、部分領域毎の
部分画像を得る。画像接合部26は、部分領域毎の部分画
像が得られた構成要素について、部分画像を接合して精
細画像を生成する。画像再構成部28は、各構成要素の合
成対象画像の相対的な位置関係が原稿２上と等しくなる
ように、全体画像から抽出した構成要素の画像、画像接
合で得られた精細画像を合成し、原稿２の広域精細画像
を生成する。
合であっても、広域精細な全体画像を少ない処理量で生
成できるようにする。 【解決手段】 構造解析部24は、撮像装置３で撮像され
た原稿２の全体画像を解析し、原稿２上のテキスト部分
などの構成要素を求める。制御情報生成部25は、少なく
とも１つの構成要素について、その構成要素が存在する
領域を撮像する１以上の部分領域及び解像度を決定し、
画像取得制御部23は、決定された部分領域毎に、決定し
た解像度で撮像装置３で原稿２を撮像し、部分領域毎の
部分画像を得る。画像接合部26は、部分領域毎の部分画
像が得られた構成要素について、部分画像を接合して精
細画像を生成する。画像再構成部28は、各構成要素の合
成対象画像の相対的な位置関係が原稿２上と等しくなる
ように、全体画像から抽出した構成要素の画像、画像接
合で得られた精細画像を合成し、原稿２の広域精細画像
を生成する。
Description
【０００１】
【発明の属する技術分野】本発明は、原稿などの対象物
を複数の領域に分割して撮像し、それらの画像を合成す
ることにより、広域かつ高解像度な画像を生成する広域
精細画像生成方法及びシステムの改良に関する。
を複数の領域に分割して撮像し、それらの画像を合成す
ることにより、広域かつ高解像度な画像を生成する広域
精細画像生成方法及びシステムの改良に関する。
【０００２】
【従来の技術】既存のビデオカメラ等では、文書全体を
文字認識に十分な解像度で入力するには画素数が足りな
いため、文書を幾つかの領域に分割して撮像し、それら
の画像を合成する手法が一般に採用されている。この種
の広域精細画像生成方法の従来技術の一例が、特開平１
０−２１０２７２号公報（以下、文献１と称す）に記載
されている。文献１に記載された従来技術では、以下の
ようにして広域精細画像を生成する。
文字認識に十分な解像度で入力するには画素数が足りな
いため、文書を幾つかの領域に分割して撮像し、それら
の画像を合成する手法が一般に採用されている。この種
の広域精細画像生成方法の従来技術の一例が、特開平１
０−２１０２７２号公報（以下、文献１と称す）に記載
されている。文献１に記載された従来技術では、以下の
ようにして広域精細画像を生成する。
【０００３】先ず、カメラにより対象物である原稿を撮
像し、原稿の全体画像を得る。次に、予め指定された解
像度の画像を生成するには全体画像を幾つの部分領域に
分割すれば良いかを決定し、部分領域を撮像する際のズ
ーム量および分割数を決定する。次に、ズーム調整した
カメラにより原稿の各部分領域の画像をその周辺部を含
めて撮像し、各部分領域毎の部分画像を得る。次に、隣
接する部分画像毎に、双方の画像情報（輝度値、あるい
は線分などの構造）を利用して、２つの部分画像を接合
していき、原稿全体の広域精細画像を生成する。
像し、原稿の全体画像を得る。次に、予め指定された解
像度の画像を生成するには全体画像を幾つの部分領域に
分割すれば良いかを決定し、部分領域を撮像する際のズ
ーム量および分割数を決定する。次に、ズーム調整した
カメラにより原稿の各部分領域の画像をその周辺部を含
めて撮像し、各部分領域毎の部分画像を得る。次に、隣
接する部分画像毎に、双方の画像情報（輝度値、あるい
は線分などの構造）を利用して、２つの部分画像を接合
していき、原稿全体の広域精細画像を生成する。
【０００４】類似する技術は『アクティブカメラをもち
いた文書画像の高精細入力と認識応用』（１９９９年９
月、電子情報通信学会、パターン認識・メディア理解研
究開技術研究報告、ｐ９１−９６）（以下、文献２と称
す）にも記載されている。但し、文献２では、隣接する
部分画像の接合に、双方の部分画像を構造解析して得た
構造情報（文字、文字列、段組等の階層的なレイアウト
構造）を利用することにより、高精度な接合を少ない計
算コストで実現している。
いた文書画像の高精細入力と認識応用』（１９９９年９
月、電子情報通信学会、パターン認識・メディア理解研
究開技術研究報告、ｐ９１−９６）（以下、文献２と称
す）にも記載されている。但し、文献２では、隣接する
部分画像の接合に、双方の部分画像を構造解析して得た
構造情報（文字、文字列、段組等の階層的なレイアウト
構造）を利用することにより、高精度な接合を少ない計
算コストで実現している。
【０００５】
【発明が解決しようとする課題】原稿中に広い空白領域
があると、原画像を複数の領域に分割して撮像した部分
画像の中には、全ての領域が空白になるものや、周辺部
が空白になるものが出てくる。上述した従来技術では、
隣接する部分画像同士を順次に接合することにより全体
画像の広域精細画像を生成しているため、このように全
体が空白か周辺部が空白の部分画像も隣接する部分画像
と接合しなければ全体画像が得られない。しかし、隣接
する部分画像どうしの接合部分が空白であると、位置合
わせに使う線分や文字などの構造が存在しないため、２
つの部分画像を接合することができない。つまり、従来
技術では、原画像中に比較的大きな空白部分が存在する
場合、広域精細画像の生成が困難である。
があると、原画像を複数の領域に分割して撮像した部分
画像の中には、全ての領域が空白になるものや、周辺部
が空白になるものが出てくる。上述した従来技術では、
隣接する部分画像同士を順次に接合することにより全体
画像の広域精細画像を生成しているため、このように全
体が空白か周辺部が空白の部分画像も隣接する部分画像
と接合しなければ全体画像が得られない。しかし、隣接
する部分画像どうしの接合部分が空白であると、位置合
わせに使う線分や文字などの構造が存在しないため、２
つの部分画像を接合することができない。つまり、従来
技術では、原画像中に比較的大きな空白部分が存在する
場合、広域精細画像の生成が困難である。
【０００６】また、接合する２つの部分画像は同じ解像
度でなければならないため、隣接する部分画像同士を順
次に接合することにより全体画像を生成する従来技術で
は、全ての部分画像を同じ解像度にしなければならな
い。このため、文字認識にかける等の理由により高解像
度が要求されるテキスト（文字列）が含まれる原稿の場
合、たとえテキスト部分が全体のほんの一部分であって
も、そのテキスト部分に要求される解像度に従って全体
画像の分割数が決定され、部分画像の数が増大し、接合
すべき部分画像の個数が増大して膨大な処理時間が必要
になる。
度でなければならないため、隣接する部分画像同士を順
次に接合することにより全体画像を生成する従来技術で
は、全ての部分画像を同じ解像度にしなければならな
い。このため、文字認識にかける等の理由により高解像
度が要求されるテキスト（文字列）が含まれる原稿の場
合、たとえテキスト部分が全体のほんの一部分であって
も、そのテキスト部分に要求される解像度に従って全体
画像の分割数が決定され、部分画像の数が増大し、接合
すべき部分画像の個数が増大して膨大な処理時間が必要
になる。
【０００７】本発明はこのような事情に鑑みて提案され
たものであり、その目的は、原画像中に比較的大きな空
白部分が存在する場合であっても、広域精細な全体画像
を生成することができるようにすることにある。
たものであり、その目的は、原画像中に比較的大きな空
白部分が存在する場合であっても、広域精細な全体画像
を生成することができるようにすることにある。
【０００８】また本発明の別の目的は、複数種の解像度
の画像が混在した広域精細画像を生成することができる
ようにすることにある。
の画像が混在した広域精細画像を生成することができる
ようにすることにある。
【０００９】さらに本発明の他の目的は、原画像中に高
解像度が要求されない空白領域等が存在する場合には、
接合すべき部分画像の個数を低減して処理時間を短縮で
きるようにすることにある。
解像度が要求されない空白領域等が存在する場合には、
接合すべき部分画像の個数を低減して処理時間を短縮で
きるようにすることにある。
【００１０】
【課題を解決するための手段】本発明は上記の目的を達
成するために、先ず、広域精細画像を生成する対象物を
撮像装置により撮像して、前記対象物の全体画像を取得
し、これを解析して、前記対象物上に配置されている構
成要素毎の位置情報を求める。次に、前記構成要素の内
の少なくとも１つの構成要素について、その構成要素が
存在する領域を撮像する１以上の部分領域および解像度
を決定し、該決定した部分領域毎に、前記決定した解像
度で前記撮像装置により前記対象物を撮像して、部分領
域毎の部分画像を取得する。そして、前記構成要素の
内、部分領域毎の部分画像が得られた構成要素について
は当該部分領域毎の部分画像を接合して生成した画像
を、それ以外の構成要素については前記全体画像から抽
出した当該構成要素の画像を、それぞれ合成対象画像と
して、各構成要素の相対的な位置関係が前記対象物上に
配置されている構成要素毎の位置情報で表される相対的
な位置関係と等しくなるように前記合成対象画像を合成
して、前記対象物の広域精細画像を生成する。
成するために、先ず、広域精細画像を生成する対象物を
撮像装置により撮像して、前記対象物の全体画像を取得
し、これを解析して、前記対象物上に配置されている構
成要素毎の位置情報を求める。次に、前記構成要素の内
の少なくとも１つの構成要素について、その構成要素が
存在する領域を撮像する１以上の部分領域および解像度
を決定し、該決定した部分領域毎に、前記決定した解像
度で前記撮像装置により前記対象物を撮像して、部分領
域毎の部分画像を取得する。そして、前記構成要素の
内、部分領域毎の部分画像が得られた構成要素について
は当該部分領域毎の部分画像を接合して生成した画像
を、それ以外の構成要素については前記全体画像から抽
出した当該構成要素の画像を、それぞれ合成対象画像と
して、各構成要素の相対的な位置関係が前記対象物上に
配置されている構成要素毎の位置情報で表される相対的
な位置関係と等しくなるように前記合成対象画像を合成
して、前記対象物の広域精細画像を生成する。
【００１１】
【発明の実施の形態】次に本発明の実施の形態の例につ
いて図面を参照して詳細に説明する。
いて図面を参照して詳細に説明する。
【００１２】図１を参照すると、本発明の第１の実施の
形態にかかる広域精細画像生成システム１は、広域精細
画像を生成する対象物である原稿２を撮像する撮像装置
３と、処理装置４と、キーボード等の如き入力装置５
と、ディスプレイやプリンタ等の如き出力装置６とから
構成される。
形態にかかる広域精細画像生成システム１は、広域精細
画像を生成する対象物である原稿２を撮像する撮像装置
３と、処理装置４と、キーボード等の如き入力装置５
と、ディスプレイやプリンタ等の如き出力装置６とから
構成される。
【００１３】撮像装置３は、撮像倍率を処理装置４から
の制御信号によって調整可能なアクティブカメラ等で構
成され、例えば机上に置かれた原稿２を上方から望む所
定の場所に機構部７を介して取り付けられている。機構
部７は、互いに直交する２方向（水平方向のＸ軸と垂直
方向のＺ軸）に対して撮像装置３の光学中心を回転中心
として撮像装置３を回動させる機構である。撮像装置３
の撮像方向は、Ｘ軸からの変位角θｘとＺ軸からの変位
角θｚで表現される。
の制御信号によって調整可能なアクティブカメラ等で構
成され、例えば机上に置かれた原稿２を上方から望む所
定の場所に機構部７を介して取り付けられている。機構
部７は、互いに直交する２方向（水平方向のＸ軸と垂直
方向のＺ軸）に対して撮像装置３の光学中心を回転中心
として撮像装置３を回動させる機構である。撮像装置３
の撮像方向は、Ｘ軸からの変位角θｘとＺ軸からの変位
角θｚで表現される。
【００１４】処理装置４は、撮像装置３、機構部７、入
力装置５および出力装置６とそれぞれ信号線８、９、１
０、１１により接続されており、撮像装置３および機構
部７を制御して原稿２の画像の撮像位置および撮像倍率
を適宜に調整して原稿２の画像を取得し、得られた画像
に基づいて原稿２全体の広域精細画像を生成して出力装
置６から出力する。本例の処理装置４は、入力部２１、
出力部２２、画像取得制御部２３、構造解析部２４、制
御情報生成部２５、画像接合部２６、判定部２７、画像
再構成部２８および制御部２９といった機能部と、第１
の画像記憶部３０、第２の画像記憶部３１、構造情報記
憶部３２および制御情報記憶部３３といった記憶部とを
備えている。
力装置５および出力装置６とそれぞれ信号線８、９、１
０、１１により接続されており、撮像装置３および機構
部７を制御して原稿２の画像の撮像位置および撮像倍率
を適宜に調整して原稿２の画像を取得し、得られた画像
に基づいて原稿２全体の広域精細画像を生成して出力装
置６から出力する。本例の処理装置４は、入力部２１、
出力部２２、画像取得制御部２３、構造解析部２４、制
御情報生成部２５、画像接合部２６、判定部２７、画像
再構成部２８および制御部２９といった機能部と、第１
の画像記憶部３０、第２の画像記憶部３１、構造情報記
憶部３２および制御情報記憶部３３といった記憶部とを
備えている。
【００１５】なお、処理装置４は、パーソナルコンピュ
ータ等のコンピュータと、ＣＤ−ＲＯＭ、半導体メモリ
あるいは磁気ディスク装置等の機械読み取り可能な記録
媒体Ｍとで実現することができる。この場合、記憶媒体
Ｍに記憶された広域精細画像生成用プログラムは、処理
装置４を構成するコンピュータに読み取られ、そのコン
ピュータの動作を制御することにより、そのコンピュー
タ上に、図１に示した入力部２１、出力部２２、画像取
得制御部２３、構造解析部２４、制御情報生成部２５、
画像接合部２６、判定部２７、画像再構成部２８および
制御部２９といった機能部と、第１の画像記憶部３０、
第２の画像記憶部３１、構造情報記憶部３２および制御
情報記憶部３３といった記憶部とを実現する。
ータ等のコンピュータと、ＣＤ−ＲＯＭ、半導体メモリ
あるいは磁気ディスク装置等の機械読み取り可能な記録
媒体Ｍとで実現することができる。この場合、記憶媒体
Ｍに記憶された広域精細画像生成用プログラムは、処理
装置４を構成するコンピュータに読み取られ、そのコン
ピュータの動作を制御することにより、そのコンピュー
タ上に、図１に示した入力部２１、出力部２２、画像取
得制御部２３、構造解析部２４、制御情報生成部２５、
画像接合部２６、判定部２７、画像再構成部２８および
制御部２９といった機能部と、第１の画像記憶部３０、
第２の画像記憶部３１、構造情報記憶部３２および制御
情報記憶部３３といった記憶部とを実現する。
【００１６】図２は処理装置４で実行される処理の一例
を示すフローチャートである。以下、各図を参照して本
実施の形態の動作を各部の詳細な機能とともに説明す
る。
を示すフローチャートである。以下、各図を参照して本
実施の形態の動作を各部の詳細な機能とともに説明す
る。
【００１７】○ステップＳ１；全体画像の取得 原稿２の広域精細な画像の生成は、例えば入力装置５か
ら撮像開始の指示が入力されたときに開始される。制御
部２９は、入力部２１を通じて撮像開始の指示を受ける
と、画像取得制御部２３に対して、原稿２の全体画像を
取得するよう指示を出す。画像取得制御部２３は、先
ず、信号線９を通じて機構部７に制御信号を送出して撮
像装置３の撮像方向を調整すると共に、信号線８を通じ
て撮像装置３の撮像倍率を調整し、原稿２の全体が撮像
できるような撮像倍率および撮像方向を決定する。これ
は、たとえば撮像装置３から得られる撮像信号を画像解
析して、原稿２の四隅のエッジがほぼ撮像エリアの四隅
に来るように制御する等で可能である。そして、決定し
た撮像倍率および撮像方向で原稿２全体の画像を撮像装
置３によって撮像し、得られた画像に対して二値化等の
所定の前処理を施し、撮像倍率および撮像方向の情報と
共に第１の画像記憶部３０に記憶する。
ら撮像開始の指示が入力されたときに開始される。制御
部２９は、入力部２１を通じて撮像開始の指示を受ける
と、画像取得制御部２３に対して、原稿２の全体画像を
取得するよう指示を出す。画像取得制御部２３は、先
ず、信号線９を通じて機構部７に制御信号を送出して撮
像装置３の撮像方向を調整すると共に、信号線８を通じ
て撮像装置３の撮像倍率を調整し、原稿２の全体が撮像
できるような撮像倍率および撮像方向を決定する。これ
は、たとえば撮像装置３から得られる撮像信号を画像解
析して、原稿２の四隅のエッジがほぼ撮像エリアの四隅
に来るように制御する等で可能である。そして、決定し
た撮像倍率および撮像方向で原稿２全体の画像を撮像装
置３によって撮像し、得られた画像に対して二値化等の
所定の前処理を施し、撮像倍率および撮像方向の情報と
共に第１の画像記憶部３０に記憶する。
【００１８】図３に原稿２の全体画像の例を示す。この
例の原稿２は、複数の段組を持ち、テキストと図（イメ
ージ）とが比較的大きなスペースを空けてレイアウトさ
れている。
例の原稿２は、複数の段組を持ち、テキストと図（イメ
ージ）とが比較的大きなスペースを空けてレイアウトさ
れている。
【００１９】○ステップＳ２；画像構造解析 制御部２９は、第１の画像記憶部３０に記憶された原稿
２の全体画像を構造解析部２４に入力し、解析を行わせ
る。構造解析部２４は、原稿２の全体画像から、原稿２
上に配置（レイアウト）されている構成要素を検出し、
各構成要素毎の位置情報および属性を求める。構成要素
とは、原稿２上に配置されている写真、テキスト、図形
などを意味する。属性とは、その構成要素が文字列であ
るか、図であるかといった構成要素の種別を意味する。
構成要素の位置情報は、例えば机上面と平行なＸＹ座標
系におけるＸＹ座標値を使って、構成要素の例えば左上
隅のＸＹ座標値および縦横のサイズで示される。構造解
析部２４で求められた各構成要素毎の位置情報と属性
は、制御部２９を通じて構造情報記憶部３２に記憶され
る。
２の全体画像を構造解析部２４に入力し、解析を行わせ
る。構造解析部２４は、原稿２の全体画像から、原稿２
上に配置（レイアウト）されている構成要素を検出し、
各構成要素毎の位置情報および属性を求める。構成要素
とは、原稿２上に配置されている写真、テキスト、図形
などを意味する。属性とは、その構成要素が文字列であ
るか、図であるかといった構成要素の種別を意味する。
構成要素の位置情報は、例えば机上面と平行なＸＹ座標
系におけるＸＹ座標値を使って、構成要素の例えば左上
隅のＸＹ座標値および縦横のサイズで示される。構造解
析部２４で求められた各構成要素毎の位置情報と属性
は、制御部２９を通じて構造情報記憶部３２に記憶され
る。
【００２０】図４に構成要素の位置情報の定義例を示
す。図４におけるＸＹ座標の原点Ｏは、例えば、撮像装
置３の撮像倍率を基準倍率Δ０にし、その撮像方向を垂
直方向（θｘ＝θｘ０、θｚ＝０）にしたときに得られ
る撮像エリア４１の重心（撮像方向）と一致する点に設
定される。撮像装置３と原稿２が載置された机上面との
距離は固定値であり、また原稿２の全体画像を撮像した
ときの撮像倍率、撮像方法（θｘ、θｚ）は既知なの
で、原稿２の全体画像を撮像したときの撮像エリア４２
のＸＹ座標系における位置と縦横のサイズとは一意に定
まる。従って、原稿２の全体画像４３に含まれる或る構
成要素４４の位置（左上隅のＸＹ座標値および縦横のサ
イズ）を求めることができる。
す。図４におけるＸＹ座標の原点Ｏは、例えば、撮像装
置３の撮像倍率を基準倍率Δ０にし、その撮像方向を垂
直方向（θｘ＝θｘ０、θｚ＝０）にしたときに得られ
る撮像エリア４１の重心（撮像方向）と一致する点に設
定される。撮像装置３と原稿２が載置された机上面との
距離は固定値であり、また原稿２の全体画像を撮像した
ときの撮像倍率、撮像方法（θｘ、θｚ）は既知なの
で、原稿２の全体画像を撮像したときの撮像エリア４２
のＸＹ座標系における位置と縦横のサイズとは一意に定
まる。従って、原稿２の全体画像４３に含まれる或る構
成要素４４の位置（左上隅のＸＹ座標値および縦横のサ
イズ）を求めることができる。
【００２１】構造解析部２４による解析は、文献２にお
いて各部分画像に対して実施していた構造解析（レイア
ウト解析）をそのまま適用することができる。簡単に説
明すると、解析手法として、高速に動作する再帰的領域
分割である拡張スプリット検出法を原稿２の全体画像に
適用し、原稿２の全体画像を、全体画像を示すルートノ
ードから、文字を示すリーフノードへ、再帰的に領域分
割する。結果として、写真、文、罫線、大きな空白領域
によって囲まれた閉領域が抽出される。また、写真、
図、罫線領域の抽出にはテクスチャ特徴を抽出し、３層
パーセプトロンによりその属性を識別することで行う。
いて各部分画像に対して実施していた構造解析（レイア
ウト解析）をそのまま適用することができる。簡単に説
明すると、解析手法として、高速に動作する再帰的領域
分割である拡張スプリット検出法を原稿２の全体画像に
適用し、原稿２の全体画像を、全体画像を示すルートノ
ードから、文字を示すリーフノードへ、再帰的に領域分
割する。結果として、写真、文、罫線、大きな空白領域
によって囲まれた閉領域が抽出される。また、写真、
図、罫線領域の抽出にはテクスチャ特徴を抽出し、３層
パーセプトロンによりその属性を識別することで行う。
【００２２】図５に図３の文書画像に対して構造解析さ
れた結果をイメージ的に示す。この例では、合計５つの
構成要素の位置情報と属性とが求められている。図５で
は文字列の属性を持つ部分には破線の矩形を描き、図
（イメージ）の属性を持つ部分には斜線を引いてある。
れた結果をイメージ的に示す。この例では、合計５つの
構成要素の位置情報と属性とが求められている。図５で
は文字列の属性を持つ部分には破線の矩形を描き、図
（イメージ）の属性を持つ部分には斜線を引いてある。
【００２３】○ステップＳ３；制御情報の生成 制御部２９は、構造情報記憶部３２に記憶された構造解
析結果を制御情報生成部２５に入力し、部分領域の撮像
に必要な制御情報を作成させる。制御情報生成部２５
は、先ず、構成要素の内、全体画像の解像度より高解像
度が要求される属性を持つ構成要素を全て選択する。全
体画像の解像度より高解像度が要求される属性は、予め
入力装置５を通じてユーザから指定されているか、或い
はシステムに事前に設定されている。例えば、全体画像
の解像度より高解像度が要求される属性が文字列のみで
あった場合、図５の例においては、構成要素５１、５
２、５３、５５が選択され、構成要素５４は選択されな
い。
析結果を制御情報生成部２５に入力し、部分領域の撮像
に必要な制御情報を作成させる。制御情報生成部２５
は、先ず、構成要素の内、全体画像の解像度より高解像
度が要求される属性を持つ構成要素を全て選択する。全
体画像の解像度より高解像度が要求される属性は、予め
入力装置５を通じてユーザから指定されているか、或い
はシステムに事前に設定されている。例えば、全体画像
の解像度より高解像度が要求される属性が文字列のみで
あった場合、図５の例においては、構成要素５１、５
２、５３、５５が選択され、構成要素５４は選択されな
い。
【００２４】次に制御情報生成部２５は、各構成要素を
部分領域毎に分割して撮像する際の撮像倍率を決定す
る。この決定方法としては、例えば原稿２の全体画像の
撮像に用いた倍率から、規定値分だけ上げた倍率（例え
ば２倍）とする方法などが使用できる。
部分領域毎に分割して撮像する際の撮像倍率を決定す
る。この決定方法としては、例えば原稿２の全体画像の
撮像に用いた倍率から、規定値分だけ上げた倍率（例え
ば２倍）とする方法などが使用できる。
【００２５】次に制御情報生成部２５は、前記選択した
各構成要素毎に、前記決定した撮像倍率で当該構成要素
全体を撮像するには、当該構成要素を幾つの部分領域に
分割すれば良いかを計算し、各部分領域毎の撮像方向と
撮像順序を決定する。例えば或る１つの構成要素を図６
（ａ）の構成要素６１とすると、撮像倍率が既知なので
撮像エリアのサイズは求まる。若し、撮像エリアのサイ
ズが図６（ａ）の破線で示すようなサイズであった場
合、図示の例では構成要素を３つの部分領域６２、６
３、６４に分割する必要があるため、部分領域６２、６
３、６４それぞれを撮像するために必要な撮像方向を決
定し、且つ、撮像順序として、例えば部分領域６２→部
分領域６３→部分領域６４を求める。また、図６（ｂ）
の構成要素６５のように、縦のサイズが撮像エリアの縦
サイズより大きい場合には、２段、３段等の複数段に分
割し、それぞれの部分領域を撮像するために必要な撮像
方向と撮像順序とを決定する。ここで、隣接する部分領
域どうしは一部重複するように設定する。また、制御情
報生成部２５は、構成要素の撮像順序も決定する。こう
して生成した制御情報は、制御部２９を通じて制御情報
記憶部３３に記憶される。
各構成要素毎に、前記決定した撮像倍率で当該構成要素
全体を撮像するには、当該構成要素を幾つの部分領域に
分割すれば良いかを計算し、各部分領域毎の撮像方向と
撮像順序を決定する。例えば或る１つの構成要素を図６
（ａ）の構成要素６１とすると、撮像倍率が既知なので
撮像エリアのサイズは求まる。若し、撮像エリアのサイ
ズが図６（ａ）の破線で示すようなサイズであった場
合、図示の例では構成要素を３つの部分領域６２、６
３、６４に分割する必要があるため、部分領域６２、６
３、６４それぞれを撮像するために必要な撮像方向を決
定し、且つ、撮像順序として、例えば部分領域６２→部
分領域６３→部分領域６４を求める。また、図６（ｂ）
の構成要素６５のように、縦のサイズが撮像エリアの縦
サイズより大きい場合には、２段、３段等の複数段に分
割し、それぞれの部分領域を撮像するために必要な撮像
方向と撮像順序とを決定する。ここで、隣接する部分領
域どうしは一部重複するように設定する。また、制御情
報生成部２５は、構成要素の撮像順序も決定する。こう
して生成した制御情報は、制御部２９を通じて制御情報
記憶部３３に記憶される。
【００２６】制御情報生成部２５が図５の構成要素５
１、５２、５３、５５に対して生成した制御情報の例を
図７に示す。この例では、構成要素５１はｍ個の部分領
域に、構成要素５２はｎ個の部分領域に、構成要素５３
はｐ個の部分領域に、構成要素５５はｑ個の部分領域に
それぞれ分割され、それらの撮像方向が撮像順に記憶さ
れている。また、構成要素５４は属性が図であるため、
分割撮像の対象から除外されている。なお、図７では各
構成要素毎に撮像倍率を記憶するようにしている。
１、５２、５３、５５に対して生成した制御情報の例を
図７に示す。この例では、構成要素５１はｍ個の部分領
域に、構成要素５２はｎ個の部分領域に、構成要素５３
はｐ個の部分領域に、構成要素５５はｑ個の部分領域に
それぞれ分割され、それらの撮像方向が撮像順に記憶さ
れている。また、構成要素５４は属性が図であるため、
分割撮像の対象から除外されている。なお、図７では各
構成要素毎に撮像倍率を記憶するようにしている。
【００２７】○ステップＳ４〜Ｓ７ この処理は、全体画像の解像度より高解像度が必要とな
った構成要素毎に、制御情報生成部２５が生成した制御
情報に基づき、当該構成要素を複数の領域に分割して撮
像し、それらの画像を接合することにより、構成要素毎
の高解像度の画像を生成する処理である。個々の構成要
素単位で見れば、その構成要素に対して行われる処理
は、文献１や文献２において全体画像に対して行われる
処理をそのまま適用することができる。以下、図７の制
御情報を例に各ステップＳ４〜Ｓ７の処理を簡単に説明
する。
った構成要素毎に、制御情報生成部２５が生成した制御
情報に基づき、当該構成要素を複数の領域に分割して撮
像し、それらの画像を接合することにより、構成要素毎
の高解像度の画像を生成する処理である。個々の構成要
素単位で見れば、その構成要素に対して行われる処理
は、文献１や文献２において全体画像に対して行われる
処理をそのまま適用することができる。以下、図７の制
御情報を例に各ステップＳ４〜Ｓ７の処理を簡単に説明
する。
【００２８】○ステップＳ４；１つの構成要素に注目 制御部２９は、制御情報記憶部３３に記憶された図７の
制御情報中の先頭の構成要素５１に注目する。
制御情報中の先頭の構成要素５１に注目する。
【００２９】○ステップＳ５；部分画像取得 制御部２９は、制御情報から現注目中の構成要素５１に
対応する撮像倍率および第１の部分領域の撮像方向を取
り出し、それらを画像取得制御部２３に通知して部分画
像を取得するよう指示を出す。画像取得制御部２３は、
信号線９を通じて機構部７に制御信号を送出して撮像装
置３の撮像方向を指定された撮像方向に調整すると共
に、信号線８を通じて撮像装置３の撮像倍率を指定され
た倍率に調整し、その状態で原稿２の部分画像を撮像装
置３によって撮像する。そして、得られた画像に対して
二値化等の所定の前処理を施し、撮像倍率および撮像方
向の情報と共に第１の画像記憶部３０に記憶する。制御
部２９は、構成要素５１について第１の部分領域の撮像
が完了すると、次に、第２の部分領域についても同様の
制御を行う。以下、第ｍの部分領域まで同様の制御を繰
り返す。これにより、第１の画像記憶部３０には、構成
要素５１の第１から第ｍまでの部分領域毎の部分画像が
記憶される。
対応する撮像倍率および第１の部分領域の撮像方向を取
り出し、それらを画像取得制御部２３に通知して部分画
像を取得するよう指示を出す。画像取得制御部２３は、
信号線９を通じて機構部７に制御信号を送出して撮像装
置３の撮像方向を指定された撮像方向に調整すると共
に、信号線８を通じて撮像装置３の撮像倍率を指定され
た倍率に調整し、その状態で原稿２の部分画像を撮像装
置３によって撮像する。そして、得られた画像に対して
二値化等の所定の前処理を施し、撮像倍率および撮像方
向の情報と共に第１の画像記憶部３０に記憶する。制御
部２９は、構成要素５１について第１の部分領域の撮像
が完了すると、次に、第２の部分領域についても同様の
制御を行う。以下、第ｍの部分領域まで同様の制御を繰
り返す。これにより、第１の画像記憶部３０には、構成
要素５１の第１から第ｍまでの部分領域毎の部分画像が
記憶される。
【００３０】○ステップＳ６；画像接合 制御部２９は、第１の画像記憶部３０に記憶された構成
要素５１の第１から第ｍまでの部分領域毎の部分画像を
画像接合部２６に入力し、画像接合処理を行わせる。画
像接合部２６は、隣接する部分画像毎に、双方の画像情
報を利用して、２つの部分画像を接合していき、構成要
素５１全体の広域精細画像を生成する。文献２における
接合方法を用いる場合、画像接合部２６は、制御部２９
を通じて構造解析部２４を利用することで、各部分画像
に含まれる各文字、各文字列などの位置を求め、隣接す
る部分画像の接合時に、先ず、双方の部分画像に共通に
出現する文字列の対応をとって大まかな位置合わせを行
い、次いで、双方の部分画像に共通に出現する同一文字
をサブピクセルの精度で位置合わせする。接合により生
成された構成要素５１全体の精細画像は、制御部２９を
通じて、第２の画像記憶部３１に記憶される。
要素５１の第１から第ｍまでの部分領域毎の部分画像を
画像接合部２６に入力し、画像接合処理を行わせる。画
像接合部２６は、隣接する部分画像毎に、双方の画像情
報を利用して、２つの部分画像を接合していき、構成要
素５１全体の広域精細画像を生成する。文献２における
接合方法を用いる場合、画像接合部２６は、制御部２９
を通じて構造解析部２４を利用することで、各部分画像
に含まれる各文字、各文字列などの位置を求め、隣接す
る部分画像の接合時に、先ず、双方の部分画像に共通に
出現する文字列の対応をとって大まかな位置合わせを行
い、次いで、双方の部分画像に共通に出現する同一文字
をサブピクセルの精度で位置合わせする。接合により生
成された構成要素５１全体の精細画像は、制御部２９を
通じて、第２の画像記憶部３１に記憶される。
【００３１】○ステップＳ７；全構成要素終了？ 制御部２９は、構成要素５１についての処理を終える
と、構成要素５１の次の構成要素が図７の制御情報中に
残っているか否かを調べる。残っている場合には、ステ
ップＳ４に戻って上述した処理を繰り返す。従って、図
７の制御情報の場合、構成要素５１の次に構成要素５２
が処理され、以下、構成要素５３、５５と処理される。
構成要素５５の処理が終了した時点で、第２の画像記憶
部３１には、構成要素５１、５２、５３、５５の精細画
像が記憶されていることになる。
と、構成要素５１の次の構成要素が図７の制御情報中に
残っているか否かを調べる。残っている場合には、ステ
ップＳ４に戻って上述した処理を繰り返す。従って、図
７の制御情報の場合、構成要素５１の次に構成要素５２
が処理され、以下、構成要素５３、５５と処理される。
構成要素５５の処理が終了した時点で、第２の画像記憶
部３１には、構成要素５１、５２、５３、５５の精細画
像が記憶されていることになる。
【００３２】○ステップＳ８；より高解像度で走査必要
な構成要素の判定 制御部２９は、判定部２７を起動して、第２の画像記憶
部３１に精細画像が記憶された構成要素毎に、適切な解
像度以上の解像度が得られているか否かを判定させる。
判定部２７は、例えば属性が文字列である構成要素の場
合、その構成要素に含まれる文字の例えば過半数の文字
が事前にユーザ又はシステムで定められた画素密度（例
えば６０画素×６０画素）以上となっている場合には、
適切な解像度が得られている、そうでない場合には適切
な解像度が得られていないといった判定を下す。また、
過半数の文字でなく、最小サイズの文字が前記画素密度
以上となっているか否かによって判定しても良い。構成
要素に含まれる文字の現在の画素密度は、第２の画像記
憶部３１に記憶された接合画像から各文字を切り出して
求めることができる。また、ステップＳ６の画像接合に
おいて部分画像を構造解析して得た構造情報を利用する
文献２の方式を用いる場合、構造解析時に文字の抽出を
行っているので、その時点で画素密度を求めておいて接
合画像と共に第２の画像記憶部３１に記録し、それを判
定部２７が参照するようにしても良い。
な構成要素の判定 制御部２９は、判定部２７を起動して、第２の画像記憶
部３１に精細画像が記憶された構成要素毎に、適切な解
像度以上の解像度が得られているか否かを判定させる。
判定部２７は、例えば属性が文字列である構成要素の場
合、その構成要素に含まれる文字の例えば過半数の文字
が事前にユーザ又はシステムで定められた画素密度（例
えば６０画素×６０画素）以上となっている場合には、
適切な解像度が得られている、そうでない場合には適切
な解像度が得られていないといった判定を下す。また、
過半数の文字でなく、最小サイズの文字が前記画素密度
以上となっているか否かによって判定しても良い。構成
要素に含まれる文字の現在の画素密度は、第２の画像記
憶部３１に記憶された接合画像から各文字を切り出して
求めることができる。また、ステップＳ６の画像接合に
おいて部分画像を構造解析して得た構造情報を利用する
文献２の方式を用いる場合、構造解析時に文字の抽出を
行っているので、その時点で画素密度を求めておいて接
合画像と共に第２の画像記憶部３１に記録し、それを判
定部２７が参照するようにしても良い。
【００３３】ここでは説明の便宜上、図５の構成要素の
うち構成要素５１、５３については適切な解像度以上の
解像度が得られており、構成要素５２、５３だけが未だ
不十分な解像度であると判定されたものと仮定して、残
りの処理を説明する。
うち構成要素５１、５３については適切な解像度以上の
解像度が得られており、構成要素５２、５３だけが未だ
不十分な解像度であると判定されたものと仮定して、残
りの処理を説明する。
【００３４】○ステップＳ９；制御情報の再生成 制御部２９は、未だ解像度が不十分と判定された構成要
素５２、５３にかかる構造解析結果を構造情報記憶部３
２から取り出して制御情報生成部２５に入力し、部分領
域の撮像に必要な制御情報の再生成を命ずる。制御情報
生成部２５は、先ず、各構成要素５２、５３を部分領域
毎に分割して撮像する際の撮像倍率を決定する。この決
定方法としては、例えば最新の撮像倍率から、規定値分
だけ上げた倍率（例えば２倍）とする方法が使用でき
る。最新の撮像倍率は図７に示した制御情報記憶部３３
に記憶されているので、それを参照する。他の方法とし
て、判定部２７において、適切な解像度が得られていな
い構成要素毎に、その中に含まれる解像度が不十分な文
字の幾つかについて、その画素密度の平均を求め、解像
度を何倍にすれば適切な解像度になるかを判定結果と共
に制御部２９に通知し、制御部２９がそれを制御情報生
成部２５に通知する方法でも良い。
素５２、５３にかかる構造解析結果を構造情報記憶部３
２から取り出して制御情報生成部２５に入力し、部分領
域の撮像に必要な制御情報の再生成を命ずる。制御情報
生成部２５は、先ず、各構成要素５２、５３を部分領域
毎に分割して撮像する際の撮像倍率を決定する。この決
定方法としては、例えば最新の撮像倍率から、規定値分
だけ上げた倍率（例えば２倍）とする方法が使用でき
る。最新の撮像倍率は図７に示した制御情報記憶部３３
に記憶されているので、それを参照する。他の方法とし
て、判定部２７において、適切な解像度が得られていな
い構成要素毎に、その中に含まれる解像度が不十分な文
字の幾つかについて、その画素密度の平均を求め、解像
度を何倍にすれば適切な解像度になるかを判定結果と共
に制御部２９に通知し、制御部２９がそれを制御情報生
成部２５に通知する方法でも良い。
【００３５】次に制御情報生成部２５は、各構成要素５
２、５３毎に、前記決定した撮像倍率で当該構成要素全
体を撮像するには、当該構成要素を幾つの部分領域に分
割すれば良いかを計算し、各部分領域毎の撮像方向と撮
像順序を決定する。また、構成要素５２と構成要素５３
の撮像順序も決定する。こうして生成される制御情報
は、図７に示した構成要素５２、５３に対応する制御情
報と基本的には同じである。但し、撮像倍率が大きくな
っているため、各構成要素５２、５３の分割領域の個数
はｎ、ｐより多くなっている。構成要素５２、５３につ
いて生成された制御情報は制御部２９に通知され、制御
部２９はこれを２回目の制御情報として制御情報記憶部
３３に記憶する。
２、５３毎に、前記決定した撮像倍率で当該構成要素全
体を撮像するには、当該構成要素を幾つの部分領域に分
割すれば良いかを計算し、各部分領域毎の撮像方向と撮
像順序を決定する。また、構成要素５２と構成要素５３
の撮像順序も決定する。こうして生成される制御情報
は、図７に示した構成要素５２、５３に対応する制御情
報と基本的には同じである。但し、撮像倍率が大きくな
っているため、各構成要素５２、５３の分割領域の個数
はｎ、ｐより多くなっている。構成要素５２、５３につ
いて生成された制御情報は制御部２９に通知され、制御
部２９はこれを２回目の制御情報として制御情報記憶部
３３に記憶する。
【００３６】○ステップＳ１０〜Ｓ１３；この処理は、
より高解像度が必要となった構成要素５２、５３毎に、
制御情報生成部２５が再生成した制御情報に基づき、当
該構成要素を複数の領域に分割して撮像し、それらの画
像を接合することにより、構成要素毎のより高解像度な
画像を生成する処理である。つまり、制御部２９は、制
御情報記憶部３３に記憶された２回目の制御情報中の先
頭の構成要素５２に注目し（ステップＳ１０）、ステッ
プＳ５と同様な処理によって構成要素５２の各部分領域
毎の部分画像を撮像して第１の画像記憶部３０に記憶し
（ステップＳ１１）、ステップＳ６と同様な処理によっ
て構成要素５２全体の広域精細画像を生成し、第２の画
像記憶部３１に記憶された構成要素５２全体の前回の広
域精細画像と置き換える（ステップＳ１２）。構成要素
５２についての処理を終えると、構成要素５２の次の構
成要素が２回目の制御情報中に残っているか否かを調べ
（ステップＳ１３）、残っている場合には、ステップＳ
１０に戻って上述した処理を繰り返す。従って、次に構
成要素５３が処理され、その精細画像が第２の画像記憶
部３１に記憶される。
より高解像度が必要となった構成要素５２、５３毎に、
制御情報生成部２５が再生成した制御情報に基づき、当
該構成要素を複数の領域に分割して撮像し、それらの画
像を接合することにより、構成要素毎のより高解像度な
画像を生成する処理である。つまり、制御部２９は、制
御情報記憶部３３に記憶された２回目の制御情報中の先
頭の構成要素５２に注目し（ステップＳ１０）、ステッ
プＳ５と同様な処理によって構成要素５２の各部分領域
毎の部分画像を撮像して第１の画像記憶部３０に記憶し
（ステップＳ１１）、ステップＳ６と同様な処理によっ
て構成要素５２全体の広域精細画像を生成し、第２の画
像記憶部３１に記憶された構成要素５２全体の前回の広
域精細画像と置き換える（ステップＳ１２）。構成要素
５２についての処理を終えると、構成要素５２の次の構
成要素が２回目の制御情報中に残っているか否かを調べ
（ステップＳ１３）、残っている場合には、ステップＳ
１０に戻って上述した処理を繰り返す。従って、次に構
成要素５３が処理され、その精細画像が第２の画像記憶
部３１に記憶される。
【００３７】制御部２９は、２回目の制御情報に基づく
制御を終えると、判定部２７を起動して、第２の画像記
憶部３１に２回目の精細画像が記憶された構成要素５
２、５３毎に、適切な解像度以上の解像度が得られてい
るか否かを判定させる（ステップＳ８）。若し、未だ解
像度が不十分な構成要素があれば、十分な解像度が得ら
れるまで、再び前述した処理を繰り返す。また、全ての
構成要素について十分な解像度が得られていた場合、ス
テップＳ１４へと進む。
制御を終えると、判定部２７を起動して、第２の画像記
憶部３１に２回目の精細画像が記憶された構成要素５
２、５３毎に、適切な解像度以上の解像度が得られてい
るか否かを判定させる（ステップＳ８）。若し、未だ解
像度が不十分な構成要素があれば、十分な解像度が得ら
れるまで、再び前述した処理を繰り返す。また、全ての
構成要素について十分な解像度が得られていた場合、ス
テップＳ１４へと進む。
【００３８】○ステップＳ１４；画像の再構成 この処理では、原稿２の各構成要素の画像をその相対位
置を保った状態で合成することにより、原稿２全体の画
像を再構成する。具体的には、制御部２９は、構造情報
記憶部３２から原稿２の構造解析結果を読み出して画像
再構成部２８に入力すると共に、その構造解析結果に含
まれる各構成要素毎に、その構成要素に対応する精細画
像が第２の画像記憶部３１に記憶されていればそれを読
み出して画像再構成部２８に入力し、記憶されていなけ
れば、ステップＳ１で取得されて第１の画像記憶部３０
に記憶されている原稿２の全体画像中から当該構成要素
の画像部分を抜き出して画像再構成部２８に入力する。
画像再構成部２８は、構造解析結果中の各構成要素毎の
位置情報から、原稿２における各構成要素の相対位置を
認識し、その相対位置を保った状態で、各構成要素の画
像を貼り合わせることで原稿２全体の画像を生成する。
そして、生成した画像を出力装置６から出力する。な
お、出力装置６に出力する代わりに、図示しない記憶装
置に記憶させたり、文字認識プログラムに入力するよう
にしても良い。
置を保った状態で合成することにより、原稿２全体の画
像を再構成する。具体的には、制御部２９は、構造情報
記憶部３２から原稿２の構造解析結果を読み出して画像
再構成部２８に入力すると共に、その構造解析結果に含
まれる各構成要素毎に、その構成要素に対応する精細画
像が第２の画像記憶部３１に記憶されていればそれを読
み出して画像再構成部２８に入力し、記憶されていなけ
れば、ステップＳ１で取得されて第１の画像記憶部３０
に記憶されている原稿２の全体画像中から当該構成要素
の画像部分を抜き出して画像再構成部２８に入力する。
画像再構成部２８は、構造解析結果中の各構成要素毎の
位置情報から、原稿２における各構成要素の相対位置を
認識し、その相対位置を保った状態で、各構成要素の画
像を貼り合わせることで原稿２全体の画像を生成する。
そして、生成した画像を出力装置６から出力する。な
お、出力装置６に出力する代わりに、図示しない記憶装
置に記憶させたり、文字認識プログラムに入力するよう
にしても良い。
【００３９】従って、前述した構成要素５１〜５５の例
の場合、ステップＳ１で取得された全体画像中から抜き
出した構成要素５４の低解像度な画像と、ステップＳ６
における画像接合で生成された構成要素５１、５５の精
細画像と、ステップＳ１２における画像接合で生成され
た構成要素５２、５３の精細画像とが、それらの相対位
置が原稿２上における相対位置を同じになるように合成
された画像が生成される。ここで、解像度が相違すると
構成要素の相対的な画像サイズも相違するため、構成要
素５１〜５５の内の最も解像度の高い構成要素の解像度
をＰとすると、解像度Ｑの構成要素の画像をＰ／Ｑ倍に
拡大することで、各構成要素の相対的なサイズを原稿２
と同じにすることができる。
の場合、ステップＳ１で取得された全体画像中から抜き
出した構成要素５４の低解像度な画像と、ステップＳ６
における画像接合で生成された構成要素５１、５５の精
細画像と、ステップＳ１２における画像接合で生成され
た構成要素５２、５３の精細画像とが、それらの相対位
置が原稿２上における相対位置を同じになるように合成
された画像が生成される。ここで、解像度が相違すると
構成要素の相対的な画像サイズも相違するため、構成要
素５１〜５５の内の最も解像度の高い構成要素の解像度
をＰとすると、解像度Ｑの構成要素の画像をＰ／Ｑ倍に
拡大することで、各構成要素の相対的なサイズを原稿２
と同じにすることができる。
【００４０】以上の例では、属性が文字である構成要素
については、その構成要素に含まれる文字の画素密度が
所定の値以上となるようにその構成要素の撮像倍率を自
動調整したが、各構成要素の属性毎に最終的な撮像倍率
や解像度（例えば、文字属性の構成要素については４０
０ｄｐｉ、写真属性の構成要素については１００ｄｐｉ
など）を入力装置５を通じてユーザが指定するようにし
ても良い。この場合、図２のステップＳ３において、各
構成要素毎に、ステップＳ１で撮像した際の撮像倍率や
解像度がユーザから指定された撮像倍率や解像度より小
さいか否かを調べ、若し、小さければユーザが指定した
撮像倍率や解像度に従って制御情報の生成処理を実施
し、ステップＳ７において全構成要素の処理終了と判定
すると、ステップＳ１４の処理を実施する。
については、その構成要素に含まれる文字の画素密度が
所定の値以上となるようにその構成要素の撮像倍率を自
動調整したが、各構成要素の属性毎に最終的な撮像倍率
や解像度（例えば、文字属性の構成要素については４０
０ｄｐｉ、写真属性の構成要素については１００ｄｐｉ
など）を入力装置５を通じてユーザが指定するようにし
ても良い。この場合、図２のステップＳ３において、各
構成要素毎に、ステップＳ１で撮像した際の撮像倍率や
解像度がユーザから指定された撮像倍率や解像度より小
さいか否かを調べ、若し、小さければユーザが指定した
撮像倍率や解像度に従って制御情報の生成処理を実施
し、ステップＳ７において全構成要素の処理終了と判定
すると、ステップＳ１４の処理を実施する。
【００４１】またステップＳ１では、原稿２全体を１フ
レームで撮像して原稿２の全体画像を取得したが、例え
ば２フレーム乃至４フレーム程度の高々数フレームに分
割して撮像し、それを画像接合部２６で画像接合して原
稿２の全体画像を生成するようにしても良い。
レームで撮像して原稿２の全体画像を取得したが、例え
ば２フレーム乃至４フレーム程度の高々数フレームに分
割して撮像し、それを画像接合部２６で画像接合して原
稿２の全体画像を生成するようにしても良い。
【００４２】さらに撮像装置３としては、机上に置かれ
た原稿２を上方から望む場所に機構部７を介して取り付
けられたアクティブカメラに限定されず、据置き型スキ
ャナなど他の種類の撮像装置を使用することも可能であ
る。また、対象物も原稿には限られない。
た原稿２を上方から望む場所に機構部７を介して取り付
けられたアクティブカメラに限定されず、据置き型スキ
ャナなど他の種類の撮像装置を使用することも可能であ
る。また、対象物も原稿には限られない。
【００４３】次に本発明の第２の実施の形態について図
面を参照して詳細に説明する。図８を参照すると、本発
明の第２の実施の形態にかかる広域精細画像生成システ
ム１Ａは、撮像装置３Ａの撮像倍率および撮像方向を利
用者自身が手動で調整するようにした点で、図１に示し
た第１の実施の形態にかかる広域精細画像生成システム
１と相違する。
面を参照して詳細に説明する。図８を参照すると、本発
明の第２の実施の形態にかかる広域精細画像生成システ
ム１Ａは、撮像装置３Ａの撮像倍率および撮像方向を利
用者自身が手動で調整するようにした点で、図１に示し
た第１の実施の形態にかかる広域精細画像生成システム
１と相違する。
【００４４】撮像装置３Ａは、撮像倍率用の調整ツマミ
８１を有し、利用者がこの調整ツマミ８１を操作するこ
とにより撮像装置３Ａの撮像倍率を任意に設定できるよ
うになっている。撮像装置３Ａは、第１の実施の形態と
同様に例えば机上に置かれた原稿２を上方から望む所定
の場所に機構部７Ａを介して取り付けられている。機構
部７Ａは、互いに直交する２方向（水平方向のＸ軸と垂
直方向のＺ軸）に対して撮像装置３Ａの光学中心を回転
中心として撮像装置３Ａを回動させる機構であるが、第
１の実施形態における機構部７と異なり手動タイプであ
る。つまり、撮像装置３Ａの撮像方向は利用者自身が機
構部７Ａを操作することで調整する。機構部７Ａに取り
付けられている撮像方向指示器８２は、撮像装置３Ａの
現在の撮像方向を、Ｘ軸からの変位角θｘと、Ｚ軸から
の変位角θｚで検出する分度器等の機構である。また、
画像取得制御部２３Ａには表示装置８３が接続されてお
り、この表示装置８３に利用者に対する撮像方向や撮像
倍率の指示メッセージが表示される。
８１を有し、利用者がこの調整ツマミ８１を操作するこ
とにより撮像装置３Ａの撮像倍率を任意に設定できるよ
うになっている。撮像装置３Ａは、第１の実施の形態と
同様に例えば机上に置かれた原稿２を上方から望む所定
の場所に機構部７Ａを介して取り付けられている。機構
部７Ａは、互いに直交する２方向（水平方向のＸ軸と垂
直方向のＺ軸）に対して撮像装置３Ａの光学中心を回転
中心として撮像装置３Ａを回動させる機構であるが、第
１の実施形態における機構部７と異なり手動タイプであ
る。つまり、撮像装置３Ａの撮像方向は利用者自身が機
構部７Ａを操作することで調整する。機構部７Ａに取り
付けられている撮像方向指示器８２は、撮像装置３Ａの
現在の撮像方向を、Ｘ軸からの変位角θｘと、Ｚ軸から
の変位角θｚで検出する分度器等の機構である。また、
画像取得制御部２３Ａには表示装置８３が接続されてお
り、この表示装置８３に利用者に対する撮像方向や撮像
倍率の指示メッセージが表示される。
【００４５】本実施形態にかかる広域精細画像生成シス
テム１Ａの動作は、撮像装置３Ａの撮像倍率および撮像
方法を利用者自身が手動で調整する点を除いて、第１の
実施形態と同様である。以下、相違点を中心に本実施形
態の動作を説明する。
テム１Ａの動作は、撮像装置３Ａの撮像倍率および撮像
方法を利用者自身が手動で調整する点を除いて、第１の
実施形態と同様である。以下、相違点を中心に本実施形
態の動作を説明する。
【００４６】図２のステップＳ１における原稿２の全体
画像の取得に際しては、例えば「原稿２全体が１フレー
ム内に収まるように撮像方向および撮像倍率を調整して
下さい」といったメッセージを画像取得制御部２３Ａが
表示装置８３に出す。利用者が、調整ツマミ８１によっ
て撮像装置３Ａの倍率を調整し、また機構部７Ａによっ
て撮像装置３Ａの撮像方向を調整して、原稿２の全体が
１フレームに収まるようにした後、入力装置５から撮像
を開始して良い旨と、そのときの撮像倍率および撮像方
向指示器８２が示す撮像方向を入力すると、それらが入
力部２１、制御部２９を通じて画像取得制御部２３Ａに
伝達され、画像取得制御部２３Ａはその時点の撮像装置
３Ａの画像を原稿２の全体画像として、撮像倍率および
撮像方向と共に第１の画像記憶部３０に記憶する。以
降、ステップＳ２における画像構造解析、ステップＳ３
における制御情報生成が第１の実施の形態と同様に実施
される。
画像の取得に際しては、例えば「原稿２全体が１フレー
ム内に収まるように撮像方向および撮像倍率を調整して
下さい」といったメッセージを画像取得制御部２３Ａが
表示装置８３に出す。利用者が、調整ツマミ８１によっ
て撮像装置３Ａの倍率を調整し、また機構部７Ａによっ
て撮像装置３Ａの撮像方向を調整して、原稿２の全体が
１フレームに収まるようにした後、入力装置５から撮像
を開始して良い旨と、そのときの撮像倍率および撮像方
向指示器８２が示す撮像方向を入力すると、それらが入
力部２１、制御部２９を通じて画像取得制御部２３Ａに
伝達され、画像取得制御部２３Ａはその時点の撮像装置
３Ａの画像を原稿２の全体画像として、撮像倍率および
撮像方向と共に第１の画像記憶部３０に記憶する。以
降、ステップＳ２における画像構造解析、ステップＳ３
における制御情報生成が第１の実施の形態と同様に実施
される。
【００４７】次に、ステップＳ５における原稿２上の個
々の構成要素の撮像時においては、各分割領域の撮像時
毎に、図７の制御情報の内容に従って、例えば「撮像倍
率を○○倍に、撮像方向をＸ軸＝○△度、Ｚ軸＝△○度
に調整して下さい」といったメッセージを画像取得制御
部２３Ａが表示装置８３に出す。利用者が、調整ツマミ
８１によって撮像装置３Ａの倍率を指定された値に調整
し、また機構部７Ａによって撮像装置３Ａの撮像方向を
指定された向きに調整して、入力装置５から撮像を開始
して良い旨を入力すると、それが入力部２１、制御部２
９を通じて画像取得制御部２３Ａに伝達され、画像取得
制御部２３Ａはその時点の撮像装置３の撮像画像を当該
部分領域の部分画像として取得し、第１の画像記憶部３
０へ格納する。ステップＳ１１における撮像時も同様で
ある。
々の構成要素の撮像時においては、各分割領域の撮像時
毎に、図７の制御情報の内容に従って、例えば「撮像倍
率を○○倍に、撮像方向をＸ軸＝○△度、Ｚ軸＝△○度
に調整して下さい」といったメッセージを画像取得制御
部２３Ａが表示装置８３に出す。利用者が、調整ツマミ
８１によって撮像装置３Ａの倍率を指定された値に調整
し、また機構部７Ａによって撮像装置３Ａの撮像方向を
指定された向きに調整して、入力装置５から撮像を開始
して良い旨を入力すると、それが入力部２１、制御部２
９を通じて画像取得制御部２３Ａに伝達され、画像取得
制御部２３Ａはその時点の撮像装置３の撮像画像を当該
部分領域の部分画像として取得し、第１の画像記憶部３
０へ格納する。ステップＳ１１における撮像時も同様で
ある。
【００４８】なお、図８において、ＭＡはＣＤ−ＲＯ
Ｍ、半導体メモリあるいは磁気ディスク装置等の機械読
み取り可能な記録媒体である。この記録媒体ＭＡに記憶
された広域精細画像生成用プログラムは、処理装置４を
構成するコンピュータに読み取られ、そのコンピュータ
の動作を制御することにより、そのコンピュータ上に、
図８に示した入力部２１、出力部２２、画像取得制御部
２３Ａ、構造解析部２４、制御情報生成部２５、画像接
合部２６、判定部２７、画像再構成部２８および制御部
２９といった機能部と、第１の画像記憶部３０、第２の
画像記憶部３１、構造情報記憶部３２および制御情報記
憶部３３といった記憶部とを実現する。
Ｍ、半導体メモリあるいは磁気ディスク装置等の機械読
み取り可能な記録媒体である。この記録媒体ＭＡに記憶
された広域精細画像生成用プログラムは、処理装置４を
構成するコンピュータに読み取られ、そのコンピュータ
の動作を制御することにより、そのコンピュータ上に、
図８に示した入力部２１、出力部２２、画像取得制御部
２３Ａ、構造解析部２４、制御情報生成部２５、画像接
合部２６、判定部２７、画像再構成部２８および制御部
２９といった機能部と、第１の画像記憶部３０、第２の
画像記憶部３１、構造情報記憶部３２および制御情報記
憶部３３といった記憶部とを実現する。
【００４９】次に、第１および第２の実施の形態にかか
る広域精細画像生成システムにおいて、幾何変形を推定
して画像接合を行う場合に好適な実施例（第３の実施
例）を説明する。
る広域精細画像生成システムにおいて、幾何変形を推定
して画像接合を行う場合に好適な実施例（第３の実施
例）を説明する。
【００５０】一般にピンホールカメラモデルで、原稿２
が平面であると仮定すると、視点と原稿面の相対的な位
置関係の変化による全ての可能な変形は、射影（ホモグ
ラフィックな）変換で記述できる。 ｘ’＝（Ａｘ＋ｂ）／（ｃTｘ＋１） 隣り合うフレーム画像間で幾何歪みが小さいとして、歪
みを測定する。フレーム画像Ｅ内の全画素が上式に従っ
て変移するので、オプティカルフローの拘束式において
隣り合うフレーム間での動きベクトルをｘ’−ｘとし、 〔｛（Ａｘ＋ｂ）／（ｃTｘ＋１）｝−ｘ〕T ＥX−Ｅt
＝０ これに、最小二乗法を適用すると、 （ΣＯＯT）［Ａ｜ｂ｜ｃ］T＝Σ（ｘTＥX−Ｅt ）Ｏ となる。ここで、（・）Xと（・）t は、それぞれ空間
および時間に関する偏微分で、観測値Ｏは、 Ｏ＝［ＥX（ｘ，ｙ，ｌ），Ｅy（ｘ，ｙ，ｌ），ｘ
T（Ｅt−ｘＥX−ｙＥy）］T である。変形パラメータリストａ＝［Ａ｜ｂ｜ｃ］Tに
ついて解くと、 ａ＝（ΣＯＯT）-1・Σ（ｘT ＥX−Ｅt ）Ｏ となる。この変形パラメータを用いた射影変換を画像に
適用することで、フレーム間の幾何歪みを再現すること
が可能である。
が平面であると仮定すると、視点と原稿面の相対的な位
置関係の変化による全ての可能な変形は、射影（ホモグ
ラフィックな）変換で記述できる。 ｘ’＝（Ａｘ＋ｂ）／（ｃTｘ＋１） 隣り合うフレーム画像間で幾何歪みが小さいとして、歪
みを測定する。フレーム画像Ｅ内の全画素が上式に従っ
て変移するので、オプティカルフローの拘束式において
隣り合うフレーム間での動きベクトルをｘ’−ｘとし、 〔｛（Ａｘ＋ｂ）／（ｃTｘ＋１）｝−ｘ〕T ＥX−Ｅt
＝０ これに、最小二乗法を適用すると、 （ΣＯＯT）［Ａ｜ｂ｜ｃ］T＝Σ（ｘTＥX−Ｅt ）Ｏ となる。ここで、（・）Xと（・）t は、それぞれ空間
および時間に関する偏微分で、観測値Ｏは、 Ｏ＝［ＥX（ｘ，ｙ，ｌ），Ｅy（ｘ，ｙ，ｌ），ｘ
T（Ｅt−ｘＥX−ｙＥy）］T である。変形パラメータリストａ＝［Ａ｜ｂ｜ｃ］Tに
ついて解くと、 ａ＝（ΣＯＯT）-1・Σ（ｘT ＥX−Ｅt ）Ｏ となる。この変形パラメータを用いた射影変換を画像に
適用することで、フレーム間の幾何歪みを再現すること
が可能である。
【００５１】ここで、変形推定の具体的な方法として
は、1995年にIEEE Transactions on Image Processing
Vol.6 No.9に掲載されたS.Mannらの”Video orbits of
the projective group; A simple approach to feature
less estimation of parameters ”で提案されている。
但し、この手法を原稿２全体の画像に対して適用する
と、少なくとも原稿２の画像の画素数の定数倍オーダー
の計算量が必要となる。
は、1995年にIEEE Transactions on Image Processing
Vol.6 No.9に掲載されたS.Mannらの”Video orbits of
the projective group; A simple approach to feature
less estimation of parameters ”で提案されている。
但し、この手法を原稿２全体の画像に対して適用する
と、少なくとも原稿２の画像の画素数の定数倍オーダー
の計算量が必要となる。
【００５２】そこで本実施例では、変形推定に利用する
画素を制約することで、計算効率を向上させる。つま
り、図２のステップＳ６およびステップＳ１２における
各構成要素毎の部分画像の接合時、接合する部分画像間
の幾何変形を推定し、その幾何変形パラメータを局所的
幾何変形パラメータとして保存しておく。また、このス
テップＳ６およびステップＳ１２の段階では、複数の部
分画像を実際に物理的に接合するのではなく、複数の部
分画像を後で接合できるように、位置合わせ情報を保存
しておくにとどめる。次に、ステップＳ１４における画
像の再構成時、それまでに求められた局所的幾何変形パ
ラメータに基づいて、例えば平均をとる等して、原稿２
全体の幾何変形パラメータを推定する。そして、画像の
再構成に使う個々の構成要素毎に、原稿２全体の幾何変
形パラメータを考慮して、部分画像間を最終的に接合す
る。
画素を制約することで、計算効率を向上させる。つま
り、図２のステップＳ６およびステップＳ１２における
各構成要素毎の部分画像の接合時、接合する部分画像間
の幾何変形を推定し、その幾何変形パラメータを局所的
幾何変形パラメータとして保存しておく。また、このス
テップＳ６およびステップＳ１２の段階では、複数の部
分画像を実際に物理的に接合するのではなく、複数の部
分画像を後で接合できるように、位置合わせ情報を保存
しておくにとどめる。次に、ステップＳ１４における画
像の再構成時、それまでに求められた局所的幾何変形パ
ラメータに基づいて、例えば平均をとる等して、原稿２
全体の幾何変形パラメータを推定する。そして、画像の
再構成に使う個々の構成要素毎に、原稿２全体の幾何変
形パラメータを考慮して、部分画像間を最終的に接合す
る。
【００５３】このように本実施例によれば、幾何変形推
定の計算を、原稿２上の余白を除いた部分、つまり各構
成要素の画像部分に対してのみ実施することで、計算量
の低減が可能となる。
定の計算を、原稿２上の余白を除いた部分、つまり各構
成要素の画像部分に対してのみ実施することで、計算量
の低減が可能となる。
【００５４】
【発明の効果】以上説明したように本発明によれば以下
のような効果が得られる。
のような効果が得られる。
【００５５】原画像中に比較的大きな空白部分が存在す
る場合であっても、広域精細な全体画像を生成すること
ができる。その理由は、テキスト部分や図などといった
構成要素毎に分割画像を撮像するので、全体または周辺
部が空白となる部分画像が存在せず、従って各構成要素
毎の画像接合を支障なく実施できるからである。また、
構成要素の内、部分領域毎の部分画像が得られた構成要
素については当該部分領域毎の部分画像を接合して生成
した画像を、それ以外の構成要素については全体画像か
ら抽出した当該構成要素の画像を、それぞれ合成対象画
像として、各構成要素の相対的な位置関係が対象物上に
配置されている構成要素毎の位置情報で表される相対的
な位置関係と等しくなるように合成して、対象物全体の
広域精細画像を生成しているからである。
る場合であっても、広域精細な全体画像を生成すること
ができる。その理由は、テキスト部分や図などといった
構成要素毎に分割画像を撮像するので、全体または周辺
部が空白となる部分画像が存在せず、従って各構成要素
毎の画像接合を支障なく実施できるからである。また、
構成要素の内、部分領域毎の部分画像が得られた構成要
素については当該部分領域毎の部分画像を接合して生成
した画像を、それ以外の構成要素については全体画像か
ら抽出した当該構成要素の画像を、それぞれ合成対象画
像として、各構成要素の相対的な位置関係が対象物上に
配置されている構成要素毎の位置情報で表される相対的
な位置関係と等しくなるように合成して、対象物全体の
広域精細画像を生成しているからである。
【００５６】複数種の解像度の画像が混在した広域精細
画像を生成することができる。その理由は、互いに接合
する部分画像は同じ構成要素の部分画像に限られ、異な
る構成要素に属する部分画像同士を画像接合しないの
で、構成要素間で解像度が相違しても支障はなく、解像
度を各構成要素単位に独立にできるからである。
画像を生成することができる。その理由は、互いに接合
する部分画像は同じ構成要素の部分画像に限られ、異な
る構成要素に属する部分画像同士を画像接合しないの
で、構成要素間で解像度が相違しても支障はなく、解像
度を各構成要素単位に独立にできるからである。
【００５７】原画像中に高解像度が要求されない空白領
域等が存在する場合には、接合すべき部分画像の個数を
低減して処理時間を短縮できる。その理由は、空白領域
等、高解像度が要求されない領域に対しては、部分画像
を撮像しないためである。
域等が存在する場合には、接合すべき部分画像の個数を
低減して処理時間を短縮できる。その理由は、空白領域
等、高解像度が要求されない領域に対しては、部分画像
を撮像しないためである。
【図１】本発明の第１の実施の形態にかかる広域精細画
像生成システムのブロック図である。
像生成システムのブロック図である。
【図２】処理装置で実行される処理の一例を示すフロー
チャートである。
チャートである。
【図３】原稿の全体画像の例を示す図である。
【図４】構成要素の位置情報の定義例を示す図である。
【図５】文書画像に対して構造解析された結果をイメー
ジ的に示す図である。
ジ的に示す図である。
【図６】制御情報生成部の処理の説明図である。
【図７】制御情報生成部が生成した制御情報の例を示す
図である。
図である。
【図８】本発明の第２の実施の形態にかかる広域精細画
像生成システムのブロック図である。
像生成システムのブロック図である。
１、１Ａ…広域精細画像生成システム ２…原稿 ３、３Ａ…撮像装置 ４…処理装置 ５…入力装置 ６…出力装置 ７、７Ａ…機構部 ８〜１１…信号線
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） // Ｈ０４Ｎ 5/262 Ｈ０４Ｎ 5/262 Ｆターム(参考） 5B057 AA11 BA02 CA12 CA16 CB12 CB16 CE09 CE10 DA07 5C022 AA00 AB62 AB66 AC54 AC69 CA07 5C023 AA11 AA37 BA01 BA11 CA03 DA04 DA08 5C076 AA13 AA19 AA21 AA22 AA40 BA01 BA06 CA02 CB05
Claims (9)
- 【請求項１】 下記のステップを含む広域精細画像生成
方法。 （ａ）広域精細画像を生成する対象物を撮像装置により
撮像して、前記対象物の全体画像を得るステップ。 （ｂ）前記対象物の全体画像を解析して、前記対象物上
に配置されている構成要素毎の位置情報を求めるステッ
プ。 （ｃ）前記構成要素の内の少なくとも１つの構成要素に
ついて、その構成要素が存在する領域を撮像する１以上
の部分領域および解像度を決定し、該決定した部分領域
毎に、前記決定した解像度で前記撮像装置により前記対
象物を撮像して、部分領域毎の部分画像を得るステッ
プ。 （ｄ）前記構成要素の内、部分領域毎の部分画像が得ら
れた構成要素については当該部分領域毎の部分画像を接
合して生成した画像を、それ以外の構成要素については
前記全体画像から抽出した当該構成要素の画像を、それ
ぞれ合成対象画像として、各構成要素の相対的な位置関
係が前記対象物上に配置されている構成要素毎の位置情
報で表される相対的な位置関係と等しくなるように前記
合成対象画像を合成して、前記対象物の広域精細画像を
生成するステップ。 - 【請求項２】 下記のステップを含む広域精細画像生成
方法。 （ａ）広域精細画像を生成する対象物を撮像装置により
撮像して、前記対象物の全体画像を得るステップ。 （ｂ）前記対象物の全体画像を解析して、前記対象物上
に配置されている構成要素毎の位置情報および属性を求
めるステップ。 （ｃ）前記構成要素の内、高解像度が要求される属性を
持つ構成要素毎に、その構成要素が存在する領域を撮像
する１以上の部分領域および解像度を決定し、該決定し
た部分領域毎に、前記決定した解像度で前記撮像装置に
より前記対象物を撮像して、部分領域毎の部分画像を得
るステップ。 （ｄ）前記構成要素の内、高解像度が要求される構成要
素については当該構成要素に関して撮像された部分領域
毎の前記部分画像を接合して生成した画像を、それ以外
の構成要素については前記全体画像から抽出した当該構
成要素の画像を、それぞれ合成対象画像として、各構成
要素の相対的な位置関係が前記対象物上に配置されてい
る構成要素毎の位置情報で表される相対的な位置関係と
等しくなるように前記合成対象画像を合成して、前記対
象物の広域精細画像を生成するステップ。 - 【請求項３】 下記のステップを含む広域精細画像生成
方法。 （ａ）広域精細画像を生成する対象物を撮像装置により
撮像して、前記対象物の全体画像を得るステップ。 （ｂ）前記対象物の全体画像を解析して、前記対象物上
に配置されている構成要素毎の位置情報および属性を求
めるステップ。 （ｃ）前記構成要素の内、高解像度が要求される属性を
持つ構成要素毎に、その構成要素が存在する領域を撮像
する１以上の部分領域および解像度を決定し、該決定し
た部分領域毎に、前記決定した解像度で前記撮像装置に
より前記対象物を撮像して、部分領域毎の部分画像を得
るステップ。 （ｄ）ステップｃで部分領域毎の部分画像が得られた構
成要素毎に、その構成要素の属性毎に予め定められた解
像度以上の解像度が得られているか否かを判定し、予め
定められた解像度以上の解像度が得られていない構成要
素については、その構成要素が存在する領域を撮像する
１以上の部分領域および解像度を再度決定し、該決定し
た部分領域毎に、前記決定した解像度で前記撮像装置に
より前記対象物を撮像して、部分領域毎のより高解像度
の部分画像を得る処理を、予め定められた解像度以上の
解像度が得られるまで繰り返すステップ。 （ｅ）前記構成要素の内、高解像度が要求される構成要
素については当該構成要素に関して最終的に撮像された
部分領域毎の前記部分画像を接合して生成した画像を、
それ以外の構成要素については前記全体画像から抽出し
た当該構成要素の画像を、それぞれ合成対象画像とし
て、各構成要素の相対的な位置関係が前記対象物上に配
置されている構成要素毎の位置情報で表される相対的な
位置関係と等しくなるように前記合成対象画像を合成し
て、前記対象物の広域精細画像を生成するステップ。 - 【請求項４】 各構成要素の部分画像の接合時に、接合
する部分画像間の幾何変形を局所的幾何変形として推定
し、該推定した局所的幾何変形から画像全体の幾何変形
を推定し、該推定した画像全体の幾何変形を考慮して、
部分画像間の接合を行う請求項１、２または３記載の広
域精細画像生成方法。 - 【請求項５】 撮像方向および撮像倍率を調整可能な撮
像装置と、該撮像装置に接続された処理装置とから構成
され、 前記処理装置は、 広域精細画像を生成する対象物を撮像装置により撮像し
て、前記対象物の全体画像を得る手段と、 前記対象物の全体画像を解析して、前記対象物上に配置
されている構成要素毎の位置情報を求める手段と、 前記構成要素の内の少なくとも１つの構成要素につい
て、その構成要素が存在する領域を撮像する１以上の部
分領域および解像度を決定し、該決定した部分領域毎
に、前記決定した解像度で前記撮像装置により前記対象
物を撮像して、部分領域毎の部分画像を得る手段と、 前記構成要素の内、部分領域毎の部分画像が得られた構
成要素については当該部分領域毎の部分画像を接合して
生成した画像を、それ以外の構成要素については前記全
体画像から抽出した当該構成要素の画像を、それぞれ合
成対象画像として、各構成要素の相対的な位置関係が前
記対象物上に配置されている構成要素毎の位置情報で表
される相対的な位置関係と等しくなるように前記合成対
象画像を合成して、前記対象物の広域精細画像を生成す
る手段とを含むことを特徴とする広域精細画像生成シス
テム。 - 【請求項６】 撮像方向および撮像倍率を調整可能な撮
像装置と、該撮像装置に接続された処理装置とから構成
され、 前記処理装置は、 広域精細画像を生成する対象物を撮像装置により撮像し
て、前記対象物の全体画像を得る手段と、 前記対象物の全体画像を解析して、前記対象物上に配置
されている構成要素毎の位置情報および属性を求める手
段と、 前記構成要素の内、高解像度が要求される属性を持つ構
成要素毎に、その構成要素が存在する領域を撮像する１
以上の部分領域および解像度を決定し、該決定した部分
領域毎に、前記決定した解像度で前記撮像装置により前
記対象物を撮像して、部分領域毎の部分画像を得る手段
と、 前記構成要素の内、高解像度が要求される構成要素につ
いては当該構成要素に関して撮像された部分領域毎の前
記部分画像を接合して生成した画像を、それ以外の構成
要素については前記全体画像から抽出した当該構成要素
の画像を、それぞれ合成対象画像として、各構成要素の
相対的な位置関係が前記対象物上に配置されている構成
要素毎の位置情報で表される相対的な位置関係と等しく
なるように前記合成対象画像を合成して、前記対象物の
広域精細画像を生成する手段とを含むことを特徴とする
広域精細画像生成システム。 - 【請求項７】 撮像方向および撮像倍率を調整可能な撮
像装置と、該撮像装置に接続された処理装置とから構成
され、 前記処理装置は、 広域精細画像を生成する対象物を撮像装置により撮像し
て、前記対象物の全体画像を得る手段と、 前記対象物の全体画像を解析して、前記対象物上に配置
されている構成要素毎の位置情報および属性を求める手
段と、 前記構成要素の内、高解像度が要求される属性を持つ構
成要素毎に、その構成要素が存在する領域を撮像する１
以上の部分領域および解像度を決定し、該決定した部分
領域毎に、前記決定した解像度で前記撮像装置により前
記対象物を撮像して、部分領域毎の部分画像を得る手段
と、 部分領域毎の部分画像が得られた構成要素毎に、その構
成要素の属性毎に予め定められた解像度以上の解像度が
得られているか否かを判定し、予め定められた解像度以
上の解像度が得られていない構成要素については、その
構成要素が存在する領域を撮像する１以上の部分領域お
よび解像度を再度決定し、該決定した部分領域毎に、前
記決定した解像度で前記撮像装置により前記対象物を撮
像して、部分領域毎のより高解像度の部分画像を得る処
理を、予め定められた解像度以上の解像度が得られるま
で繰り返す手段と、 前記構成要素の内、高解像度が要求される構成要素につ
いては当該構成要素に関して最終的に撮像された部分領
域毎の前記部分画像を接合して生成した画像を、それ以
外の構成要素については前記全体画像から抽出した当該
構成要素の画像を、それぞれ合成対象画像として、各構
成要素の相対的な位置関係が前記対象物上に配置されて
いる構成要素毎の位置情報で表される相対的な位置関係
と等しくなるように前記合成対象画像を合成して、前記
対象物の広域精細画像を生成する手段とを含むことを特
徴とする広域精細画像生成システム。 - 【請求項８】 各構成要素の部分画像の接合時に、接合
する部分画像間の幾何変形を局所的幾何変形として推定
し、該推定した局所的幾何変形から画像全体の幾何変形
を推定し、該推定した画像全体の幾何変形を考慮して、
部分画像間の接合を行う請求項５、６または７記載の広
域精細画像生成システム。 - 【請求項９】 コンピュータに下記のステップを実行さ
せるプログラムを記録したコンピュータ可読記録媒体。 （ａ）広域精細画像を生成する対象物を撮像装置により
撮像して、前記対象物の全体画像を得るステップ。 （ｂ）前記対象物の全体画像を解析して、前記対象物上
に配置されている構成要素毎の位置情報を求めるステッ
プ。 （ｃ）前記構成要素の内の少なくとも１つの構成要素に
ついて、その構成要素が存在する領域を撮像する１以上
の部分領域および解像度を決定し、該決定した部分領域
毎に、前記決定した解像度で前記撮像装置により前記対
象物を撮像して、部分領域毎の部分画像を得るステッ
プ。 （ｄ）前記構成要素の内、部分領域毎の部分画像が得ら
れた構成要素については当該部分領域毎の部分画像を接
合して生成した画像を、それ以外の構成要素については
前記全体画像から抽出した当該構成要素の画像を、それ
ぞれ合成対象画像として、各構成要素の相対的な位置関
係が前記対象物上に配置されている構成要素毎の位置情
報で表される相対的な位置関係と等しくなるように前記
合成対象画像を合成して、前記対象物の広域精細画像を
生成するステップ。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000142299A JP3747737B2 (ja) | 2000-05-10 | 2000-05-10 | 広域精細画像生成方法及びシステム並びにコンピュータ可読記録媒体 |
| US09/849,531 US6633303B2 (en) | 2000-05-10 | 2001-05-07 | Method, system and record medium for generating wide-area high-resolution image |
| US10/656,288 US7227557B2 (en) | 2000-05-10 | 2003-09-08 | Method, system and record medium for generating wide-area high-resolution image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000142299A JP3747737B2 (ja) | 2000-05-10 | 2000-05-10 | 広域精細画像生成方法及びシステム並びにコンピュータ可読記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001320579A true JP2001320579A (ja) | 2001-11-16 |
| JP3747737B2 JP3747737B2 (ja) | 2006-02-22 |
Family
ID=18649294
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000142299A Expired - Fee Related JP3747737B2 (ja) | 2000-05-10 | 2000-05-10 | 広域精細画像生成方法及びシステム並びにコンピュータ可読記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US6633303B2 (ja) |
| JP (1) | JP3747737B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008009785A (ja) * | 2006-06-30 | 2008-01-17 | Fuji Xerox Co Ltd | 画像処理システムおよび画像処理プログラム |
| JP2010118932A (ja) * | 2008-11-13 | 2010-05-27 | Canon Inc | 画像処理装置 |
| US10241317B2 (en) | 2014-05-15 | 2019-03-26 | Canon Kabushiki Kaisha | Image processing apparatus and imaging apparatus |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3747737B2 (ja) * | 2000-05-10 | 2006-02-22 | 日本電気株式会社 | 広域精細画像生成方法及びシステム並びにコンピュータ可読記録媒体 |
| JP4599693B2 (ja) * | 2000-09-12 | 2010-12-15 | コニカミノルタビジネステクノロジーズ株式会社 | 画像処理装置および画像処理方法並びにコンピュータ読み取り可能な記録媒体 |
| US20030043210A1 (en) * | 2001-09-04 | 2003-03-06 | Hanks Darwin Mitchel | System and method for generating high-resolution images via resolution-limited devices |
| US7254270B2 (en) * | 2002-07-09 | 2007-08-07 | Hewlett-Packard Development Company, L.P. | System and method for bounding and classifying regions within a graphical image |
| JP2004297751A (ja) * | 2003-02-07 | 2004-10-21 | Sharp Corp | 合焦状態表示装置及び合焦状態表示方法 |
| JP2004354767A (ja) * | 2003-05-29 | 2004-12-16 | Sharp Corp | 文字図形表示装置、文字図形表示方法、プログラムおよび記録媒体 |
| US7773143B2 (en) * | 2004-04-08 | 2010-08-10 | Tessera North America, Inc. | Thin color camera having sub-pixel resolution |
| JP5072194B2 (ja) * | 2004-05-14 | 2012-11-14 | キヤノン株式会社 | 情報処理装置および情報処理方法ならびに記憶媒体、プログラム |
| FR2872661B1 (fr) * | 2004-07-05 | 2006-09-22 | Eastman Kodak Co | Procede et dispositif de prise de vue a resolution multiplie |
| GB0424767D0 (en) * | 2004-11-10 | 2004-12-08 | Koninkl Philips Electronics Nv | Method for generating images and optical device |
| US8176414B1 (en) * | 2005-09-30 | 2012-05-08 | Google Inc. | Document division method and system |
| US8812978B2 (en) * | 2005-12-22 | 2014-08-19 | Xerox Corporation | System and method for dynamic zoom to view documents on small displays |
| JP4768451B2 (ja) * | 2006-01-18 | 2011-09-07 | 株式会社リコー | 画像処理装置、画像形成装置、プログラムおよび画像処理方法 |
| JP2007316849A (ja) * | 2006-05-24 | 2007-12-06 | Canon Inc | 情報処理装置、情報処理システム、及びその制御方法、プログラム、記憶媒体 |
| JP2008070831A (ja) * | 2006-09-15 | 2008-03-27 | Ricoh Co Ltd | 文書表示装置及び文書表示プログラム |
| JP2009246620A (ja) * | 2008-03-31 | 2009-10-22 | Brother Ind Ltd | イメージデータ作成装置 |
| KR20100064533A (ko) * | 2008-12-05 | 2010-06-15 | 삼성전자주식회사 | 카메라를 이용한 문자 크기 자동 조절 장치 및 방법 |
| CN101771810A (zh) * | 2008-12-29 | 2010-07-07 | 上海乐金广电电子有限公司 | 获取清晰图像的方法及装置 |
| JP5967414B2 (ja) * | 2012-03-13 | 2016-08-10 | 富士ゼロックス株式会社 | 文書作成装置、出力装置、印刷物、文書出力システム及びプログラム |
| US9013496B2 (en) | 2012-06-19 | 2015-04-21 | Microsoft Technology Licensing, Llc | Rendering global light transport in real-time using machine learning |
| KR101429466B1 (ko) * | 2012-11-19 | 2014-08-13 | 네이버 주식회사 | 동적 페이지 분할을 이용한 웹페이지 제공 방법 및 시스템 |
| RU2538941C1 (ru) * | 2013-06-14 | 2015-01-10 | Общество с ограниченной ответственностью "Аби Девелопмент" | Улучшения качества распознавания за счет повышения разрешения изображений |
| CN107729905A (zh) * | 2017-10-19 | 2018-02-23 | 珠海格力电器股份有限公司 | 图像信息处理方法及装置 |
| JP7118729B2 (ja) * | 2018-05-11 | 2022-08-16 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5893127A (en) * | 1996-11-18 | 1999-04-06 | Canon Information Systems, Inc. | Generator for document with HTML tagged table having data elements which preserve layout relationships of information in bitmap image of original document |
| US6545687B2 (en) * | 1997-01-09 | 2003-04-08 | Canon Kabushiki Kaisha | Thumbnail manipulation using fast and aspect ratio zooming, compressing and scaling |
| JP3598704B2 (ja) | 1997-01-23 | 2004-12-08 | 富士ゼロックス株式会社 | 画像読取装置 |
| US5973692A (en) * | 1997-03-10 | 1999-10-26 | Knowlton; Kenneth Charles | System for the capture and indexing of graphical representations of files, information sources and the like |
| US6879341B1 (en) * | 1997-07-15 | 2005-04-12 | Silverbrook Research Pty Ltd | Digital camera system containing a VLIW vector processor |
| JPH11196318A (ja) * | 1997-12-26 | 1999-07-21 | Minolta Co Ltd | 撮像装置 |
| US6342917B1 (en) * | 1998-01-16 | 2002-01-29 | Xerox Corporation | Image recording apparatus and method using light fields to track position and orientation |
| JP3711735B2 (ja) * | 1998-02-25 | 2005-11-02 | 富士ゼロックス株式会社 | 文書画像処理装置および記録媒体 |
| US6226407B1 (en) * | 1998-03-18 | 2001-05-01 | Microsoft Corporation | Method and apparatus for analyzing computer screens |
| TR200002929T2 (tr) * | 1998-04-09 | 2001-03-21 | Ajinomoto Co., Inc. | Aspartil dipeptid ester türevleri ve tatlandırıcıları |
| RU2192430C2 (ru) * | 1998-06-26 | 2002-11-10 | Адзиномото Ко., Инк. | Новые производные аспартилового дипептидного эфира и подсластители |
| JP2001097998A (ja) * | 1999-10-01 | 2001-04-10 | Ajinomoto Co Inc | アスパルチルジペプチドエステル誘導体及び甘味剤 |
| JP3747737B2 (ja) * | 2000-05-10 | 2006-02-22 | 日本電気株式会社 | 広域精細画像生成方法及びシステム並びにコンピュータ可読記録媒体 |
| US6950129B1 (en) * | 2000-11-22 | 2005-09-27 | Hewlett-Packard Development Company, L.P. | One-time-use digital camera |
| US6970185B2 (en) * | 2001-01-31 | 2005-11-29 | International Business Machines Corporation | Method and apparatus for enhancing digital images with textual explanations |
-
2000
- 2000-05-10 JP JP2000142299A patent/JP3747737B2/ja not_active Expired - Fee Related
-
2001
- 2001-05-07 US US09/849,531 patent/US6633303B2/en not_active Expired - Lifetime
-
2003
- 2003-09-08 US US10/656,288 patent/US7227557B2/en not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008009785A (ja) * | 2006-06-30 | 2008-01-17 | Fuji Xerox Co Ltd | 画像処理システムおよび画像処理プログラム |
| JP2010118932A (ja) * | 2008-11-13 | 2010-05-27 | Canon Inc | 画像処理装置 |
| US10241317B2 (en) | 2014-05-15 | 2019-03-26 | Canon Kabushiki Kaisha | Image processing apparatus and imaging apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3747737B2 (ja) | 2006-02-22 |
| US7227557B2 (en) | 2007-06-05 |
| US20040046768A1 (en) | 2004-03-11 |
| US6633303B2 (en) | 2003-10-14 |
| US20010043229A1 (en) | 2001-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3747737B2 (ja) | 広域精細画像生成方法及びシステム並びにコンピュータ可読記録媒体 | |
| JP4363151B2 (ja) | 撮影装置、その画像処理方法及びプログラム | |
| JP4010754B2 (ja) | 画像処理装置と画像処理方法及びコンピュータ読み取り可能な記録媒体 | |
| US20070201750A1 (en) | Image processing method, apparatus, and computer readable recording medium including program therefor | |
| JP2828138B2 (ja) | 画像合成方法及び画像合成装置 | |
| JP2007266667A (ja) | カメラ付き携帯機器、その制御方法及びその撮影支援方法 | |
| JP2002170112A (ja) | 解像度変換プログラムを記録したコンピュータ読取可能な記録媒体、解像度変換装置および解像度変換方法 | |
| JPWO2005024723A1 (ja) | 画像合成システム、画像合成方法及びプログラム | |
| WO2012029658A1 (ja) | 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム | |
| JP2002204790A (ja) | 画像を重ね合わす方法及び装置 | |
| US20230394833A1 (en) | Method, system and computer readable media for object detection coverage estimation | |
| US20080143742A1 (en) | Method and apparatus for editing image, generating editing image, and storing edited image in portable display device | |
| JP2000348159A (ja) | 画像合成処理方法、撮像装置、画像縮小処理方法及び記録媒体 | |
| JP2001274973A (ja) | 顕微鏡画像合成装置、顕微鏡画像合成方法、顕微鏡画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JPH11112790A (ja) | 画像合成装置および方法 | |
| JP4145014B2 (ja) | 画像処理装置 | |
| US20020158972A1 (en) | Method of image processing an animated figure | |
| JP5563390B2 (ja) | 画像処理装置およびその制御方法、及びプログラム | |
| JP2000358194A (ja) | 画像合成装置、方法及びプログラムを記憶した記憶媒体 | |
| JP2003032674A (ja) | 管状物内壁のビデオ画像から連続した展開静止画像を自動生成するシステム | |
| JP4363153B2 (ja) | 撮影装置、その画像処理方法及びプログラム | |
| JP4006056B2 (ja) | 画像合成装置、画像合成方法および記憶媒体 | |
| JP3240899B2 (ja) | 文書画像入力装置 | |
| KR102496362B1 (ko) | 인공지능 기반 영상 콘텐츠 제작 시스템 및 방법 | |
| JP3088495B2 (ja) | 画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050323 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050419 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050609 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051108 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051121 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3747737 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091209 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091209 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101209 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101209 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111209 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111209 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121209 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121209 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131209 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |