JP2015114806A - 画像処理装置及びプログラム - Google Patents

画像処理装置及びプログラム Download PDF

Info

Publication number
JP2015114806A
JP2015114806A JP2013255806A JP2013255806A JP2015114806A JP 2015114806 A JP2015114806 A JP 2015114806A JP 2013255806 A JP2013255806 A JP 2013255806A JP 2013255806 A JP2013255806 A JP 2013255806A JP 2015114806 A JP2015114806 A JP 2015114806A
Authority
JP
Japan
Prior art keywords
image
character string
range
orientation
condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013255806A
Other languages
English (en)
Other versions
JP6194781B2 (ja
Inventor
志甫 裕一
Yuichi Shiho
裕一 志甫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2013255806A priority Critical patent/JP6194781B2/ja
Priority to US14/274,080 priority patent/US9400926B2/en
Publication of JP2015114806A publication Critical patent/JP2015114806A/ja
Application granted granted Critical
Publication of JP6194781B2 publication Critical patent/JP6194781B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/412Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/242Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/42Document-oriented image-based pattern recognition based on the type of document
    • G06V30/422Technical drawings; Geographical maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Character Input (AREA)

Abstract

【課題】画像情報によって表される画像の向きを正しく判定する画像処理装置の提供。【解決手段】取得した画像情報によって表される画像の向きを判定する画像処理装置であって、画像情報を取得する画像情報取得手段と、前記画像情報取得手段によって取得された前記画像情報によって表される画像の予め定められた条件を満たす一部である一の部分範囲内で、罫線、又は、罫線と該画像の外縁とに囲まれて区画される矩形領域内に存在する、文字列を抽出する文字列抽出手段と、前記文字列抽出手段によって抽出された文字列の方向に基づいて、前記画像の向きを判定する、画像向き判定手段と、を含む画像処理装置。【選択図】図1

Description

本発明は、画像処理装置及びプログラムに関する。
特許文献1には、テキストや図や表が混在している文書の画像データに対して、テキスト領域、図形領域、および表領域の抽出や、テキスト領域の文字認識、表領域の構造解析および文字認識を行う文書認識システムにおける表認識方法であって、前記画像データから黒画素の集まりにより形成された罫線を抽出するステップと、抽出された罫線から表の外枠を表す罫線を抽出することにより表領域を求めるステップと、抽出された表が所定の方向である第1の方向かあるいはこれを90度回転した第2の方向であるかを、文書中に占める該表領域の位置に関する情報または大きさに関する情報に基づいて、判定するステップと、を備えたことを特徴とする表認識方法について記載がされている。
また、特許文献2には、文書画像の向きを画像処理により修正可能な画像処理装置であって、文書画像を入力する入力手段と、前記入力手段により入力された文書画像を文字認識する文字認識手段と、前記文字認識手段での認識結果に応じて前記入力された文書画像を回転させ、該文書画像の向きを修正する修正手段と、前記修正手段により修正された文書画像を出力する出力手段とを備えることを特徴とする画像処理装置について記載がされている。
特開平9−288714号公報 特開平8−202887号公報
本発明の目的の一つは、画像情報によって表される画像の全体を解析して該画像の向きを判定する画像処理装置と比して、正しく該画像の向きを判定する画像処理装置を提供することにある。
上記目的を達成するために、請求項1に記載の発明は、取得した画像情報によって表される画像の向きを判定する画像処理装置であって、画像情報を取得する画像情報取得手段と、前記画像情報取得手段によって取得された前記画像情報によって表される画像の予め定められた条件を満たす一部である一の部分範囲内で、罫線、又は、罫線と該画像の外縁とに囲まれて区画される矩形領域内に存在する、文字列を抽出する文字列抽出手段と、前記文字列抽出手段によって抽出された文字列の方向に基づいて、前記画像の向きを判定する、画像向き判定手段と、を含む、画像処理装置である。
また、請求項2に記載の発明は、前記一の部分範囲を、複数の予め定められた範囲指定条件で構成される範囲指定条件群から選択される一の範囲指定条件に基づいて指定する、部分範囲指定手段、を更に含む、請求項1に記載の画像処理装置である。
また、請求項3に記載の発明は、前記部分範囲指定手段は、前記画像情報取得手段によって取得された前記画像情報によって表される画像のサイズに基づいて、前記範囲指定条件群から一の範囲指定条件を選択し、前記画像の一部である前記一の部分範囲を指定する、請求項2に記載の画像処理装置である。
また、請求項4に記載の発明は、前記一の部分範囲は、前記画像における四隅から選択される一の隅と隣り合う領域を含む、請求項2又は3に記載の画像処理装置である。
また、請求項5に記載の発明は、前記文字列抽出手段が、前記画像における前記一の部分範囲内で、前記矩形領域内に存在する文字列を抽出することができなかった場合、前記部分範囲指定手段は、前記範囲指定条件群から他の範囲指定条件を選択し、前記他の範囲指定条件に基づいて前記画像の一部である他の部分範囲を指定し、前記他の部分範囲内で、矩形領域内に存在する文字列を抽出する、請求項2乃至4いずれか一項に記載の画像処理装置である。
また、請求項6に記載の発明は、前記範囲指定条件群は、前記画像における四隅のうちの、第一の隅と隣り合う第一の部分範囲を指定する第一の範囲指定条件と、該四隅のうちの、第二の隅と隣り合う第二の部分範囲を指定する第二の範囲指定条件と、該四隅のうちの、第三の隅と隣り合う第三の部分範囲を指定する第三の範囲指定条件と、該四隅のうちの、第四の隅と隣り合う第四の部分範囲を指定する第四の範囲指定条件と、を少なくとも含んで構成され、前記部分範囲指定手段は前記第一〜第四の範囲指定条件を、前記文字列抽出手段が該指定条件に基づいて指定された前記画像の一部である部分範囲内で、矩形領域内に存在する文字列を抽出するまで、所定の順番で指定する、請求項2乃至5いずれか一項に記載の画像処理装置である。
また、請求項7に記載の発明は、前記文字列抽出手段が、前記範囲指定条件群を構成する前記範囲指定条件の全て範囲指定条件に基づいて指定される前記画像の一部である部分範囲内において、矩形領域内に存在する文字列を抽出することができなかった場合には、前記文字列抽出手段は、前記画像の中心部を含む部分範囲内で文字列を抽出する、請求項2乃至6いずれか一項に記載の画像処理装置である。
また、請求項8に記載の発明は、前記一の部分範囲は、前記画像における四隅から選択される一の隅と隣り合う領域を含む、請求項1に記載の画像処理装置である。
また、請求項9に記載の発明は、前記文字列抽出手段によって一の方向を向く第一の文字列と、前記一の方向と異なる方向を向く第二の文字列とが抽出された場合には、前記画像向き判定手段は、前記第一の文字列及び前記第二の文字列それぞれの方向に基づいて、前記画像の向きを判定する、請求項1乃至8いずれか一項に記載の画像処理装置である。
また、請求項10に記載の発明は、画像情報を取得する画像情報取得手段、前記画像情報取得手段によって取得された前記画像情報によって表される画像の予め定められた条件を満たす一部である一の部分範囲内で、罫線、又は、罫線と該画像の外縁とに囲まれて区画される矩形領域内に存在する、文字列を抽出する文字列抽出手段、及び、前記文字列抽出手段によって抽出された文字列の方向に基づいて、前記画像の向きを判定する、画像向き判定手段、としてコンピュータを機能させるためのプログラムである。
請求項1に記載の発明によれば、画像情報によって表される画像の全体を解析して該画像の向きを判定する画像処理装置と比して、正しく該画像の向きを判定する。
請求項2、8に記載の発明によれば、画像情報によって表される画像の全体を解析して該画像の向きを判定する画像処理装置と比して、正しく該画像の向きを判定する。
請求項3に記載の発明によれば、画像情報によって表される画像のサイズに基づいて、該画像の一部の部分範囲を解析することによって、画像情報によって表される画像の全体を解析して該画像の向きを判定する画像処理装置と比して、正しく該画像の向きを判定する。
請求項4に記載の発明によれば、画像情報によって表される画像における四隅から選択される一の隅と隣り合う領域を解析することによって、画像情報によって表される画像の全体を解析して該画像の向きを判定する画像処理装置と比して、正しく該画像の向きを判定する。
請求項5に記載の発明によれば、画像情報によって表される画像の一の部分範囲内で解析して、画像の向きを判定することができなかった場合、該画像の他の部分範囲内で解析して、画像の向きを判定することによって、画像情報によって表される画像の全体を解析して該画像の向きを判定する画像処理装置と比して、正しく該画像の向きを判定する。
請求項6に記載の発明によれば、第一〜第四の範囲指定条件に基づいて指定される部分範囲を、矩形領域内に存在する文字列を抽出するまで、所定の順番で指定することによって、画像の向きを判定する精度はより一層高まることとなる。
請求項7に記載の発明によれば、画像情報によって表される画像の全体を解析して、該画像の向きを判定する画像処理装置と比して、正しく該画像の向きを判定する。
また、請求項9に記載の発明によれば、画像情報によって表される画像の一の部分範囲内に方向が異なる複数の文字列が存在する場合、該複数の文字列それぞれの方向に基づいて画像の向きを判定することによって、画像情報によって表される画像の全体を解析して該画像の向きを判定する画像処理装置と比して、正しく該画像の向きを判定する。
請求項10に記載の発明によれば、画像情報によって表される画像の全体を解析して、該画像の向きを判定する画像処理装置と比して、正しく該画像の向きを判定するようにコンピュータを機能させる。
本発明の一実施の形態に係る画像処理装置の主な構成例を示すブロック図である。 画像情報取得部によって取得された画像情報によって表される画像の一例を示す図である。 画像情報取得部によって取得された画像情報によって表される画像の他の一例を示す図である。 複数の予め定められた範囲指定条件で構成される範囲指定条件群の一例を示すものである。 複数の予め定められた範囲指定条件で構成される範囲指定条件群の他の一例を示すものである。 本発明の一実施の形態に係る画像処理装置で行われる処理を例示するフロー図である。 範囲条件選択の処理を例示するフロー図である。
以下に、本発明の第一の実施形態に係る画像処理装置について、図面を参照しつつ説明する。
本発明の第一の実施形態に係る画像処理装置は、取得した画像情報によって表される画像の向きを判定する画像処理装置であって、画像情報を取得する画像情報取得手段と、前記画像情報取得手段によって取得された前記画像情報によって表される画像の予め定められた条件を満たす一部である一の部分範囲内で、罫線、又は、罫線と該画像の外縁とに囲まれて区画される矩形領域内に存在する、文字列を抽出する文字列抽出手段と、前記文字列抽出手段によって抽出された文字列の方向に基づいて、前記画像の向きを判定する、画像向き判定手段と、を含む、画像処理装置である。
図1は、本発明の一実施の形態に係る画像処理装置の主な構成例を示すブロック図である。図1に示すように、画像処理装置10は、画像情報取得部11と、文字列抽出部14と、画像向き判定部15と、を含んで構成されている。
また、図1に示される部分範囲指定部12、画像向き変更部21、及び画像情報更新部は、画像処理装置10に任意に備えることができるものである。
後に詳細に説明するが、画像処理装置10は、取得した画像情報によって表される画像のうち、該画像の方向と一致する方向を向く文字列が存在すると考えられる、予め定められた条件を満たす一部である一の部分範囲内での解析結果を、該画像の方向を判定する材料としている。
そして、画像処理装置10は、上述の一の部分範囲を、唯一なものに定めることとしてもよいし、また、複数の予め定められた範囲指定条件で構成される範囲指定条件群から選択される一の範囲指定条件に基づいて指定することとしてもよい。そして、画像処理装置10が、一の部分範囲を複数の予め定められた範囲指定条件で構成される範囲指定条件群から選択される一の範囲指定条件に基づいて指定する場合、画像処理装置10は図1に示される部分範囲指定部12を構成として備えることとしてもよい。
したがって、本発明の第一の実施形態に係る画像処理装置10は、取得した画像情報によって表される画像の向きを判定する画像処理装置であって、画像情報を取得する画像情報取得手段と、前記画像情報取得手段によって取得された前記画像情報によって表される画像の一部である一の部分範囲を、複数の予め定められた範囲指定条件で構成される範囲指定条件群から選択される一の範囲指定条件に基づいて指定する、部分範囲指定手段と、前記部分範囲指定手段によって指定された前記画像における前記一の部分範囲内で、罫線、又は、罫線と該画像の外縁とに囲まれて区画される矩形領域内に存在する、文字列を抽出する文字列抽出手段と、前記文字列抽出手段によって抽出された文字列の方向に基づいて、前記画像の向きを判定する、画像向き判定手段と、を含むこととしてもよい。
また、画像処理装置10に備えられる上記各部の機能は、CPU等の制御手段、メモリ等の記憶手段、外部デバイスとデータを送受信する入出力手段等を備えたコンピュータが、コンピュータ読み取り可能な情報記憶媒体に格納されたプログラムを読み込み実行することで実現されるものとしてよい。
なお、プログラムは光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等の情報記憶媒体によってコンピュータたる画像処理装置10に供給されることとしてもよいし、インターネット等のデータ通信網を介して画像処理装置10に供給されることとしてもよい。
以下に、本発明の一実施の形態に係る画像処理装置の主な構成について個々に説明する。
[画像情報取得部]
画像情報取得部11は、向きを判定する対象の画像を表す画像情報を取得する。ここでいう画像情報とは、画像を表すビットマップデータ、該画像のサイズ(例えば、A4、B4といった該画像が出力された際のサイズ)、該画像の作成者、作成日等の情報を含むものである。
画像情報取得部11は、ハードディスク、外部デバイス、あるいはメモリ等の画像情報を記憶する画像情報格納部52から、画像情報を取得することとしてもよい。また、スキャナやデジタルカメラ等の、画像情報生成部を備える画像読取部51から直接取得することとしてもよい。
画像情報によって表される画像は、工業製品等の図面や、ビジネス文書等、様々である。図2Aは、画像情報取得部11によって取得された画像情報によって表される画像の一例を示す図である。また、図2Bは、画像情報取得部11によって取得された画像情報によって表される画像の他の一例を示す図である。
図2A,2Bに示される画像は、共に、工業製品の図面を表すものであるであるが、それぞれの表示される画像が上下反対である点で相違する。このように、画像情報取得部11によって取得された画像情報によって表される画像は、どのような向きを向いているかわからないものである。
[部分範囲指定部]
上述のように部分範囲指定部12は、画像処理装置10が一の部分範囲を複数の予め定められた範囲指定条件で構成される範囲指定条件群から選択される一の範囲指定条件に基づいて指定する場合に備えられることとしてもよい。
部分範囲指定部12は、画像情報取得部11によって取得された画像情報によって表される画像の一部である一の部分範囲を、複数の予め定められた範囲指定条件で構成される範囲指定条件群から選択される一の範囲指定条件に基づいて指定する。
また、複数の範囲指定条件で構成される範囲指定条件群は、ハードディスク、外部デバイス、あるいはメモリ等の範囲指定条件群を記憶する範囲指定条件格納部53に格納されることとしてもよい。そして、部分範囲指定部12に備えられる範囲条件選択部13が、範囲指定条件格納部53に格納された範囲指定条件群から、一の範囲指定条件を選択することとしてもよい。
従来の画像の向きを判定する画像処理装置は、画像全体を表認識や文字認識した結果に基づいて画像の向きを判定するものであるのに対し、本発明の本実施形態に係る画像処理装置は、画像全体のうち予め定められた画像の一部である部分範囲を解析した結果に基づいて画像の向きを判定するものである。
そして、予め定められた画像の一部である部分範囲を、画像の方向と同一の方向に記載された文字列が存在するであろうと考えられる部分範囲とすることによって、画像の向きを判定する精度を高めることとなる。
また、このような本発明の本実施形態に係る画像処理装置は、従来の画像の向きを判定する画像処理装置と比較して、解析量を低減させることとなるため、画像の向きを判定する処理時間を短縮できることとなる。
また、従来の画像の向きを判定する画像処理装置は、例えば画像内に存在する文字列の方向を解析して該画像の向きを判定する場合、画像中に上下左右様々な向きの文字列が存在する画像に対しては、正しい画像の向きを判定できないことも少なくない。
なお、本明細書における文字列とは、1以上の文字を並べたものであり、英数字やかな文字、各種記号などの文字で構成されるものをいうこととする。
また、本願明細書において文字列の方向とは、文字列を構成する文字の下から上に向かう方向を、該文字列の方向とすることとする。例えば、図2Aに示される画像100Aにおいても、縦方向、横方向に記載された文字列(例えば図2Aに示される、左方向を向いている文字列151、上方向を向いている文字列152)が併存している。このため、画像内に存在する文字列の方向を解析して該画像の向きを判定する場合、正しい画像の向きを判定できないことも少なくない。
また、画像内に含まれる図表中の文字列に着目し、該画像の向きを判定する場合も同様に、図表中に上下左右様々な向きの文字が存在するものに対しては、正しい画像の向きを判定できないことも少なくない。
これに対し、本発明の本実施形態に係る画像処理装置10は、予め定められた画像の一部である部分範囲を解析し、表示される画像の方向を判定する。そして、表示される画像の向きを判定するに際し、該判定の材料として予め定められた画像の一部である部分範囲を、画像の方向と同一の方向に記載された文字列が存在するであろうと考えられる部分範囲とすることによって、画像の向きを判定する精度を高めることとなる。
具体的には、例えば向きを判定する画像が工業製品等の図面を表すものである場合、該図面の右下隅に、図面の作成日、作成者、図面のタイトル等を示す“図面の表題”(例えば図2Aにおける101)に係る文字列が、罫線、又は、罫線と該画像の外縁(図2Aにおける160A〜160D)とに囲まれて区画される矩形領域(例えば図2Aにおける102、103等)内に記載されることが慣用となっている。そして、この様な図面中に記載された“図面の表題”に係る文字列の方向は、図面の向きと同一の方向に記載されることが慣用となっている。
したがって、工業製品等の図面を表す画像の方向を判定するに際しては、図面中に記載された“図面の表題”に係る文字列が存在するであろう部分範囲のみを解析する領域として選択し、画像の向きを判定するほうが、画像情報によって表される画像の全体を解析して画像の向きを判定する画像処理装置と比較して、画像の向きを正しく判定する精度を高めることとなる。
また別の画像の例としては、例えばビジネス文書においては、文書の右上隅に、文書の作成者、文書の承認者、該作成者の上長の確認署名等を示す“文書の承認欄”に係る文字列が、罫線、又は、罫線と該画像の外縁とに囲まれて区画される矩形領域内に記載されることが慣用となっている。そして、この様な文書中に記載された“文書の承認欄”に係る文字列の方向は、図面の向きと同一の方向に記載されることが慣用となっている。
したがって、ビジネス文書を表す画像の方向を判定するに際しては、文書中に記載された“文書の承認欄”に係る文字列が存在するであろう部分範囲のみを解析する領域として選択し、画像の向きを判定するほうが、画像情報によって表される画像の全体を解析して画像の向きを判定する画像処理装置と比較して、画像の向きを正しく判定する精度を高めることとなる。
本発明の本実施形態に係る画像処理装置が、上述のように、画像の方向を判定するに際に、画像の方向と同一の方向に記載され、罫線、又は、罫線と該画像の外縁とに囲まれて区画される矩形領域内に存在する文字列が存在すると考えられる、画像の一部である部分範囲を解析することによって、画像の向きを判定する精度はより一層高まることとなる。
また、画像の一部である部分範囲のみを解析し画像の向きを判定することは、すなわち、少ない解析量で画像の向きを判定することとなるので、判定速度の向上にもつながることとなる。
図3Aは、複数の予め定められた範囲指定条件で構成される範囲指定条件群の一例を示すものである。図3Aに示されるように、範囲指定条件群300Aを構成する範囲指定条件のそれぞれは、“範囲指定条件”301、及び範囲条件選択部13が選択する順序を表す“選択順位”302が予め定められている。
また、上述のように、画像の四隅に、画像の方向と同一の方向に記載された文字列が存在することが慣用されている(例えば、画像が工業製品等の図面を表すものである場合、該図面の右下隅に、図面のタイトル等を示す“図面の表題”に係る文字列が記載されることが慣用されている)ことを鑑みて、複数の予め定められた範囲指定条件で構成される範囲指定条件群は、画像における四隅から選択される一の隅と隣り合う領域を含む部分範囲を指定する範囲指定条件を含むこととしてもよい。
画像における四隅から選択される一の隅と隣り合う領域を含む部分範囲とは、例えば、図2Aに示される画像100Aにおける、破線A1〜A4で囲まれる部分範囲である。また、画像における四隅から選択される一の隅と隣り合う領域を含む部分範囲を指定する範囲指定条件とは、図3Aにおける、条件No.α1〜α4にて規定される範囲指定条件である。なお、該部分範囲は、画像における四隅から選択される一の隅自体を、部分範囲内に含めることとしてもよいし、含めないこととしてもよい。
部分範囲指定部12が、指定する画像の一部である一の部分範囲をより具体的に例示すると、例えば、画像情報取得部11によって、図2Aに示される画像100Aが画像情報によって表される画像として取得された場合、部分範囲指定部12は、範囲指定条件群から“選択順位”が一番高い“条件No.α1”の範囲指定条件を選択し、画像の一部である一の部分範囲を指定する。
“条件No.α1”の範囲指定条件は、“画像右下隅における、図面全体の大きさの縦3/20、横1/5の部分範囲”であるので、部分範囲指定部12は、図2Aにおける破線A1で囲まれる部分を指定することとなる。
また、複数の予め定められた範囲指定条件で構成される範囲指定条件群は、画像における四隅のうちの、第一の隅と隣り合う第一の部分範囲を指定する第一の範囲指定条件と、該四隅のうちの、第二の隅と隣り合う第二の部分範囲を指定する第二の範囲指定条件と、該四隅のうちの、第三の隅と隣り合う第三の部分範囲を指定する第三の範囲指定条件と、該四隅のうちの、第四の隅と隣り合う第四の部分範囲を指定する第四の範囲指定条件と、を少なくとも含んで構成されることとしてもよい。第一〜第四の範囲指定条件は、具体的には、図3Aにおける、条件No.α1〜α4それぞれの範囲指定条件に対応する。
このように、範囲指定条件群300Aが、画像における四隅から選択される一の隅と隣り合う部分範囲を指定する、それぞれの隅に対応する範囲指定条件を含んで構成されることによって、範囲指定条件群300Aには、画像の方向と同一の方向に記載され、罫線、又は、罫線と該画像の外縁とに囲まれて区画される矩形領域内に存在する文字列が存在すると考えられる部分範囲を指定する範囲指定条件が含まれる確率を高めることとなる。
したがって画像処理装置10が、上述の第一〜第四の範囲指定条件に基づいて指定される部分範囲を、矩形領域内に存在する文字列を抽出するまで、所定の順番で指定することによって、画像の向きを判定する精度はより一層高まることとなる。
また、部分範囲指定部12は、画像情報取得部11によって取得された画像情報によって表される画像のサイズに基づいて、範囲指定条件群から一の範囲指定条件を選択し、該画像の一部である一の部分範囲を指定することとしてもよい。
例えば、日本国内の工業製品の図面はA4あるいはB4サイズ、日本国内のビジネス文書はA4サイズ、米国のビジネス文書はレターサイズといったように、文書の種類に応じた定格サイズが決まっている場合も少なくないからである。
図3Bは、複数の予め定められた範囲指定条件で構成される範囲指定条件群の他の一例を示すものである。図3Bに示されるように、範囲指定条件群300Bを構成する範囲指定条件のそれぞれは、範囲指定条件301、及び範囲条件選択部13が選択する順序を表す選択順位302の他に、画像サイズ情報303が予め定められている。
例えば、画像情報取得部11によって取得された画像情報によって表される画像のサイズがA4サイズ横である場合、部分範囲指定部12(範囲条件選択部13)は、画像サイズ情報303にA4サイズ横と定められたものの中から最も選択順位が高い範囲指定条件301を選択し、画像情報取得部11によって取得された画像情報によって表される画像の一部である一の部分範囲を指定する。
例えば、画像情報取得部11によって、A4サイズ横向きの画像が画像情報によって表される画像として取得された場合、部分範囲指定部12は、範囲指定条件群から“画像サイズ情報”がA4サイズ横向きと定められた範囲指定条件の中で“選択順位”が一番高い“条件No.β1”の範囲指定条件を選択し、画像の一部である一の部分範囲を指定する。
“条件No.β1”の範囲指定条件は、“画像右下隅における、図面全体の大きさの縦1/5、横1/5の部分範囲”であるので、部分範囲指定部12は、取得された画像における“画像右下隅における、図面全体の大きさの縦1/5、横1/5の部分範囲”を指定する。
また、部分範囲指定部12が、画像情報取得部11によって取得された画像情報によって表される画像のサイズ情報に基づいて、範囲指定条件群から一の範囲指定条件を選択し、該画像の一部である一の部分範囲を指定する場合、該一の部分範囲は、該画像のサイズの相似形であることとしてもよいし、該画像のサイズの相似形と比して長辺が長い部分範囲であることとしてもよい。
[文字列抽出部]
文字列抽出部14は、画像情報取得部11によって取得された画像情報によって表される画像の予め定められた条件を満たす一部である一の部分範囲内で、罫線、又は、罫線と該画像の外縁とに囲まれて区画される矩形領域内に存在する、文字列を抽出する。
例えば、一の部分範囲が唯一なものとして予め定められている場合、文字列抽出部14は、一の部分範囲内で、罫線、又は、罫線と該画像の外縁とに囲まれて区画される矩形領域内に存在する、文字列を抽出する。
具体的には、文字列抽出部14は、はじめに画像情報取得部11によって取得された画像情報によって表される画像の予め定められた条件を満たす一部である一の部分範囲内で、罫線、又は、罫線と該画像の外縁とに囲まれて区画される矩形領域を抽出し、次いで抽出された矩形領域内で文字列を抽出する。
また、一の部分範囲が、部分範囲指定部12によって複数の予め定められた範囲指定条件で構成される範囲指定条件群から選択される一の範囲指定条件に基づいて指定された物である場合、文字列抽出部14は、部分範囲指定部12によって指定された画像における一の部分範囲内で、罫線、又は、罫線と該画像の外縁とに囲まれて区画される矩形領域内に存在する、文字列を抽出する。
具体的には、文字列抽出部14は、はじめに部分範囲指定部12によって指定された画像における一の部分範囲内で、罫線、又は、罫線と該画像の外縁とに囲まれて区画される矩形領域を抽出し、次いで抽出された矩形領域内で文字列を抽出することとしてもよい。
また、文字列抽出部14は、はじめに部分範囲指定部12によって指定された画像における一の部分範囲内で文字列を抽出し、該文字列が罫線、又は、罫線と該画像の外縁とに囲まれて区画される矩形領域内に存在する文字列であるかを判断し、該文字列が罫線、又は、罫線と該画像の外縁とに囲まれて区画される矩形領域内に存在する文字列であると判断した場合には、該文字列を罫線、又は、罫線と該画像の外縁とに囲まれて区画される矩形領域内に存在する、文字列として抽出することとしてもよい。
ここで、矩形領域は、画像情報によって表される画像において、横方向に延びる二本の罫線と、縦方向に延びる二本の罫線と、で囲まれて区画される矩形領域であることとしてもよいし、該矩形領域を囲う罫線の一部が画像の外縁(外枠ともいう)とに囲まれて区画される矩形領域であることとしてもよい。
横方向に延びる二本の罫線と、縦方向に延びる二本の罫線と、で囲まれて区画される矩形領域の一例としては、図2Aに示される画像における矩形領域102が挙げられる。また、罫線と画像の外縁とに囲まれて区画される矩形領域の一例としては、図2Aに示される画像における矩形領域103が挙げられる。
矩形領域の抽出は、既知の技術を用いて実現することができ、例えば、矩形領域を囲う罫線を抽出することによって実現されることとしてもよい。
また、矩形領域が、画像情報によって表される画像において、横方向に延びる二本の罫線と、縦方向に延びる二本の罫線と、で囲まれて区画される矩形領域である場合、文字列抽出部14は、部分範囲指定部12によって指定された画像における一の部分範囲内で、矩形領域を区画する四本の罫線によって形成される四つの角によって囲まれた文字列を抽出することとしてもよい。
また、文字列抽出部14は、例えば文字列を、OCR(Optical Character Recognition)等の既知の文字認識技術を用いて抽出することとしてもよい。
また、文字列抽出部14は、部分範囲指定部12によって指定された画像における一の部分範囲内で、罫線、又は、罫線と該画像の外縁とに囲まれて区画される矩形領域内に存在する、文字列を画像の横方向(左から右方向、右から左方向)、縦方向(上から下方向、下から上方向)の4つの方向から抽出することとしてもよい。
[画像向き判定部]
画像向き判定部15は、文字列抽出部14によって抽出された文字列の方向に基づいて、画像情報取得部11によって取得された画像情報によって表される画像の向きを判定する。すなわち、画像向き判定部15は、文字列抽出部14によって抽出された文字列がどの方向を向いているかを判定し、画像情報取得部11によって取得された画像情報によって表される画像の向きを、該文字列の方向と同一のものと判定する。
ここで、仮に文字列抽出部14によって抽出された文字列が複数存在し、複数の文字列の向きがそれぞれ異なる場合、例えば、画像向き判定部15は、文字列抽出部14によって抽出された向きが異なる複数の文字列のうち、文字サイズ(フォントサイズ)が最も大きい文字列の方向に基づいて、画像情報取得部11によって取得された画像情報によって表される画像の向きを判定することとしてもよい。
文字サイズ(フォントサイズ)が最も大きい文字列の方向は、画像の方向と一致することが少なくないため、文字サイズ(フォントサイズ)が最も大きい文字列の方向に基づいて、画像情報取得部11によって取得された画像情報によって表される画像の向きを判定することは、画像の向きを正しく判定する精度を高めるからである。
また、文字列抽出部14によって抽出された文字列が複数存在し、複数の文字列の向きがそれぞれ異なる場合、例えば、画像向き判定部15は、文字列抽出部14によって抽出された向きが異なる複数の文字列のうち、一番大きい矩形領域内に存在する文字列の方向に基づいて、画像情報取得部11によって取得された画像情報によって表される画像の向きを判定することとしてもよい。
大きい矩形領域内に存在する文字列の方向は、画像の方向と一致することが少なくないため、最も大きい矩形領域に囲まれる文字列の方向に基づいて、画像情報取得部11によって取得された画像情報によって表される画像の向きを判定することは、画像の向きを正しく判定する精度を高めるからである。
また、文字列抽出部14によって抽出された文字列が複数存在し、複数の文字列の向きがそれぞれ異なる場合、例えば、画像向き判定部15は、文字列抽出部14によって抽出された向きが異なる複数の文字列のうち、文字列を構成する文字の数が最も多い文字列の方向に基づいて、画像情報取得部11によって取得された画像情報によって表される画像の向きを判定することとしてもよい。
構成する文字の数が多い文字列の方向は、画像の方向と一致することが少なくないため、最も多い文字の数で構成される文字列の方向に基づいて、画像情報取得部11によって取得された画像情報によって表される画像の向きを判定することは、画像の向きを正しく判定する精度を高めるからである。
また、文字列抽出部14によって一の方向を向く第一の文字列と、前記一の方向と異なる方向を向く第二の文字列とが抽出された場合、例えば、画像向き判定部15は、前記第一の文字列及び前記第二の文字列それぞれの方向に基づいて、画像情報取得部11によって取得された画像情報によって表される画像の向きを判定することとしてもよい。
例えば、文字列抽出部14によって一の方向を向く第一の文字列と、該一の方向と交わる他の方向を向く第二の文字列とが抽出された場合、画像向き判定部15は、前記第一の文字列及び前記第二の文字列それぞれの方向の間の方向に基づいて、あるいは、前記第一の文字列及び前記第二の文字列それぞれの方向を合成した方向に基づいて画像情報取得部11によって取得された画像情報によって表される画像の向きを判定することとしてもよい。
より具体的に説明すると、文字列抽出部14によって抽出された文字列の方向が二つ存在し、そのそれぞれの方向が上方向、左方向である場合、画像向き判定部15は、それら二つの向きの間の向きは左上方向であるので、画像情報取得部11によって取得された画像情報によって表される画像の向きは、左上であると判定することとしてもよい。
また、例えば、文字列抽出部14によって一の方向を向く第一の文字列と、他の方向を向く第二の文字列とが抽出された場合、画像向き判定部15は、(1)前記第一の文字列の方向と前記第二の文字列の方向とが、それぞれ上方向、左方向の場合は、画像の向きは上方向、(2)前記第一の文字列の方向と前記第二の文字列の方向とが、それぞれ右方向、上方向の場合は、画像の向きは右方向、(3)前記第一の文字列の方向と前記第二の文字列の方向とが、それぞれ下方向、右方向の場合は、画像の向きは下方向、(4)前記第一の文字列の方向と前記第二の文字列の方向とが、それぞれ左方向、下方向の場合は、画像の向きは左方向、といったように、前記第一の文字列の方向と前記第二の文字列の方向に応じて予め定められた条件に基づいて、画像の向きを判定することとしてもよい。
また、例えば、文字列抽出部14によって一の方向を向く第一の文字列と、前記一の方向と異なる方向を向く第二の文字列とが抽出された場合、例えば、画像向き判定部15は、前記第一の文字列及び前記第二の文字列それぞれの方向と、前記第一の文字列及び前記第二の文字列それぞれを構成する文字の数とに基づいて、画像情報取得部11によって取得された画像情報によって表される画像の向きを判定することとしてもよい。
具体的には、文字列抽出部14によって抽出された第一の文字列の一の方向と第二の文字列の他の方向と、が互いに交わらない場合であっても、仮に第一の文字列を構成する文字数が第二の文字列を構成する文字数よりも多い場合、画像向き判定部15は画像の向きを第一の文字列の向きと同様の一の方向と判定することとしてもよい。
同様に、文字列抽出部14によって一の方向を向く第一の文字列と、前記一の方向と異なる方向を向く第二の文字列とが抽出された場合、例えば、画像向き判定部15は、前記第一の文字列及び前記第二の文字列それぞれの方向と、前記第一の文字列及び前記第二の文字列それぞれを構成する文字の文字サイズ(フォントサイズ)とに基づいて、画像情報取得部11によって取得された画像情報によって表される画像の向きを判定することとしてもよい。
また、文字列抽出部14によって一の方向を向く第一の文字列と、前記一の方向と異なる方向を向く第二の文字列とが抽出された場合、例えば、画像向き判定部15は、前記第一の文字列及び前記第二の文字列それぞれの方向と、前記第一の文字列及び前記第二の文字列のうち、一番大きい矩形領域内に存在する文字列の方向に基づいて、画像情報取得部11によって取得された画像情報によって表される画像の向きを判定することとしてもよい。
[画像向き変更部]
画像処理装置10は、下記説明する画像向き変更部21を任意に備えることとしてもよい。
画像向き変更部21は、画像向き判定部15によって判定された画像の向きを変更する。例えば、画像向き変更部21は、画像向き判定部15によって判定された画像の向きを、文字列抽出部14によって抽出された文字列の上下が正しい方向となるように、変更することとしてもよい。
[画像向き更新部]
画像処理装置10は、下記説明する画像向き更新部22を任意に備えることとしてもよい。
画像向き更新部22は、画像向き変更部21によって変更された画像の向きの状態で、該画像に係る画像情報を更新する。画像向き更新部22によって更新された画像情報は、ハードディスク、外部デバイス、あるいはメモリ等の画像情報を記憶する画像情報格納部52に記憶されることとしてもよい。
以上、本発明の一実施の形態に係る画像処理装置の主な構成について個々に説明をした。次に、本発明の一実施の形態に係る画像処理装置10が行う処理の内容について詳しく説明する。
本発明の一実施の形態に係る画像処理装置10が実行するプログラムは、画像情報を取得する画像情報取得手段、前記画像情報取得手段によって取得された前記画像情報によって表される画像の予め定められた条件を満たす一部である一の部分範囲内で、罫線、又は、罫線と該画像の外縁とに囲まれて区画される矩形領域内に存在する、文字列を抽出する文字列抽出手段、及び、前記文字列抽出手段によって抽出された文字列の方向に基づいて、前記画像の向きを判定する、画像向き判定手段、としてコンピュータを機能させるためのプログラムである。
図4は、本発明の一実施の形態に係る画像処理装置10で行われる処理を例示するフロー図である。
まず、本発明の一実施の形態に係る画像処理装置10は、画像を表すビットマップデータ、該画像のサイズ(例えば、A4、B4といった該画像が出力された際のサイズ)、該画像の作成者、作成日等の情報を含む画像情報を取得する(S10)。
また、以下の説明においては便宜上、S10工程において画像処理装置10が取得した画像情報によって表される画像は、図2Bで示される画像100Bであるものとして説明する。
S10工程によって取得した画像情報によって表される画像は、図2Bで示される工業製品の図面を表すものであるであるが、表示される図面の方向は、図面の正しい方向と上下方向が反対なものである。また、S10工程によって取得した画像情報によると、図2Bで示される工業製品の図面のサイズ(画像が出力された際のサイズ)はA4サイズ横向きであったこととする。
次に、画像処理装置10は、一の部分範囲を複数の予め定められた範囲指定条件で構成される範囲指定条件群から選択される一の範囲指定条件に基づいて指定する場合、S10工程で取得された画像情報によって表される画像の一部である一の部分範囲を指定するために、複数の予め定められた範囲指定条件で構成される範囲指定条件群から一の範囲指定条件を選択する(S20)。
また、一の部分範囲が唯一なものとして予め定められている場合、画像処理装置10は、S10工程後、該一の部分範囲内で、罫線、又は、罫線と該画像の外縁とに囲まれて区画される矩形領域内に存在する、文字列を抽出するために、後述のS40工程に直接進む。そして、該一の部分範囲内で文字列を抽出した場合には、S40工程後、後述のS50工程に、また、該一の部分範囲内で文字列を抽出しなかった場合には、後述のS41工程に進むこととなる。
S20工程については、図5を用いて詳細に説明する。図5は、範囲条件選択の処理を例示するフロー図である。
画像処理装置10は、S10工程以後S20工程において、未だ選択されていない範囲指定条件のうち、最も選択順位が高い(選択の優先順位が高い)一の範囲指定条件を選択する。したがって、はじめに、画像処理装置10は範囲指定条件群に未だ選択されていない範囲指定条件が存在するか否かについて判定する(S21)。そして、画像処理装置10がS21工程において、範囲指定条件群に未だ選択されていない範囲指定条件が存在すると判定した場合には、未だ選択されていない範囲指定条件のうち、最も選択順位が高い範囲指定条件を選択する(S22)。
具体的には、仮に、複数の予め定められた範囲指定条件で構成される範囲指定条件群が、図3Aにて示される範囲指定条件群300Aである場合、画像処理装置10はS10工程直後のS20工程において、最も選択順位が高い(選択の優先順位が高い)一の範囲指定条件として“条件No.α1”の範囲指定条件を選択する。
あるいは、前述したように、範囲指定条件群を構成する範囲指定条件のうちの少なくとも一部が、図3Bに示されるように画像サイズ情報を該範囲指定条件と関連付けて保持していることとしてもよい。仮に、複数の予め定められた範囲指定条件で構成される範囲指定条件群が、図3Bにて示される範囲指定条件群300Bである場合、画像処理装置10はS10工程直後のS20工程において、“画像サイズ情報”がA4サイズ横向きと定められた範囲指定条件の中で“選択順位”が一番高い“条件No.β1”の範囲指定条件を選択する。
また、画像処理装置10が範囲指定条件群に未だ選択されていない範囲指定条件が存在しないと判定した場合には、S1工程で取得された画像情報によって表される画像の中心部を含む部分範囲内で文字列を抽出する(S41)。そして、S41工程にて抽出された文字列は、後に説明する、S50工程にて画像向き判定に用いられることとなる。
以下の説明においては便宜上、範囲指定条件群は図3Bに示される複数の範囲指定条件301で構成されていたものとし、S10工程直後のS20工程においては、“画像サイズ”がA4サイズ横向きの中で“選択順位”が一番高い“範囲指定条件No.β1”の範囲指定条件が選択されたものとして説明する。
次いで、画像処理装置10はS20工程にて選択された一の範囲指定条件に基づいて、S10工程にて取得された画像情報によって表される画像の一部である一の部分範囲を指定する(S30)。
具体的に説明すると、S20工程において一の範囲指定条件として選択された“範囲指定条件No.β1”の範囲指定条件は、“画像右下隅における、図面全体の大きさの縦1/5、横1/5の部分範囲”であるので、S30工程において、画像処理装置10は、取得された画像における“画像右下隅における、図面全体の大きさの縦1/5、横1/5の部分範囲”である破線B1で囲まれる部分を指定することとなる。
次いで、画像処理装置10はS30工程にて指定された画像情報によって表される画像の一部である一の部分範囲内で、罫線、又は、罫線と該画像の外縁とに囲まれて区画される矩形領域内に存在する、文字列を抽出する(S40)。
罫線、又は、罫線と該画像の外縁とに囲まれて区画される矩形領域内に存在する文字列を抽出するS40工程は、S30工程にて指定された画像情報によって表される画像の一部である一の部分範囲内で、罫線、又は、罫線と該画像の外縁とに囲まれて区画される矩形領域を抽出し、次いで抽出された矩形領域内で文字列を抽出する工程であることとしてもよい。
また、罫線、又は、罫線と該画像の外縁とに囲まれて区画される矩形領域内に存在する文字列の抽出するS40工程は、はじめに部分範囲指定部12によって指定された画像における一の部分範囲内で文字列を抽出し、該文字列が罫線、又は、罫線と該画像の外縁とに囲まれて区画される矩形領域内に存在する文字列であるかを判断し、該文字列が罫線、又は、罫線と該画像の外縁とに囲まれて区画される矩形領域内に存在する文字列であると判断した場合には、該文字列を罫線、又は、罫線と該画像の外縁とに囲まれて区画される矩形領域内に存在する、文字列として抽出する工程であることとしてもよい。
ここで、画像処理装置10は該一の部分範囲内で、矩形画像によって囲まれた文字列を抽出することができた場合には、抽出された文字列の方向に基づいて、前記画像の向きを判定する(S50)。
また、画像処理装置10がS40工程において、S30工程にて指定された画像情報によって表される画像の一部である一の部分範囲内で、罫線、又は、罫線と該画像の外縁とに囲まれて区画される矩形領域内に存在する文字列を抽出することができなかった場合、範囲指定条件群から他の範囲指定条件を選択し、該他の範囲指定条件に基づいて画像の一部である他の部分範囲を指定する。
そして、この場合、画像処理装置10は該他の範囲指定条件としてS20工程において未だ選択されていない範囲指定条件のうち、最も選択順位が高い(選択の優先順位が高い)範囲指定条件を選択する。
より具体的に説明をすると、今回の例においては、S30工程で画像処理装置10は、図2Bにて示される画像100Bにおける“画像右下隅における、図面全体の大きさの縦1/5、横1/5の部分範囲”である破線B1で囲まれる部分を指定している。
そして、破線B1で囲まれる部分には、罫線、又は、罫線と該画像の外縁とに囲まれて区画される矩形領域が存在しないため、画像処理装置10は当然に罫線、又は、罫線と該画像の外縁とに囲まれて区画される矩形領域内に存在する文字列を抽出することができない。
したがって、画像処理装置10は、再度S20工程に戻り、範囲指定条件群から、“範囲指定条件No.β1”を除いた他の範囲指定条件のうちから、最も選択順位が高い(選択の優先順位が高い)範囲指定条件である“範囲指定条件No.β2”を選択する。
そして、画像処理装置10はS20工程において選択された“範囲指定条件No.β2”の範囲指定条件に基づいて、再度S30工程にて、図2Bにて示される画像100Bにおける“画像右下隅における、図面全体の大きさの縦1/5、横3/10の部分範囲”である破線B2で囲まれる部分を指定することとなる。
新たに指定された“画像右下隅における、図面全体の大きさの縦1/5、横3/10の部分範囲”である破線B2で囲まれる部分は、破線B1で囲まれる部分を包含するもので、横方向のみに広げた範囲である。この様に、罫線、又は、罫線と該画像の外縁とに囲まれて区画される矩形領域内に存在する文字列の抽出を行う部分範囲を、先の範囲指定条件で指定される部分範囲を包含して徐々に広げていくことによって、該矩形領域が発現することが少なくない。
これは、画像100Bの方向と同一の方向を向く文字列が、通常大きな文字サイズで記載されて表示画像上に存在することが少なくなく、文字サイズの大きさに比例して該文字を囲む矩形領域が大きいものである場合が少なくないからである。
したがって、画像処理装置10はS40工程において、S30工程にて指定された画像情報によって表される画像の一部である一の部分範囲内で、罫線、又は、罫線と該画像の外縁とに囲まれて区画される矩形領域内に存在する文字列を抽出することができなかった場合、再度S20工程において、範囲指定条件群から前記一の部分範囲を包含し、前記一の部分範囲よりも広い範囲を指定する他の範囲指定条件を選択し、該他の範囲指定条件に基づいて画像の一部である他の部分範囲を指定することとしてもよい。
しかしながら、今回の例においては破線B2で囲まれる部分にも、罫線、又は、罫線と該画像の外縁とに囲まれて区画される矩形領域が存在しないため、画像処理装置10は当然に罫線、又は、罫線と該画像の外縁とに囲まれて区画される矩形領域内に存在する文字列を抽出することができない。
よって、画像処理装置10は、再々S20工程に戻り、範囲指定条件群から、“範囲指定条件No.β1”及び“範囲指定条件No.β2”を除いた他の範囲指定条件のうちから、最も選択順位が高い(選択の優先順位が高い)範囲指定条件である“範囲指定条件No.β3”を選択する。
そして、画像処理装置10はS20工程において選択された“範囲指定条件No.β3”の範囲指定条件に基づいて、再びS30工程にて、図2Bにて示される画像における“画像左上隅における、図面全体の大きさの縦1/5、横1/5の部分範囲”である破線B3で囲まれる部分を指定することとなる。
図2Bにて示される画像100Bにおける“画像左上隅における、図面全体の大きさの縦1/5、横1/5の部分範囲”である破線B3で囲まれる部分には、罫線に囲まれて区画される矩形領域内に存在する二つの文字列“TITLE”、“DRAW−01”(図2Bにて示される画像においてそれぞれの文字列は上下反対に存在している)、及び、罫線と画像の外縁とに囲まれて区画される矩形領域内に存在する文字列“B”(図2Bにて示される画像において文字列は上下反対に存在している)が存在する。
したがって、画像処理装置10は、S40工程において、罫線、又は、罫線と該画像の外縁とに囲まれて区画される矩形領域内に存在する文字列を抽出し、抽出された文字列の方向が上下反対であるので、S10工程で取得された画像情報によって表される画像100Bの向きは、上下反対向きであるとS50工程にて判定する。
なお、今回の例では、図2Bにて示される画像100Bにおける破線B3で囲まれる部分に存在する、文字列“TITLE”、“DRAW−01”及び“B”のそれぞれは、同一の方向を向いているものである。
ここで、抽出された文字列の向きがそれぞれ異なる場合には、画像処理装置10は一番大きい矩形領域内に存在する文字列(本例の場合“TITLE”の文字列)の方向に基づいて、S10工程によって取得された画像情報によって表される画像の向きを判定することとしてもよいし、文字列を構成する文字の数が最も多い文字列(本例の場合“DRAW−01”の文字列)の方向に基づいて、S10工程によって取得された画像情報によって表される画像の向きを判定することとしてもよい。
また今回の例においては、画像処理装置10は範囲指定条件群を構成する一の範囲指定条件に基づいて指定される前記画像の一部である部分範囲内において、矩形領域内に存在する文字列を抽出することができたが、仮に画像処理装置10が範囲指定条件群を構成する前記範囲指定条件の全て範囲指定条件に基づいて指定される前記画像の一部である部分範囲内において、矩形領域内に存在する文字列を抽出することができなかった場合には、画像処理装置10は画像の中心部を含む部分範囲内で文字列を抽出することとなる(図5、S21、S41参照)。
また、画像処理装置10はS50工程によって得られた、S10工程によって取得された画像情報によって表される画像の向きの判定結果に基づいて、該画像の向きを正しい向きに変更することとしてもよい(S60)。
また、画像処理装置10はS60工程によって変更された、正しい向きに修正された画像に係る画像情報を更新することとしてもよい(S70)。
上記説明した画像処理装置10は、画像情報によって表される画像の全体を解析して該画像の向きを判定する画像処理装置と比して、正しく該画像の向きを判定することとなる。
また、本発明に係る画像処理装置は、例えば、画像情報によって表される画像を所定の向きを揃えて出力する複写機、所定の向きに揃えられた画像に係る画像情報を記憶媒体に格納するスキャナ、画像情報によって表される複数の画像の向きを揃えて、複数の画像同士の差分を検出する画像処理装置、所定の向きに揃えられた画像に係る画像情報を通信するファクシミリ、及び、複合機等に適用することとしてもよい。
10 画像処理装置、11 画像情報取得部、12 部分範囲指定部、13 範囲条件選択部、14 文字列抽出部、15 画像向き判定部、21 画像向き変更部、22 画像情報更新部。

Claims (10)

  1. 取得した画像情報によって表される画像の向きを判定する画像処理装置であって、
    画像情報を取得する画像情報取得手段と、
    前記画像情報取得手段によって取得された前記画像情報によって表される画像の予め定められた条件を満たす一部である一の部分範囲内で、罫線、又は、罫線と該画像の外縁とに囲まれて区画される矩形領域内に存在する、文字列を抽出する文字列抽出手段と、
    前記文字列抽出手段によって抽出された文字列の方向に基づいて、前記画像の向きを判定する、画像向き判定手段と、を含む、
    画像処理装置。
  2. 前記一の部分範囲を、複数の予め定められた範囲指定条件で構成される範囲指定条件群から選択される一の範囲指定条件に基づいて指定する、部分範囲指定手段、を更に含む、
    請求項1に記載の画像処理装置。
  3. 前記部分範囲指定手段は、前記画像情報取得手段によって取得された前記画像情報によって表される画像のサイズに基づいて、前記範囲指定条件群から一の範囲指定条件を選択し、前記画像の一部である前記一の部分範囲を指定する、
    請求項2に記載の画像処理装置。
  4. 前記一の部分範囲は、前記画像における四隅から選択される一の隅と隣り合う領域を含む、
    請求項2又は3に記載の画像処理装置。
  5. 前記文字列抽出手段が、前記画像における前記一の部分範囲内で、前記矩形領域内に存在する文字列を抽出することができなかった場合、
    前記部分範囲指定手段は、前記範囲指定条件群から他の範囲指定条件を選択し、前記他の範囲指定条件に基づいて前記画像の一部である他の部分範囲を指定し、前記他の部分範囲内で、矩形領域内に存在する文字列を抽出する、
    請求項2乃至4いずれか一項に記載の画像処理装置。
  6. 前記範囲指定条件群は、
    前記画像における四隅のうちの、第一の隅と隣り合う第一の部分範囲を指定する第一の範囲指定条件と、
    該四隅のうちの、第二の隅と隣り合う第二の部分範囲を指定する第二の範囲指定条件と、
    該四隅のうちの、第三の隅と隣り合う第三の部分範囲を指定する第三の範囲指定条件と、
    該四隅のうちの、第四の隅と隣り合う第四の部分範囲を指定する第四の範囲指定条件と、
    を少なくとも含んで構成され、
    前記部分範囲指定手段は前記第一〜第四の範囲指定条件を、前記文字列抽出手段が該指定条件に基づいて指定された前記画像の一部である部分範囲内で、矩形領域内に存在する文字列を抽出するまで、所定の順番で指定する、
    請求項2乃至5いずれか一項に記載の画像処理装置。
  7. 前記文字列抽出手段が、前記範囲指定条件群を構成する前記範囲指定条件の全て範囲指定条件に基づいて指定される前記画像の一部である部分範囲内において、矩形領域内に存在する文字列を抽出することができなかった場合には、
    前記文字列抽出手段は、前記画像の中心部を含む部分範囲内で文字列を抽出する、
    請求項2乃至6いずれか一項に記載の画像処理装置。
  8. 前記一の部分範囲は、前記画像における四隅から選択される一の隅と隣り合う領域を含む、
    請求項1に記載の画像処理装置。
  9. 前記文字列抽出手段によって一の方向を向く第一の文字列と、前記一の方向と異なる方向を向く第二の文字列とが抽出された場合には、前記画像向き判定手段は、前記第一の文字列及び前記第二の文字列それぞれの方向に基づいて、前記画像の向きを判定する、
    請求項1乃至8いずれか一項に記載の画像処理装置。
  10. 画像情報を取得する画像情報取得手段、
    前記画像情報取得手段によって取得された前記画像情報によって表される画像の予め定められた条件を満たす一部である一の部分範囲内で、罫線、又は、罫線と該画像の外縁とに囲まれて区画される矩形領域内に存在する、文字列を抽出する文字列抽出手段、及び、
    前記文字列抽出手段によって抽出された文字列の方向に基づいて、前記画像の向きを判定する、画像向き判定手段、
    としてコンピュータを機能させるためのプログラム。
JP2013255806A 2013-12-11 2013-12-11 画像処理装置及びプログラム Active JP6194781B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013255806A JP6194781B2 (ja) 2013-12-11 2013-12-11 画像処理装置及びプログラム
US14/274,080 US9400926B2 (en) 2013-12-11 2014-05-09 Image processing apparatus, image processing method, and non-transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013255806A JP6194781B2 (ja) 2013-12-11 2013-12-11 画像処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2015114806A true JP2015114806A (ja) 2015-06-22
JP6194781B2 JP6194781B2 (ja) 2017-09-13

Family

ID=53271503

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013255806A Active JP6194781B2 (ja) 2013-12-11 2013-12-11 画像処理装置及びプログラム

Country Status (2)

Country Link
US (1) US9400926B2 (ja)
JP (1) JP6194781B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019128839A (ja) * 2018-01-25 2019-08-01 富士ゼロックス株式会社 画像処理装置及びプログラム
JP2020030820A (ja) * 2018-08-20 2020-02-27 アイビーリサーチ株式会社 文献解析装置、文献解析方法、文献解析プログラム及び文献解析システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000067156A (ja) * 1998-08-24 2000-03-03 Canon Inc 画像処理装置及び方法
JP2010228167A (ja) * 2009-03-26 2010-10-14 Fuji Xerox Co Ltd 画像形成装置およびプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08202887A (ja) 1995-01-25 1996-08-09 Canon Inc 画像処理装置及びその方法
JPH09288714A (ja) * 1996-04-19 1997-11-04 Hitachi Ltd 表認識方法および装置
JP4136316B2 (ja) * 2001-01-24 2008-08-20 富士通株式会社 文字列認識装置
WO2005041123A1 (ja) * 2003-10-24 2005-05-06 Fujitsu Limited 画像歪み補正プログラム,画像歪み補正装置並びに画像歪み補正方法
JP4665933B2 (ja) * 2006-07-04 2011-04-06 セイコーエプソン株式会社 文書編集支援装置、プログラムおよび記憶媒体
JP4909216B2 (ja) * 2006-09-13 2012-04-04 株式会社キーエンス 文字切り出し装置、方法およびプログラム
JP4998220B2 (ja) * 2007-11-09 2012-08-15 富士通株式会社 帳票データ抽出プログラム、帳票データ抽出装置および帳票データ抽出方法
JP5618404B2 (ja) * 2010-06-29 2014-11-05 楽天株式会社 情報提供装置、情報提供方法、情報提供プログラム、及び情報提供プログラムが記録された記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000067156A (ja) * 1998-08-24 2000-03-03 Canon Inc 画像処理装置及び方法
JP2010228167A (ja) * 2009-03-26 2010-10-14 Fuji Xerox Co Ltd 画像形成装置およびプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019128839A (ja) * 2018-01-25 2019-08-01 富士ゼロックス株式会社 画像処理装置及びプログラム
JP7234495B2 (ja) 2018-01-25 2023-03-08 富士フイルムビジネスイノベーション株式会社 画像処理装置及びプログラム
JP2020030820A (ja) * 2018-08-20 2020-02-27 アイビーリサーチ株式会社 文献解析装置、文献解析方法、文献解析プログラム及び文献解析システム

Also Published As

Publication number Publication date
JP6194781B2 (ja) 2017-09-13
US20150161462A1 (en) 2015-06-11
US9400926B2 (en) 2016-07-26

Similar Documents

Publication Publication Date Title
JP2011141677A (ja) 文書を電子化する装置及び方法
JP2012203458A (ja) 画像処理装置及びプログラム
JP4902568B2 (ja) 電子文書生成装置、電子文書生成方法、コンピュータプログラム、および記憶媒体
JP6921522B2 (ja) 画像処理装置及びその制御方法並びにプログラム
JP2007279828A (ja) 帳票処理装置、帳票様式作成装置、帳票、帳票処理用のプログラム、帳票様式作成用のプログラム
JP6531738B2 (ja) 画像処理装置
JP7383882B2 (ja) 情報処理装置、及び情報処理プログラム
JP5512903B1 (ja) 画像処理装置、画像処理方法、情報記憶媒体、及びプログラム
JP6194781B2 (ja) 画像処理装置及びプログラム
JP2021056796A (ja) 構造認識システム、構造認識装置、構造認識方法、及びプログラム
JP2009031937A (ja) 帳票画像処理装置及び帳票画像処理プログラム
JP6931168B2 (ja) 情報処理装置、制御方法、プログラム
US20210067641A1 (en) Information processing apparatus and non-transitory computer readable medium
JP4518212B2 (ja) 画像処理装置及びプログラム
CN100487702C (zh) 图像处理设备
JP2014204268A (ja) 画像処理装置および画像処理プログラム
JP7031465B2 (ja) 情報処理装置及びプログラム
JP6481204B2 (ja) 情報処理装置と、その処理方法及びプログラム
JP4517822B2 (ja) 画像処理装置及びプログラム
JP2013069008A (ja) 電子書籍作成装置、電子書籍表示装置、電子書籍作成方法、電子書籍表示方法およびプログラム
US20130104014A1 (en) Viewer unit, server unit, display control method, digital comic editing method and non-transitory computer-readable medium
JP6795770B2 (ja) 情報処理装置と、その処理方法及びプログラム
JP5343584B2 (ja) 情報処理装置及びプログラム
JP2007011529A (ja) Ocr処理における文字認識位置の決定方法
JP5303967B2 (ja) 組版装置、組版方法、及び組版処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170718

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170731

R150 Certificate of patent or registration of utility model

Ref document number: 6194781

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350