JP2022052217A - 画像処理装置、画像処理方法及び画像処理システム - Google Patents

Abstract

【課題】画像に対して記載された対象オブジェクトを読み取り、当該対象オブジェクトを地図や設計図等の別の図面において対応する位置に重畳すること。
【解決手段】所定の入力画像に対して記載された対象オブジェクトを読み取るオブジェクト読取部（１７）と、入力画像における所定の箇所の地理的位置を示す基準位置情報を格納する位置情報管理テーブル（２２）と、基準位置情報に対応する図面を取得する図面画像取得部（１５）と、入力画像における所定の箇所の基準位置情報に基づいて、対象オブジェクトの位置を示すオブジェクト位置情報を判定する図面オブジェクト制御部（１８）と、取得した図面において、オブジェクト位置情報に対応する位置に、対象オブジェクトを重畳する出力制御部（１９）と、対象オブジェクトを重畳した図面を出力する出力部（１１）とを含む画像処理装置。
【選択図】図２

Description

本開示は、画像処理装置、画像処理方法及び画像処理システムに関する。

近年、ＩＴ化の進展に伴い、極めて大量のデータが蓄積されている。そうした中、集積された画像データを活用する様々な方策が検討されている。特に、写真、動画、画像等の映像コンテンツが増えるにつれ、その映像における物体が地理的にどこに存在しているかを判定する手段が望まれている。

従来では、画像における物体の地理的存在位置を推定するいくつかの提案がなされている。
例えば、特開２０１８－２８６０７号公報（特許文献１）には、「撮影画像と、電子地図等の広域画像との向きの関係が直感的に把握できる技術として、航空機から撮影した周囲の縁の形状が矩形の写真画像および前記写真画像の撮影位置を示す矩形のマークの地図画像上への表示と、前記写真画像の向きと前記マークの向きの関係を特定する強調表示とを行う表示制御部を備えることを特徴とする」技術が記載されている。

特開２０１８－２８６０７号公報

特許文献１は、撮影画像と、電子地図等の広域画像との向きの関係が直感的に把握できるための技術である。特許文献１によれば、地形等の上空画像と、当該地形に対応する電子地図との対応関係を判定することができる。
しかし、特許文献１に記載の手法では、撮影画像上で特定した物体や地点に対して記載された「対象オブジェクト」が、撮影画像とは異なる別の図面（地図、設計図）においてどこに存在するかを判定することは想定されておらず、当該対象オブジェクトに対応した、別の図面上における画像上の地理的存在位置を把握することが困難である。

そこで、本開示は、画像上で特定された物体や地点に対して記載された対象オブジェクトを読み取り、当該対象オブジェクトを地図や設計図等の別の図面において重畳することにより、この対象オブジェクトの当該図面における存在位置を容易に把握するための画像処理手段を提供することを目的とする。

上記の課題を解決するために、代表的な本開示の画像処理装置の一つは、対象オブジェクトが記載されている入力画像に画像処理を施し、前記対象オブジェクトを読み取るオブジェクト読取部と、前記入力画像における所定の箇所の地理的位置を示す基準位置情報を格納する位置情報管理テーブルと、前記入力画像における前記所定の箇所の前記基準位置情報に対応する図面を取得する図面画像取得部と、前記入力画像における前記所定の箇所の前記基準位置情報に基づいて、前記対象オブジェクトの地理的位置を示すオブジェクト位置情報を判定する図面オブジェクト制御部と、取得した前記図面において、前記対象オブジェクトの前記オブジェクト位置情報に対応する位置に、前記対象オブジェクトを図面用オブジェクトとして重畳する出力制御部と、前記図面用オブジェクトが重畳された前記図面をオブジェクト重畳図面として出力する出力部とを含むことを特徴とする画像処理装置。

本開示によれば、画像上で特定された物体や地点に対して記載された対象オブジェクトを読み取り、当該対象オブジェクトを地図や設計図等の別の図面において重畳することにより、この対象オブジェクトの当該図面における存在位置を容易に把握するための画像処理手段を提供することができる。
上記した以外の課題、構成、効果は、以下の実施形態の説明により明らかにされる。

図１は、本開示の実施例を実施するためのコンピュータシステムを示す図である。 図２は、本開示の実施例１に係る、画像に対して記載された対象オブジェクトを図面に重畳し、表示する流れの一例を示す図である。 図３は、本開示の実施例１に係る画像処理システムの機能的構成の一例を示す図である。 図４は、本開示の実施例１に係る画像処理方法の一例を示すフローチャートである。 図５は、本開示の実施例１に係る画像処理方法における、基準記号を読み取るステップの流れの一例を示すフローチャートである。 図６は、本開示の実施例１に係る画像処理方法における、基準記号を読み取るステップの具体例を示す図である。 図７は、本開示の実施例１に係る位置情報管理テーブルの一例を示す図である。 図８は、本開示の実施例１に係る画像処理方法における、図面を取得するステップの流れの一例を示す図である。 図９は、本開示の実施例１に係る画像処理方法における、図面を取得するステップの具体例を示す図である。 図１０は、本開示の実施例１に係る画像処理方法における、対象オブジェクトを読み取るステップの流れの一例を示すフローチャートである。 図１１は、本開示の実施例１に係る画像処理方法における、対象オブジェクトを読み取るステップの流れの別の一例を示すフローチャートである。 図１２は、本開示の実施例１に係る画像処理方法における、オブジェクト重畳図面を出力するステップの流れの一例を示すフローチャートである。 図１３は、本開示の実施例２に係る対象オブジェクトを図面に重畳する別の一例を示す図である。

以下、図面を参照して、本開示の実施例について説明する。なお、この実施例により本開示が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
（本開示の概要）

上述したように、写真、動画、画像等の映像コンテンツが増えるにつれ、その映像における物体が地理的にどこに存在しているかを判定する手段が望まれている。
そこで、画像における物体や地点に対して記載された対象オブジェクトを読み取り、当該対象オブジェクトを地図や設計図等の別の図面において重畳することとすれば、この対象オブジェクトの当該図面における存在位置を容易に把握するための画像処理手段を提供することができる。

一例として、ユーザは、紙媒体の写真において特定の物体（建物、渡橋等）や地点が、地図や設計図等の別の図面においてどこに存在しているかを知りたいとする。この場合、ユーザは、紙媒体の写真において、対象の物体や地点を特定するために手書きで対象オブジェクトをペンや鉛筆等で記載した後、当該対象オブジェクトが記載された写真を本開示の実施例に係る画像処理装置に入力すると、本開示の実施例に係る画像処理装置は、ユーザによって記載された対象オブジェクトを、地図や設計図等の別の所定の図面において、対応する地理的位置に重畳した図面を生成し、出力する。
これにより、ユーザは、写真上で特定した物体や地点を、別の地図や設計図等の図面においてどこに存在するかを容易に把握することが可能となり、写真と図面とを自ら照合する手間や労力を抑えることができる。

以下、図１を参照して、本開示の実施例を実施するためのコンピュータシステムについて説明する。

まず、図１を参照して、本開示の実施例を実施するためのコンピュータシステム３００について説明する。本明細書で開示される様々な実施例の機構及び装置は、任意の適切なコンピューティングシステムに適用されてもよい。コンピュータシステム３００の主要コンポーネントは、１つ以上のプロセッサ３０２、メモリ３０４、端末インターフェース３１２、ストレージインタフェース３１４、Ｉ／Ｏ（入出力）デバイスインタフェース３１６、及びネットワークインターフェース３１８を含む。これらのコンポーネントは、メモリバス３０６、Ｉ／Ｏバス３０８、バスインターフェースユニット３０９、及びＩ／Ｏバスインターフェースユニット３１０を介して、相互的に接続されてもよい。

コンピュータシステム３００は、プロセッサ３０２と総称される１つ又は複数の汎用プログラマブル中央処理装置（ＣＰＵ）３０２Ａ及び３０２Ｂを含んでもよい。ある実施例では、コンピュータシステム３００は複数のプロセッサを備えてもよく、また別の実施例では、コンピュータシステム３００は単一のＣＰＵシステムであってもよい。各プロセッサ３０２は、メモリ３０４に格納された命令を実行し、オンボードキャッシュを含んでもよい。

ある実施例では、メモリ３０４は、データ及びプログラムを記憶するためのランダムアクセス半導体メモリ、記憶装置、又は記憶媒体（揮発性又は不揮発性のいずれか）を含んでもよい。メモリ３０４は、本明細書で説明する機能を実施するプログラム、モジュール、及びデータ構造のすべて又は一部を格納してもよい。例えば、メモリ３０４は、画像処理アプリケーション３５０を格納していてもよい。ある実施例では、画像処理アプリケーション３５０は、後述する機能をプロセッサ３０２上で実行する命令又は記述を含んでもよい。

ある実施例では、画像処理アプリケーション３５０は、プロセッサベースのシステムの代わりに、またはプロセッサベースのシステムに加えて、半導体デバイス、チップ、論理ゲート、回路、回路カード、および/または他の物理ハードウェアデバイスを介してハードウェアで実施されてもよい。ある実施例では、画像処理アプリケーション３５０は、命令又は記述以外のデータを含んでもよい。ある実施例では、カメラ、センサ、または他のデータ入力デバイス（図示せず）が、バスインターフェースユニット３０９、プロセッサ３０２、またはコンピュータシステム３００の他のハードウェアと直接通信するように提供されてもよい。

コンピュータシステム３００は、プロセッサ３０２、メモリ３０４、表示システム３２４、及びＩ／Ｏバスインターフェースユニット３１０間の通信を行うバスインターフェースユニット３０９を含んでもよい。Ｉ／Ｏバスインターフェースユニット３１０は、様々なＩ／Ｏユニットとの間でデータを転送するためのＩ／Ｏバス３０８と連結していてもよい。Ｉ／Ｏバスインターフェースユニット３１０は、Ｉ／Ｏバス３０８を介して、Ｉ／Ｏプロセッサ（ＩＯＰ）又はＩ／Ｏアダプタ（ＩＯＡ）としても知られる複数のＩ／Ｏインタフェースユニット３１２，３１４，３１６、及び３１８と通信してもよい。

表示システム３２４は、表示コントローラ、表示メモリ、又はその両方を含んでもよい。表示コントローラは、ビデオ、オーディオ、又はその両方のデータを表示装置３２６に提供することができる。また、コンピュータシステム３００は、データを収集し、プロセッサ３０２に当該データを提供するように構成された1つまたは複数のセンサ等のデバイスを含んでもよい。

例えば、コンピュータシステム３００は、心拍数データやストレスレベルデータ等を収集するバイオメトリックセンサ、湿度データ、温度データ、圧力データ等を収集する環境センサ、及び加速度データ、運動データ等を収集するモーションセンサ等を含んでもよい。これ以外のタイプのセンサも使用可能である。表示システム３２４は、単独のディスプレイ画面、テレビ、タブレット、又は携帯型デバイスなどの表示装置３２６に接続されてもよい。

Ｉ／Ｏインタフェースユニットは、様々なストレージ又はＩ／Ｏデバイスと通信する機能を備える。例えば、端末インタフェースユニット３１２は、ビデオ表示装置、スピーカテレビ等のユーザ出力デバイスや、キーボード、マウス、キーパッド、タッチパッド、トラックボール、ボタン、ライトペン、又は他のポインティングデバイス等のユーザ入力デバイスのようなユーザＩ／Ｏデバイス３２０の取り付けが可能である。ユーザは、ユーザインターフェースを使用して、ユーザ入力デバイスを操作することで、ユーザＩ／Ｏデバイス３２０及びコンピュータシステム３００に対して入力データや指示を入力し、コンピュータシステム３００からの出力データを受け取ってもよい。ユーザインターフェースは例えば、ユーザＩ／Ｏデバイス３２０を介して、表示装置に表示されたり、スピーカによって再生されたり、プリンタを介して印刷されたりしてもよい。

ストレージインタフェース３１４は、１つ又は複数のディスクドライブや直接アクセスストレージ装置３２２（通常は磁気ディスクドライブストレージ装置であるが、単一のディスクドライブとして見えるように構成されたディスクドライブのアレイ又は他のストレージ装置であってもよい）の取り付けが可能である。ある実施例では、ストレージ装置３２２は、任意の二次記憶装置として実装されてもよい。メモリ３０４の内容は、ストレージ装置３２２に記憶され、必要に応じてストレージ装置３２２から読み出されてもよい。Ｉ／Ｏデバイスインタフェース３１６は、プリンタ、ファックスマシン等の他のＩ／Ｏデバイスに対するインターフェースを提供してもよい。ネットワークインターフェース３１８は、コンピュータシステム３００と他のデバイスが相互的に通信できるように、通信経路を提供してもよい。この通信経路は、例えば、ネットワーク３３０であってもよい。

ある実施例では、コンピュータシステム３００は、マルチユーザメインフレームコンピュータシステム、シングルユーザシステム、又はサーバコンピュータ等の、直接的ユーザインターフェースを有しない、他のコンピュータシステム（クライアント）からの要求を受信するデバイスであってもよい。他の実施例では、コンピュータシステム３００は、デスクトップコンピュータ、携帯型コンピュータ、ノートパソコン、タブレットコンピュータ、ポケットコンピュータ、電話、スマートフォン、又は任意の他の適切な電子機器であってもよい。

次に、図２を参照して、本開示の実施例１に係る、画像に対して記載された対象オブジェクトを図面に重畳し、表示する流れの一例について説明する。

図２は、本開示の実施例１に係る、画像に対して記載された対象オブジェクトを図面に重畳し、表示する一例を示す図である。図２に示すように、本開示の実施例１に係る画像処理手段において、元画像１と、入力画像２と、処理画像３と、図面４と、オブジェクト重畳図面５とが用いられる。

元画像１は、後述する対象オブジェクトや基準記号等の情報が記載される前の状態の、紙媒体の風景写真である。この元画像１は、例えば上空撮影により取得した上空写真や地形の写真など、任意の光景を示す写真であってもよい。また、元画像１は、例えば、デジタルの画像を印刷したものであってもよく、任意の手段で入手された紙媒体の写真であってもよい。

入力画像２は、元画像１に対して、対象オブジェクト２０２と、二つの基準記号（２０１と２０３）と、これらの基準記号の地理的位置情報（緯度・経度）を示す文字情報が記載された画像である。入力画像２は、本開示の実施例１に係る画像処理装置に入力される画像であり、ユーザが、ペンや鉛筆等の任意の筆記用具を用いて、対象オブジェクト２０２と、二つの基準記号（２０１と２０３）と、これらの基準記号の地理的位置情報を示す文字情報とを元画像１に対して記載することで得られる紙媒体の画像である。
ここでは、ユーザは、対象オブジェクト２０２を元画像１における任意の物体や地点（存在位置を知りたい物体や地点）に対応する位置に記載し、二つの基準記号２０１、２０３を、対象オブジェクト２０２を対角で挟む位置に記載してもよい。対象オブジェクト２０２、基準記号２０１、２０３、及びこれらの基準記号の地理的位置情報を示す文字情報が元画像１に対して記載され、入力画像２が得られた後、当該入力画像は、本開示の実施例に係る画像処理装置に入力される。
これらの基準記号２０１、２０３のような、地理的位置情報が知られている所定の箇所を基準とすることにより、これらの二つの基準記号の地理的位置情報（以下「基準位置情報」ともいう）と、対象オブジェクトの入力画像上の位置との相対位置関係に基づいて、対象オブジェクトの地理的位置を判定することができる。また、基準記号２０１、２０３を用いることにより、例えば工事現場等の立ち入り禁止の場所における物体や地点、又は山や障害物等によって移動範囲が限定される場所における物体や地点についても、存在位置を把握することが可能となる。
なお、対象オブジェクト２０２、基準記号２０１、基準記号２０３、及びこれらの基準記号の地理的位置情報（緯度・経度）を示す文字情報の詳細については後述する。

処理画像３は、入力画像２を本開示の実施例に係る画像処理装置によって処理し、
対象オブジェクト２０２と、基準記号２０１、２０３と、これらの基準記号の地理的位置情報（緯度・経度）を示す文字情報とを抽出したデジタルの画像である。処理画像３における３６１、３６２、３６３は、入力画像２における基準記号２０１、対象オブジェクト２０２、及び基準記号２０３のそれぞれに対応する。
なお、図１に示す処理画像３では、基準記号３６１、３６３の地理的位置情報（緯度・経度）を示す文字情報が表示されていないが、この地理的位置情報（緯度・経度）は、画像処理装置によって管理される位置情報管理テーブルに格納されているため、基準記号３６１、３６３の地理的位置情報（緯度・経度）を示す文字情報を処理画像３において表示することも可能である。

図面４は、基準記号２０１、２０３の地理的位置情報（緯度・経度）の範囲に基づいて取得された図面である。この図面４は、地図や設計図等、任意の図面であってもよい。後述するように、この図面４は、予め用意された専用の図面を格納する図面情報管理装置から取得される図面であってもよい。

オブジェクト重畳図面５は、入力画像２においてユーザによって記載された対象オブジェクト２０２に対応する図面用オブジェクト５０２を図面４に重畳することにより得られた画像である。このオブジェクト重畳図面５では、図面用オブジェクト５０２は、ユーザが入力画像２において、対象オブジェクト２０２によって特定した対象の物体や地点の地理的位置に対応する画像上の位置に重畳される。また、このオブジェクト重畳図面５は、所定の表示装置に表示されてもよく、印刷されてもよく、任意の手段によって出力されてもよい。
これにより、ユーザは、元画像１のような写真において特定した物体や地点が地図や設計図等の別の図面においてどこに存在するかを容易に把握することができる。

次に、図３を参照して、本開示の実施例１に係る画像処理システムの機能的構成について説明する。

図３は、本開示の実施例１に係る画像処理システム３０の機能的構成の一例を示す図である。図３に示すように、本開示の実施例１に係る画像処理システム３０は、画像処理装置３５、通信部８、表示部９、入力部１０、出力部１１、ネットワーク６、及び図面情報管理装置７から主に構成される。画像処理装置３５は、通信部８を用いて、ネットワーク６を介して図面情報管理装置７に接続される。
ネットワーク６は、例えばインターネットやローカルエリアネットワーク（ＬＡＮ）等、画像処理装置３５と図面情報管理装置７との間の通信を可能にするための通信ネットワークである。
表示部９は、本開示の実施例１に係る画像処理手段における各種情報（図２に示す処理画像３、図面４、オブジェクト重畳図面５等）を表示するための表示部である。表示部９は、例えば複合機に搭載されているディスプレイ、外部のディスプレイ、スマートフォンやタブレットの画面等、任意の表示装置であってもよい。
入力部１０は、ユーザからの入力を受け付けるための機能部である。入力部１０は、例えばキーボード、マウス、タッチ画面、音声認識手段、ユーザからの指示を受け付ける機能があれば任意の装置であってもよい。また、入力部１０は、ネットワーク６及び通信部８を介して、クライアント端末（図示せず）からの入力（入力画像等）を受信してもよい。
出力部１１は、本開示の実施例１に係る画像処理手段における各種情報（オブジェクト重畳図面５等）を必要に応じて出力するための機能部である。例えば、出力部１１は、画像や図面等を印刷するための印刷装置であってもよい。また、出力部１１は、生成されたオブジェクト重畳図面を、ネットワーク６及び通信部８を介して、クライアント端末（図示せず）に送信してもよい。

画像処理装置３５は、本開示の実施例に係る画像処理手段を実行するために構成される装置である。ある実施例では、画像処理装置３５は、例えば複合機（Ｍｕｌｔｉ－ｆｕｎｃｔｉｏｎ ｍａｃｈｉｎｅ）として実現されてもよい。
図３に示すように、画像処理装置３５は、本開示の実施例に係る画像処理手段の各機能を実行し、制御するための機能部を含む制御部１２と、制御部１２の機能部によって用いられるデータやサブ機能を格納する記憶部２１とを含む。

図３に示すように、制御部１２は、中央制御部１３、文字読取部１４、図面画像取得部１５、図面画像制御部１６、オブジェクト読取部１７、図面オブジェクト制御部１８、出力制御部１９、及び位置情報取得部２０を含む。
中央制御部１３は、本開示の実施例に係る画像処理手段における演算処理を行うための機能部である。
文字読取部１４は、画像や図面における文字情報（例えば、図２に示す入力画像２に対して記載された文字情報等）を検出し、読み取るための機能部である。
図面画像取得部１５は、後述する図面情報管理装置７又は図面記録部２６から図面（例えば、図２に示す図面４）を取得するための機能部である。
図面画像制御部１６は、図面画像取得部１５によって取得された図面の範囲や大きさを制御するための機能部である。
オブジェクト読取部１７は、画像に対して記載された対象オブジェクト（例えば、図２に示す入力画像２に対して記載された対象オブジェクト２０２）を検出し、読み取るための機能部である。
図面オブジェクト制御部１８は、入力画像に対して記載された対象オブジェクトを、図面画像取得部１５によって取得された図面に重畳するための機能部である。
出力制御部１９は、後述する出力部１１からのオブジェクト重畳図面の出力を制御するための機能部である。
位置情報取得部２０は、入力画像に対して記載される基準記号（例えば、図２に示す基準記号２０１、２０３）の地理的位置を示す情報を取得するための機能部である。

また、図３に示すように、記憶部２１は、位置情報管理テーブル２２、文字認識プログラム２３、オブジェクト読取プログラム２４、物体認識プログラム２５、図面記録部２６、オブジェクト記録部２７、重畳画像記録部２８、及び元画像記録部２９を含む。
位置情報管理テーブル２２は、読み取られた情報や、ユーザにより入力された情報を管理するためのデータベーステーブルである。
文字認識プログラム２３は、画像や図面における文字情報（例えば、図２に示す入力画像２に対して記載された文字情報等）を検出し、読み取るためのソフトウエアプログラムである。
オブジェクト読取プログラム２４は、画像に対して記載された対象オブジェクト（例えば、図２に示す入力画像２に対して記載された対象オブジェクト２０２）を検出し、読み取るためのソフトウエアプログラムである。
物体認識プログラム２５は、画像における背景の既知の物体を認識するためのソフトウエアプログラムである。この物体認識プログラム２５は、例えば機械学習に基づいた既存の物体認識手段であってもよい。
図面記録部２６は、図面画像取得部１５によって取得された図面を記録するための機能部である。
オブジェクト記録部２７は、画像に対して記載された対象オブジェクト（例えば、図２に示す入力画像２に対して記載された対象オブジェクト２０２）を記録するための機能部である。
重畳画像記録部２８は、オブジェクト重畳図面を記録するための機能部である。
元画像記録部２９は、対象オブジェクト、基準記号、及び基準記号に対応する位置情報が記載される前の元画像（例えば、図２に示す元画像１）を記録するための機能部である。

図面情報管理装置７は、本開示の実施例に係る画像処理手段において用いられる図面（地図、設計図）を格納する機能部である。図３に示すように、図面情報管理装置７は、画像処理装置３５とは物理的に離れている、予め用意されている図面を格納する遠隔のサーバ装置であってもよい。図面情報管理装置７に格納される図面は、オープンソースの図面であってもよく、個人、企業、又は組織の所有物である図面であってもよい。この場合には、画像処理装置３５は、図面情報管理装置７からの図面を取得するに当たって、図面情報管理装置７に対する所定の認証手段を行い、アクセス権限を付与された後、図面情報管理装置７に格納されている図面を取得してもよい。

以上説明したように構成した画像処理システム３０により、画像における物体や地点に対して記載された対象オブジェクトを読み取り、当該対象オブジェクトを地図や設計図等の別の図面において重畳することができ、この対象オブジェクトの当該図面における存在位置を容易に把握することが可能となる。
なお、以上説明した各種機能部は、電子回路などの専用ハードウェアによって実現されてもよく、ソフトウエアモジュールとして実現されてもよい。

次に、図４を参照して、本開示の実施例１に係る画像処理方法について説明する。

図４は、本開示の実施例１に係る画像処理方法４００の一例を示すフローチャートである。図４に示す画像処理方法４００は、図３を参照して説明した画像処理システム３０によって実行される方法であり、ユーザが所定の写真における物体や地点に対して記載した対象オブジェクトを、地図や設計図等の別の図面において重畳するための処理の全体の流れである。
図４に示すように、画像処理方法４００は、ステップＳ０１で開始し、ステップＳ０１０で終了する。

まず、ステップＳ０２では、画像処理装置の文字読取部（例えば、図３に示す文字読取部１４）は、入力部を介してユーザによって入力された入力画像における基準記号に対応する地理的位置情報（「基準位置情報」ともいう）を示す文字情報を検出し、読み取る。
より具体的には、画像処理装置の文字読取部は、文字認識プログラムを用いて、所定の
光学式文字認識手段を実行することで基準記号に対応する地理的位置情報を示す文字情報（例えば、図２に示す入力画像の基準記号２０１、２０３に対応する地理的位置を示す文字情報）を読み取ってもよい。ここでは、光学式文字認識手段として、機械学習を利用した手段を採用してもよい。また、対象オブジェクトが記載される前の画像である元画像が元画像記録部に記録されている場合には、図１１を参照して後述する背景差分手段を用いて入力画像における基準記号に対応する地理的位置情報を示す文字情報を読み取ってもよい。
なお、ここでの地理的位置情報を示す文字情報とは、画像に対して記載された基準記号に対応する地理的位置を示す緯度・経度を示す文字列等の情報である。

入力画像に対して記載される基準記号に対応する地理的位置情報は、様々な手法によって取得されてもよい。例えば、画像処理方法４００のステップＳ０２の前段階において、スマートフォン等の移動可能な携帯端末に画像処理装置が搭載されている場合には、上述した位置情報取得部（図２に示す位置情報取得部２０）が基準記号の地理的位置情報を取得してもよい。
一例として、ユーザがスマートフォンを用いて、スマートフォンのカメラ機能等によって元画像を取得した後、このスマートフォンを持ったユーザが、基準記号を配置したい箇所に対応する場所に実際に移動して、スマートフォンの位置情報取得部（ＧＰＳなど）によって、これらの基準記号に対応する地理的位置情報を取得してもよい。
その後、ユーザは、スマートフォンが有する画像編集機能を用いて、取得した基準記号に対応する地理的位置情報の緯度・経度を示す文字情報と、基準記号と、対象オブジェクトとを元画像に対して記載することで、入力画像を得ることができる。このように取得した入力画像を用いて、ステップＳ０２以降の処理を施すことで、対象オブジェクトの位置情報（「オブジェクト位置情報」）の誤差を抑えることができる。
なお、入力画像に対して記載される基準記号に対応する地理的位置情報の取得方法は、これに限定されず、任意の手法によって行われてもよい。例えば、ユーザは、地図やＧＰＳ機能を用いて、基準記号に対応する地理的位置情報を取得してもよい。

次に、ステップＳ０３では、文字読取部は、ステップＳ０２での文字読取処理においてエラーが発生したか否かを判定する。ここでの読取エラーとは、何等かの理由により、入力画像において記載された基準記号に対応する地理的位置情報を示す文字情報を読み取ることができなかった場合を意味する。読取エラーの例としては、例えば、入力画像に対して記載された地理的位置情報の緯度・経度が予め設定された緯度・経度の範囲を逸脱している場合、地理的位置情報の緯度又は経度の差分(距離)が、予め設定された距離より大きい場合、読み取った緯度・経度の桁数が、予め緯度・経度の桁数を設定した値未満・超過している場合等が考えられる。
ここで、文字読取エラーが発生した場合には、本処理は読取エラーを修正するためのステップＳ０４へ進む。文字読取エラーが発生しなかった場合には、本処理はステップＳ０５へ進む。

ステップＳ０４では、読取エラーを解決するために、文字読取部は、ステップＳ０２へ戻って文字読取を再度実行するか、ステップＳ０１０へ進み本処理を終了するか、読取エラーをユーザの修正指示によって対応するかを判定する。ここでの判定は、ユーザの入力に基づいて行われてもよい。例えば、読取エラーが発生した場合、当該読取エラーの内容を示す通知を画像処理装置の表示部に表示し、文字読取を再度実行するか、本処理を終了するか、読取エラーをユーザの修正指示によって対応するかをユーザに選択させてもよい。
ここで、読取エラーを解決するためのユーザの修正指示として、ステップＳ０２において読取ができなかった文字情報を改めてユーザに記載させることや、ステップＳ０２において読取ができなかった文字情報を意味する情報を、後述する位置情報管理テーブルに直接に入力させること等が考えられる。
表示部に表示されるエラーの内容を示す通知に対して、ユーザは、文字読取を再度実行することを選択した場合、本処理はステップＳ０２へ戻り、本処理を終了することを選択した場合、本処理はステップＳ０１０へ進み、修正指示を入力した場合、本処理はステップＳ０５へ進む。

次に、ステップＳ０５では、オブジェクト読取部は、ステップＳ０２で認識された文字情報に基づいて、入力画像に対して記載された基準記号を読み取る。また、ここでは、オブジェクト読取部は、読み取った基準記号の画像上の座標を示す座標情報を取得してもよい。
なお、入力画像に対して記載された基準記号と、当該基準記号の画像上の座標を示す座標情報を取得する際の詳細については、図５及び図６を参照して説明する。

次に、ステップＳ０６では、画像処理装置の図面画像取得部（例えば、図３に示す図面画像取得部１５）は、入力画像に対して記載された対象オブジェクトを重畳する対象となる図面を取得する。
より具体的には、ステップＳ０６では、図面画像取得部は、ステップＳ０２で読み取られた文字情報によって示される緯度経度を用いて、当該緯度経度に対応する図面を取得する。この図面は、上述した通信部とネットワークとを介して、図面情報管理装置から取得されてもよく、画像処理装置内に搭載される図面記録部から取得されてもよい。
なお、ここでの緯度経度とは、入力画像における物体や地点の地理的位置を示す情報である。また、ここで取得される図面は、入力画像から取得した緯度経度情報に対応する地図、設計図面、ＣＡＤの電子データ等、任意の図面であってもよい。また、個々で取得される図面は、１つの種類のものに限定されず、地図と設計図面などの複数の種類の図面を組み合わせた図面であってもよい。

なお、ステップＳ０６において、スマートフォン等の移動可能な携帯端末に画像処理装置が搭載されている場合には、画像処理装置の位置情報取得部（例えば、図３に示す位置情報取得部２０）は、入力画像に対して記載された基準記号に対応する地理的位置情報をＧＰＳ機能等により取得した後、当該地理的位置情報に対応する図面を取得してもよい。
一例として、ユーザは、画像処理装置が搭載されているスマートフォンを携帯し、入力画像における基準記号に対応する場所に実際に移動して、スマートフォンの位置情報取得部により、これらの基準記号の地理的位置情報を取得し、取得した地理的位置情報に対応する図面を、ネットワークを介して図面情報管理装置から取得してもよい。この処理により、対象オブジェクトの位置情報の誤差を抑えることができる。

次に、ステップＳ０７では、オブジェクト読取部（例えば、図３に示すオブジェクト読取部１７）は、入力画像に対して記載された対象オブジェクト（例えば、図２に示す対象オブジェクト２０２及び基準記号２０１、２０３）を、所定の画像処理手法（図１０参照）によって読み取り、処理画像（例えば、図２に示す処理画像３）を作成する。ステップＳ０７では、オブジェクト読取部は、ステップＳ０２で取得した基準記号の地理的位置情報を示す文字情報、あるいは位置管理テーブルを用いてオブジェクト認識のために設定した範囲に基づいて、対象オブジェクトを入力画像から読取する処理を行い、処理画像の作成を行う。ここで作成される処理画像はオブジェクト記録部（例えば、図３に示すオブジェクト記録部２７）に記録される。
なお、図３に示すように、ステップＳ０７及びステップＳ０６は、同時に並行に実行されてもよい。

次に、ステップＳ０８では、図面オブジェクト制御部（例えば、図３に示す図面オブジェクト制御部１８）は、ステップＳ０７で読み取られた対象オブジェクト（つまり、図２に示す処理画像３における対象オブジェクト３６２）を、ステップＳ０６で取得された図面に重畳し、オブジェクト重畳図面（例えば、図２に示すオブジェクト重畳図面５）を作成する。
より具体的には、ステップＳ０８では、図面オブジェクト制御部は、入力画像に対して記載された２つの基準記号（図２に示す入力画像２における基準記号２０１、２０３）に対応づけられる地理的位置情報（ステップＳ０５で読み取られた基準記号の地理的位置情報）を用いて、２つの基準記号と対象オブジェクトとの相対的な座標上の位置関係を保持したまま、これらをステップＳ０６で取得された図面に重畳する。このように、対象オブジェクトは、基準記号との位置関係に基づいて図面において重畳されるため、例えば対象オブジェクトに対応する物体や地点の地理的位置情報を用いなくとも、対象オブジェクトを図面において対応する位置に重畳することができる。
また、対象オブジェクトの地理的位置情報を判定する別の手法として、それぞれの基準記号の地理的位置情報（基準位置情報）と、対象オブジェクトの入力画像上の位置との相対位置関係に基づいて、対象オブジェクトの地理的位置を示すオブジェクト位置情報を判定し、
ここで判定された対象オブジェクトの地理的位置情報に基づいて、対象オブジェクトを図面に重畳してもよい。

次に、ステップＳ０９では、出力制御部（例えば、図３に示す出力制御部１９）は、ステップＳ０８で作成されたオブジェクト重畳図面を出力する。ここでは、出力制御部は、オブジェクト重畳図面を外部の表示部（例えば、図３に示す表示部９）に表示してもよく、オブジェクト重畳図面を印刷してもよい。

以上では、上述したステップＳ０２及びステップＳ０６において入力画像から基準記号の地理的位置情報を読み取る場合の一例を説明したが、本開示はこれに限定されず、ユーザによって後述する位置情報管理テーブルに入力される位置情報を用いてもよい。例えば、ユーザが、後述する図７で示されるように、位置管理テーブルを用いて、整理番号と、基準記号・目印識別情報と、緯度と、経度と、を予め入力した後、対象オブジェクトを挟んで対角になる位置に存在し、目印となる物体や地点を識別する情報と、緯度と、経度と、を予め入力しておく。
その後、対象オブジェクトを重畳する対象となる図面を取得する際、予めユーザに入力された目印となる物体や地点を識別する情報と、緯度と、経度との情報を用いることで、対象オブジェクトが存在する場所に対応する図面を取得することができると共に、対象オブジェクトの位置情報の誤差を抑え、入力画像において基準記号が記載されていない場合にも、位置情報を取得することができる。

以上説明した画像処理方法４００により、画像における物体や地点に対して記載された対象オブジェクトを読み取り、当該対象オブジェクトを地図や設計図等の別の図面において重畳することができ、この対象オブジェクトに対応する画像上の物体や地点が地図や設計図等の別の図面においてどこに存在するかを容易に把握することが可能となる。

次に、図５及び図６を参照して、本開示の実施例１に係る画像処理方法における、基準記号を読み取るステップについて説明する。

図５は、本開示の実施例１に係る画像処理方法における、基準記号を読み取るステップＳ０５の流れの一例を示すフローチャートである。図５に示すステップＳ０５のフローチャートは、上述した図４に示す画像処理方法４００におけるステップＳ０５の詳細を示すものであり、本開示の実施例１に係る画像処理装置の図面画像制御部（例えば、図３に示す図面画像制御部１６）によって実施される。
図５及び図６に示す処理によれば、入力画像に対して記載された基準記号を確実に検出することができる。
なお、図５に示すように、ステップＳ０５は、ステップＳ１１で開始し、ステップＳ１７で終了する。

まず、ステップＳ１２では、図面画像制御部は、図４に示す画像処理方法４００のステップＳ０２で入力画像から読み取られた文字情報の画像上の座標（ピクセル単位等）を取得する。例えば、ここでは、図面画像制御部は、文字情報が存在する領域を画定する範囲の座標を取得してもよい。上述したように、これらの座標情報を認識して、取得する処理は、光学式文字認識手段によって行われてもよい。

次に、ステップＳ１３では、図面画像制御部は、ステップＳ１２で認識された文字情報が存在する範囲における中心座標を計算する。
なお、文字情報の中心座標を計算するステップの詳細については、図６を参照して説明する。

次に、ステップＳ１４では、図面画像制御部は、ステップＳ１２で認識された文字情報
の近傍に位置する基準記号を探索する。例えば、ここでは、図面画像制御部は、ステップＳ１３で計算した文字情報の中心座標から所定の距離以内に基準記号が存在する否かを検出してもよい。また、対象オブジェクトが記載される前の画像である元画像が元画像記録部に記録されている場合には、後述する背景差分手段を用いて入力画像における基準記号を検出し、基準記号の画像上の座標情報を取得してもよい。
なお、基準記号を探索するステップの詳細については、図６を参照して説明する。

次に、ステップＳ１５では、図面画像制御部は、ステップＳ１４で探索された基準記号の画像上の中心座標を算出する。
なお、探索された基準記号の中心座標を算出するステップの詳細については、図６を参照して説明する。

次に、ステップＳ１６では、図面画像制御部は、ステップＳ１４で探索された基準記号について算出された画像上の座標情報を位置管理テーブル（図７参照）に格納する。

図５に示す基準記号を読み取るステップＳ０５は、入力画像における全ての基準記号が認識され、全ての基準記号の画像上の座標情報が位置管理テーブルに記録されるまで、繰り返される。入力画像における全ての基準記号が認識され、全ての基準記号の画像上の座標情報が位置管理テーブルに記録された場合、本処理は、ステップＳ１７で終了する。

図６は、本開示の実施例１に係る画像処理方法における、基準記号を読み取るステップの具体例を示す図である。図６に示す基準記号を読み取るステップの具体例は、図５を参照して説明したステップＳ０５における、文字情報の中心座標を計算するステップＳ１３と、文字情報に近接する基準記号を探索するステップＳ１４と、基準記号の中心座標を計算するステップＳ１５と、を具体的に説明する一例である。
図６には、画像処理の対象として、上述した入力画像２が示される（ここでは、説明の便宜上、入力画像２の背景を省略する）。図６に示すように、入力画像２は、点３４（ｘ１、ｙ１）、点３２（ｘ２、ｙ２）、点３３（ｘ３、ｙ３）、及び点３４（ｘ４、ｙ４）の４つの点によって画定され、上述した基準記号２０１、対象オブジェクト２０２、及び基準記号２０３を含む。

上述したように、図５を参照して説明したステップＳ０５におけるステップＳ１３では、
文字情報の中心座標が計算される。より具体的には、図６に示すように、図面画像制御部は、入力画像において認識された文字情報である数字列６００の左端の数字の左上と、数字列６００の右端の数字の右下を結ぶ直線と、数字列６００の左端の数字の左下と、数字列６００の右端の数字の右上を結ぶ直線と、の交点を中心座標３８とする。これにより、文字情報の中心座標を特定することができる。

また、上述したように、図５を参照して説明したステップＳ０５におけるステップＳ１４では、文字情報に近接する基準記号が探索される。より具体的には、図６に示すように、
図面画像制御部は、ステップＳ１３で特定された文字情報の中心座標３８より、任意の半径内３９に含まれる基準記号を読み取る。この半径の初期設定は、認識された数字列６００を囲む文字ボックスの対角線３７であるが、ユーザの入力等により、任意の値に設定されてもよい。これにより、文字情報に近接する基準記号を検出することができる。

更に、上述したように、図５を参照して説明したステップＳ０５におけるステップＳ１５では、基準記号の中心座標が計算される。より具体的には、図６における部分拡大図６０５に示すように、基準記号の最上端と最下端を結ぶ直線と、基準記号の最も右端と最も左端を結ぶ直線と、の交点を中心座標３１とする。これにより、基準記号の中心座標を特定することができる。

以上説明した図５及び図６に示す処理により、入力画像における基準記号を確実に検出すると共に、当該基準記号の画像上の座標を示す座標情報を取得することができる。ここで検出した基準記号に対応する地理的座標情報と、画像上の座標とに基づいて、ユーザが入力画像に対して記載した対象オブジェクトを、任意の図面において対応する位置に重畳することが可能となる。

次に、図７を参照して、本開示の実施例１に係る位置情報管理テーブルについて説明する。

図７は、本開示の実施例１に係る位置情報管理テーブル２２の一例を示す図である。上述したように、位置情報管理テーブル２２は、入力画像から読み取られた情報や、ユーザにより入力された情報を管理するためのデータベーステーブルである。より具体的には、位置情報管理テーブル２２は、図４を参照して説明した画像処理方法におけるステップＳ０２で取得された基準記号に対応する地理的位置情報（緯度・経度情報）と、ステップＳ０５で取得された基準記号の画像上の座標情報とを記録する。また、図７に記録される情報は、図４を参照して説明した画像処理方法におけるステップＳ０６（例えば、後述する図８に示すステップＳ１８）で用いられる。

図７に示すように、位置情報管理テーブル２２は、整理番号４０、基準記号・目印識別情報４１、緯度４２、経度４３、Ｘ座標４４、及びＹ座標４５から構成される。
整理番号４０は、位置情報管理テーブル２２に記録される情報を整理するために、各列に付与される番号であり、例えば「０００１」から始まる連番であってもよい。
基準記号・目印識別情報４１は、入力画像に対して記載された基準記号の形状や特徴等、基準記号を識別するための情報である。例えば、基準記号が丸の図形で表現される場合、基準記号・目印識別情報４１においては丸の図形が格納されてもよい。
また、以上では、ユーザが入力画像に対して記載した基準記号を用いる場合について説明したが、本開示はこれに限定されず、基準記号の代わりに、入力画像に写る建物、物体、地形等の目印を用いてもよい。例えば、ある実施例では、基準記号・目印識別情報４１は、目印となる建物や地形の画像へのリンクを格納してもよい。
緯度４２及び経度４３は、図４を参照して説明した画像処理方法におけるステップＳ０２で取得された、入力画像における基準記号又は目印に対応する緯度及び経度の情報である。
Ｘ座標４４及びＹ座標４５は、図４を参照して説明した画像処理方法におけるステップＳ０５で取得された、基準記号の画像上の中心座標を示す情報である。

次に、図８及び図９を参照して、本開示の実施例１に係る画像処理方法における、図面を取得するステップについて説明する。

図８は、本開示の実施例１に係る画像処理方法における、図面を取得するステップＳ０６の流れの一例を示す図である。図８に示すステップＳ０６のフローチャートは、上述した図４に示す画像処理方法４００におけるステップＳ０６の詳細を示すものであり、本開示の実施例１に係る画像処理装置の図面画像取得部（例えば、図３に示す図面画像取得部１５）によって実施される。
なお、図８に示すように、図面を取得するステップＳ０６は、ステップＳ１８で開始し、ステップＳ２３で終了する。

まず、ステップＳ１９では、図面画像取得部は、位置情報管理テーブルを参照して、それぞれの基準記号（例えば、図７に示す位置情報管理テーブル２２における基準記号・目印識別情報に格納されている基準記号）の画像上のX座標（図７に示すＸ座標４４）とY座標（図７に示すＹ座標４５）の大小を比較することで、位置情報管理テーブルの列を順番に並び変える。

次に、ステップＳ２０では、図面画像取得部は、図面情報管理装置から取得される図面を
表示する範囲を計算する。また、ここでは、対象オブジェクトを読み取るために、入力画像において対象オブジェクトが探索される範囲と、重畳される図面の範囲を設定するための計算が行われる。
なお、これらの処理の詳細については、図８を参照して説明する。

次に、ステップＳ２１では、図面画像取得部は、図面情報管理装置から取得される図面を
表示する範囲に対応する緯度と経度を計算する。ここでは、図面画像取得部は、位置情報管理テーブルに格納される基準記号の緯度・経度情報に基づいて、図面を表示する範囲に対応する緯度と経度を計算してもよい。

次に、ステップＳ２２では、図面画像取得部は、ステップＳ２１で計算された緯度と経度に対応する図面を取得する。より具体的には、ステップＳ２２では、図面画像取得部は、上述した通信部と、ネットワークとを介して、図面情報管理装置から、ステップＳ２１で計算された緯度と経度に対応する図面（例えば、図２に示す図面４）を取得してもよく、画像処理装置に搭載される図面記録部から、ステップＳ２１で計算された緯度と経度に対応する図面を取得してもよい。

図９は、本開示の実施例１に係る画像処理方法における、図面を取得するステップの具体例を示す図である。

図９には、画像処理の対象となる画像（例えば、図２に示す入力画像２）の全体の範囲６０は、点４８（ｘ１、ｙ１）、点４６（ｘ２、ｙ２）、点４７（ｘ３、ｙ３）、及び点４９（ｘ４、ｙ４）４つの点によって画定される。また、この範囲６０において、上述した位置情報管理テーブルに記録される基準記号は、点５１（ｘ５、ｙ５）及び点５５（ｘ６、ｙ６）に対応する。点５１（ｘ５、ｙ５）及び点５５（ｘ６、ｙ６）の２点を、四角形の４頂点のうちの２頂点とし、図９で示される四角形５４が作図される。この四角形５４は、基準記号に対応する点５１（ｘ５、ｙ５）５１及び点５５（ｘ６、ｙ６）５５によって画定される領域である。

また、図９に示す四角形５３は、図面を表示する範囲である。この四角形５３では、x=x6-x5より横のサイズがxであり、y=y5-y6より縦のサイズがyである。点５１（ｘ５、ｙ５）、点５５（ｘ６、ｙ６）、ｘ、及びｙより、四角形５３の、左上の頂点である点５０、右上の頂点である点５２、左下の頂点である点５６、及び右下の頂点である点５７の座標を計算し、四角形５３と５４の位置とサイズを計算することができる。より具体的には、点５０の座標は、(x5-(x/2)、y5-(y/2))により計算され、点５２の座標は、(x6+(x/2)、y5-(y/2))により計算され、点５６は、(x5-(x/2),y6+(y/2))により計算され、点５７は、(x6+(x/2),y6+(y/2))により計算される。
これにより、四角形５３は、図面を表示する範囲として設定される。なお、ある実施例では、四角形５３の範囲は、ユーザによって適宜に選択されてもよい。

以上、図８及び図９を参照して説明した図面を取得するステップにより、ユーザが入力画像に対して記載した基準記号の地理的位置情報の緯度・経度に対応する図面を取得し、当該図面を表示する範囲を決定することができる。

次に、図１０を参照して、本開示の実施例１に係る画像処理方法における、対象オブジェクト読取処理について説明する。

図１０は、本開示の実施例１に係る画像処理方法における、対象オブジェクトを読み取るステップＳ０７の流れの一例を示すフローチャートである。図１０に示す対象オブジェクトを読み取るステップＳ０７のフローチャートは、上述した図４に示す画像処理方法４００におけるステップＳ０７の詳細を示すものであり、本開示の実施例１に係る画像処理装置のオブジェクト読取部（例えば、図３に示すオブジェクト読取部１７）によって実施される。
なお、図１０に示すように、対象オブジェクトを読み取るステップＳ０７は、ステップＳ２４で開始し、ステップＳ３１で終了する。

まず、ステップＳ２５では、オブジェクト読取部は、ユーザが入力画像に対して記載した基準記号の画像上の座標によって画定される範囲（例えば、上述した図９における四角形５４）を、以下説明する、対象オブジェクトを読み取るステップＳ０７の処理の対象となる対象領域として設定する。

次に、ステップＳ２６では、オブジェクト読取部は、ステップＳ２５で設定した対象領域に対して、既存の物体認識プログラム（例えば、図３に示す物体認識プログラム２５）を実行し、背景物体を判定する。ここでの背景物体とは、入力画像に写っており、ユーザが記載した手書きの対象オブジェクト以外の背景物体を意味する。
背景物体が認識される場合には、本処理はステップＳ２７へ進み、背景物体が認識されない場合には、本処理はステップＳ２９へ進む。

ステップＳ２７では、オブジェクト読取部は、ステップＳ２５で設定した対象領域において、ステップＳ２６で認識した背景物体以外のオブジェクトが存在するか否かを判定する。ステップＳ２６で認識した背景物体以外のオブジェクトが存在すると判定された場合、本処理はステップＳ２８へ進み、ステップＳ２６で認識した背景物体以外のオブジェクトが存在しないと判定された場合、本処理はステップＳ３１へ進み、修了する。

ステップＳ２８では、オブジェクト読取部は、ステップＳ２５で設定した対象領域から、背景物体以外のオブジェクトが認識されていない領域を除く。言い換えれば、オブジェクト読取部は、背景物体のみが認識されている領域をステップＳ２５で設定した対象領域から除外する。このように、背景物体以外のオブジェクトが認識されていない領域を後述するステップＳ２９の対象オブジェクト探索範囲から除外することで、対象オブジェクトをより効率よく判定することができる。

ステップＳ２９では、オブジェクト読取部は、ステップＳ２５で設定した対象領域、又は、Ｓ２７で背景物体以外のオブジェクトが認識されていない領域を除外した対象領域に対して、ユーザが記載した手書きの対象オブジェクトを探索する。ここでは、オブジェクト読取部は、所定のオブジェクト読取プログラム（例えば、図３に示すオブジェクト読取プログラム２４）を用いることにより、非線形に繋がる領域の存在の有無を判定することで対象オブジェクトを認識してもよい。
対象オブジェクトが認識される場合には、本処理はステップＳ３０へ進み、対象オブジェクトが認識されない場合には、本処理はステップＳ３１へ進み、修了する。

次に、ステップＳ３０では、オブジェクト読取部は、ステップＳ２９で認識された対象オブジェクトをコピーする。ここでコピーされた対象オブジェクトは、上述したように、
処理画像３を作成する際や、図４に示す画像処理方法４００におけるステップＳ０８で対象オブジェクトを取得された図面に重畳する際等に用いられる。

以上説明した、対象オブジェクトを読み取るステップＳ０７により、ユーザが入力画像に対して記載した対象オブジェクトを確実に読み取ることができる。

次に、図１１を参照して、本開示の実施例１に係る画像処理方法における、対象オブジェクトを読み取るステップの別の一例について説明する。

図１１は、本開示の実施例１に係る画像処理方法における、対象オブジェクトを読み取るステップＳ０７ｂの流れの一例を示すフローチャートである。図１１に示す対象オブジェクトを読み取るステップＳ０７ｂのフローチャートは、上述した図１０に示す対象オブジェクトを読み取るステップＳ０７とは別の対象オブジェクト読取処理の一例を示すが、図１０に示す対象オブジェクトを読み取るステップＳ０７と同様に、上述した図４に示す画像処理方法４００におけるステップＳ０７に対応し、本開示の実施例１に係る画像処理装置のオブジェクト読取部（例えば、図３に示すオブジェクト読取部１７）によって実施される。
なお、図１１に示すように、対象オブジェクトを読み取るステップＳ０７ｂは、ステップＳ２４ｂで開始し、ステップＳ３４ｂで終了する。

図１１に示す対象オブジェクトを読み取るステップＳ０７ｂでは、対象オブジェクトや基準記号等が記載される前の画像である元画像と、対象オブジェクトや基準記号等が記載された後の画像である入力画像とを比較することで、元画像と入力画像との差分から対象オブジェクトが判定される。
従って、図１１に示す対象オブジェクトを読み取るステップＳ０７ｂは、元画像が、対象オブジェクトや基準記号等が記載される前に保存されたことを前提としている。例えば、元画像は、対象オブジェクトや基準記号等が記載される前に、複合機によってコピーしたり、スキャンしたりすることで保存してもよい。

まず、ステップＳ２５ｂでは、オブジェクト読取部は、ユーザが入力画像に対して記載した基準記号の画像上の座標によって画定される範囲（例えば、上述した図９における四角形５４）を、以下説明する対象オブジェクトを読み取るステップＳ０７ｂの処理の対象となる対象領域として設定する。

次に、ステップＳ３２ｂでは、オブジェクト読取部は、対象オブジェクトや基準記号等が記載される前の画像である元画像と、対象オブジェクトや基準記号等が記載された後の画像である入力画像とを比較することで、元画像と入力画像との差分を抽出する。ここでは、オブジェクト読取部は、元画像と入力画像との差分を抽出するためには、既存の画像差分抽出手段を用いてもよい。
ステップＳ３２ｂで抽出できる差分があった場合には、本処理はステップＳ３３ｂへ進み、ステップＳ３２ｂで抽出できる差分がなかった場合には、本処理はステップＳ３４ｂへ進み、修了する。

次に、ステップＳ３３ｂでは、オブジェクト読取部は、ステップＳ３２ｂで抽出した差分を対象オブジェクトとして認識し、コピーする。ここでコピーされた対象オブジェクトは、上述したように、処理画像３を作成する際や、図４に示す画像処理方法４００におけるステップＳ０８で対象オブジェクトを取得された図面に重畳する際等に用いられる。

以上説明した対象オブジェクトを読み取るステップＳ０７ｂによれば、対象オブジェクトや基準記号等が記載される前の画像である元画像が予め保存された場合には、元画像と入力画像との差分を抽出することで、対象オブジェクトをより正確に読み取ることができる。

次に、図１２を参照して、本開示の実施例１に係る画像処理方法における、オブジェクト重畳図面を出力するステップについて説明する。

図１２は、本開示の実施例１に係る画像処理方法における、オブジェクト重畳図面を出力するステップＳ０９の流れの一例を示すフローチャートである。図１２に示すオブジェクト重畳図面を出力するステップＳ０９のフローチャートは、上述した図４に示す画像処理方法４００におけるステップＳ０９の詳細を示すものであり、本開示の実施例１に係る画像処理装置の出力制御部（例えば、図３に示す出力制御部１９）によって実施される。
なお、図１２に示すように、オブジェクト重畳図面を出力するステップＳ０９は、ステップＳ３５で開始し、ステップＳ３９で終了する。

まず、ステップＳ３６では、出力制御部は、上述した処理画像と図面（例えば、図３に示す処理画像３と図面４）との縮尺を調整し、互いに整合させる。より具体的には、出力制御部は、位置情報管理テーブルに記録される基準記号の地理的位置情報を示す緯度・経度情報に基づいて、出力部１１における出力サイズに応じて図面の範囲を調整する。
一例として、上述した図９で示すよう、四角形５４がＢ５サイズに相当するが、ユーザが印刷物のサイズとしてＡ３を希望する場合、出力制御部は、マージンである四角形５３を出力サイズに合わせて単純に引き延ばすことで拡大するのではなく、四角形５３の範囲を大きくすることで、より広範囲の図面を出力する。

次に、ステップＳ３７では、出力制御部は、処理画像（例えば、図２に示す処理画像３）を図面（例えば、図２に示す図面４）に重畳し、オブジェクト重畳図面（例えば、図２に示すオブジェクト重畳図面５）を作成する。この際、処理画像や図面の色や透過率を調整してもよく、あるいは、処理画像における対象オブジェクト（例えば、図２に示す処理画像３の対象オブジェクト３０２）のみが表示されるように重畳してもよい。

次に、ステップＳ３８では、出力制御部は、ステップＳ３７で作成されたオブジェクト重畳図面を出力する。ここでは、出力制御部は、オブジェクト重畳図面を外部の表示部（例えば、図３に示す表示部９）に表示してもよく、オブジェクト重畳図面を印刷してもよい。

次に、図１３を参照して、本開示の実施例２に係る画像上のオブジェクトを図面に重畳する一例について説明する。

図１３は、本開示の実施例２に係る画像上のオブジェクトを図面に重畳する一例を示す図である。図１３に示す実施例２では、対象オブジェクトを重畳する対象物が大きく、対象オブジェクトをそのまま図面に重畳すると対象オブジェクトの存在位置における誤差が大きい場合の処理の一例を示す。

図１３に示す実施例２は、上述した実施例１と比較して、図４に示す画像処理方法４００における文字を読み取るステップＳ０２と、対象オブジェクトを読み取るステップＳ０６と、対象オブジェクトを図面に重畳するステップＳ０８とにおいて部分的に異なる。
より具体的には、文字を読み取るステップＳ０２において、図１３に示す第１の入力画像１３１０を入力部によって入力した後に、第１の入力画像１３１０で示されるように対象オブジェクト５７０１がビルの屋上等の高所に存在する場合、ユーザが、予め第１の入力画像１３１０にグランド情報（地盤面を示す情報）を示す別の基準記号５８０２（「グランド基準記号」ともいう）を記載してもよい。これにより、グランド情報を示す基準記号５８０２が記載されている第２の入力画像１３１２が得られる。
なお、この基準記号５８０２と、上述した基準記号２０１、２０３とを区別するために、基準記号５８０２は、図２に示す基準記号２０１、２０３とは異なる形状として予め設定しておくことが望ましい。あるいは、文字情報を読み取るステップＳ０２の前に、グランドモードか通常モードかを選択するステップを追加する構成も考えられる。
また、物体認識プログラム２５を使用し、道路、または自動車が認識された位置をグランドとし、基準記号５８０２を記載してもよい。

上述したように作図された第２の入力画像１３１２を用いて、図４に示す画像処理方法４００におけるステップＳ０２以降を進める。対象オブジェクトを読み取るステップＳ０６において、対象オブジェクト探索範囲である、図６に示す四角形５４の範囲の外に対象オブジェクトが存在する場合には、探索範囲を四角形５４の上側の範囲も含めてもよい。このようにして、対象オブジェクト５９０１とグランド情報を示す基準記号５９０２が読み取られ、処理画像１３１４が作成される。

対象オブジェクトを図面に重畳するステップＳ０８において、対象オブジェクト５９０１が基準記号５９０２の上方に存在する場合には、下方の基準記号５９０２の画像上の位置に、上方の対象オブジェクト５９０１を配置し、下方の基準記号５９０２を削除する。これら以外の他の処理は実施例１と実質的に同様であるため、ここでの説明を省略する。
一例として、処理画像１３１４における基準記号５９０２が削除され、対象オブジェクト５９０１が基準記号５９０２の画像上の位置に配置された後、対象オブジェクト５９０１が図面１３１６に頂上されると、オブジェクト重畳図面１３１８が作成される。このように、対象オブジェクト６１０１は第１の入力画像１３１０に対して記載された対象オブジェクト５７０１に対応することとなる。

以上説明した実施例２によれば、対象オブジェクトを重畳する対象物が大きく、対象オブジェクトをそのまま図面に重畳すると対象オブジェクトの存在位置における誤差が大きい場合に、入力画像の地盤面を示すグランド基準記号に基づいて対象オブジェクト配置することにより、対象オブジェクトをより高精度に図面に重畳することが可能となる。

なお、本開示は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本開示を分かりやすく説明する為に詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置換することも可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、各構成を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

１ 元画像
２ 入力画像
３ 処理画像
４ 図面
５ オブジェクト重畳図面
６ ネットワーク
７ 図面情報管理装置
８ 通信部
９ 表示部
１０ 入力部
１１ 出力部
１２ 制御部
１３ 中央制御部
１４ 文字読取部
１５ 図面画像取得部
１６ 図面画像制御部
１７ オブジェクト読取部
１８ 図面オブジェクト制御部
１９ 出力制御部
２０ 位置情報取得部
２１ 記憶部
２２ 位置情報管理テーブル
２３ 文字認識プログラム
２４ オブジェクト読取プログラム
２５ 物体認識プログラム
２６ 図面記録部
２７ オブジェクト記録部
２８ 重畳画像記録部
２９ 元画像記録部
３０ 画像処理システム
３５ 画像処理装置

Claims (10)

1. 所定の対象オブジェクトが記載されている入力画像に対する画像処理を施し、前記対象オブジェクトを読み取るオブジェクト読取部と、
   前記入力画像における所定の箇所の地理的位置を示す基準位置情報を格納する位置情報管理テーブルと、
   前記入力画像における前記所定の箇所の前記基準位置情報に対応する図面を取得する図面画像取得部と、
   前記入力画像における前記所定の箇所の前記基準位置情報に基づいて、前記対象オブジェクトの地理的位置を示すオブジェクト位置情報を判定する図面オブジェクト制御部と、
   取得した前記図面において、前記対象オブジェクトの前記オブジェクト位置情報に対応する位置に、前記対象オブジェクトを図面用オブジェクトとして重畳する出力制御部と、
   前記図面用オブジェクトが重畳された前記図面をオブジェクト重畳図面として出力する出力部と、
   を含むことを特徴とする画像処理装置。
2. 前記画像処理装置は、
   前記対象オブジェクトが記載される前の画像である元画像を保存する元画像記録部を更に含み、
   前記オブジェクト読取部は、
   前記元画像と、前記対象オブジェクトが記載された前記入力画像とを比較することで、前記対象オブジェクトを読み取る、
   ことを特徴とする、請求項１に記載の画像処理装置。
3. 前記位置情報管理テーブルは、
   少なくとも２つの前記所定の箇所の前記基準位置情報を格納し、
   前記図面オブジェクト制御部は、
   前記少なくとも２つの前記所定の箇所の前記基準位置情報と、前記対象オブジェクトの前記入力画像上の位置との相対位置関係に基づいて、前記対象オブジェクトの前記オブジェクト位置情報を判定する、
   ことを特徴とする、請求項１に記載の画像処理装置。
4. 前記入力画像において、
   前記入力画像における前記所定の箇所は、前記入力画像に対して記載された基準記号であり、
   前記基準記号の地理的位置を示す前記基準位置情報を示す文字情報が記載されており、
   前記画像処理装置は、
   前記入力画像における文字情報を検出する文字読取部を更に含み、
   前記位置情報管理テーブルは、
   前記文字読取部によって検出された前記文字情報の前記入力画像上の位置に基づいて探索された前記基準記号の前記入力画像上の位置を示す座標情報と、前記基準位置情報とを対応付けて記録する、
   ことを特徴とする、請求項１に記載の画像処理装置。
5. 前記画像処理装置は、
   図面画像制御部を更に含み、
   前記図面画像制御部は、
   前記文字読取部によって検出された前記文字情報の中心座標を計算し、
   計算された前記文字情報の前記中心座標から所定の距離内に存在する基準記号を探索し、
   前記所定の距離内に存在する基準記号を探索した場合、
   探索した前記基準記号の中心座標を計算し、計算した前記基準記号の中心座標を前記座標情報として前記位置情報管理テーブルに格納する、
   ことを特徴とする、請求項４に記載の画像処理装置。
6. 前記文字読取部は、
   前記入力画像において前記文字情報を検出しなかった場合、読取エラーと判定し、
   前記入力画像の再読み込み、処理の終了、及び前記位置情報管理テーブルに基づいた修正のいずれか一方を実行する、
   ことを特徴とする、請求項４に記載の画像処理装置。
7. 前記入力画像において、地盤面を示すグランド基準記号が前記入力画像に記載されており、
   前記図面オブジェクト制御部は、
   前記所定の箇所の前記基準位置情報と前記グランド基準記号の画像上の位置とに基づいて、前記図面において、前記対象オブジェクトを前記図面用オブジェクトとして重畳する、
   ことを特徴とする、請求項１に記載の画像処理装置。
8. 所定の対象オブジェクトが記載されている入力画像に対する画像処理手法を施し、前記対象オブジェクトを読み取る工程と、
   前記入力画像における所定の箇所の地理的位置を示す基準位置情報を位置情報管理テーブルに格納する工程と、
   前記入力画像における前記所定の箇所の前記基準位置情報に対応する図面を取得する工程と、
   前記入力画像における前記所定の箇所の前記基準位置情報に基づいて、前記対象オブジェクトの地理的位置を示すオブジェクト位置情報を判定する工程と、
   取得した前記図面において、前記対象オブジェクトの前記オブジェクト位置情報に対応する位置に、前記対象オブジェクトを図面用オブジェクトとして重畳する工程と、
   前記図面用オブジェクトが重畳された前記図面をオブジェクト重畳図面として出力する工程と、
   を含むことを特徴とする画像処理方法。
9. クライアント端末と、図面情報管理装置と、画像処理装置とが通信ネットワークを介して接続されている画像処理システムであって、
   前記画像処理装置は、
   所定の対象オブジェクトが記載されている入力画像を前記クライアント端末から受信する入力部と、
   前記入力画像に対する画像処理手法を施し、前記対象オブジェクトを読み取るオブジェクト読取部と、
   前記入力画像における所定の箇所の地理的位置を示す基準位置情報を少なくとも格納する位置情報管理テーブルと、
   前記入力画像における前記所定の箇所の前記基準位置情報に対応する図面を前記図面情報管理装置から取得する図面画像取得部と、
   前記入力画像における前記所定の箇所の前記基準位置情報に基づいて、前記対象オブジェクトの地理的位置を示すオブジェクト位置情報を判定する図面オブジェクト制御部と、
   取得した前記図面において、前記対象オブジェクトの前記オブジェクト位置情報に対応する位置に、前記対象オブジェクトを図面用オブジェクトとして重畳する出力制御部と、
   前記図面用オブジェクトが重畳された前記図面をオブジェクト重畳図面として前記クライアント端末に出力する出力部と、
   を含むことを特徴とする画像処理システム。
10. 前記画像処理装置は、
    前記対象オブジェクトが記載される前の画像である元画像を保存する元画像記録部を更に含み、
    前記オブジェクト読取部は、
    前記元画像と、前記対象オブジェクトが記載された前記入力画像とを比較することで、前記対象オブジェクトを読み取る、
    ことを特徴とする、請求項９に記載の画像処理システム。

Images