JP2021022828A - 装置、制御方法、及びプログラム - Google Patents

Abstract

【課題】 ユーザが容易に適切な撮影を行えるように支援することが可能となる技術を提供する。【解決手段】 モバイル端末１００のタッチパネル１０１を介して表示されたテンプレート選択画面４００に表示されたテンプレートを選択することによって使用するテンプレートを決定すると、縮小されたテンプレート画像が隅に表示され、モバイル端末１００に搭載されたカメラで撮影を開始すると、撮影しようとしている範囲が薄い灰色の矩形でテンプレート画像上に表示され、一方、撮影を行うと、その撮影箇所が濃い灰色の矩形でテンプレート画像上に表示される。【選択図】 図３

Description

本発明は、装置による撮影方法に関する。

近年、帳票などの文書に含まれる文字等の情報を取得する際に、スキャナ装置を用いて読み取ることによって文字等の情報を取得せずに、スマートフォンやタブレットのようなモバイル端末を利用し、搭載されているカメラで撮影を行うことが増えてきている。

しかしながら、ほとんどの場合、モバイル端末のカメラの解像度はスキャナと比べると低いため、A3サイズのような大型の文書全体を対象に１回の撮影により文字認識処理を行おうとすると、認識精度が低減してしまうことから、文書のそれぞれのパーツを複数回に分けて撮影を行って文字認識処理を行う必要がある。

そこで、モバイル端末を動かして紙全体を撮影する際に、画面にすべて撮影したかどうかが分かるようにガイドを表示することで、撮影者にかかる負担を軽減する技術について開示されている（例えば、特許文献１参照）。

特開２０１８−１２１２３３号公報

しかしながら、特許文献１に記載の発明では、あらかじめ定めた回数に分けて撮影を行っていることから、撮影を行った後に画像を結合する場合、ある撮影画像のどの箇所が別の撮影画像のどの箇所と結合するかを判断しなくてはならないため、ユーザの撮影操作により、のりしろになる部分も余分に撮影する必要しなければならない。

そこで、本発明は、ユーザが容易に適切な撮影を行えるように支援することが可能な仕組みを提供することを目的とする。

上記目的を達成するための本発明は、撮影対象を撮影する装置であって、前記撮影対象の基準画像を取得する取得手段と、前記撮影対象の撮影に基づいて、前記取得手段により取得した基準画像に対して撮影範囲を表示する表示手段と、を備えたことを特徴とする。

本発明によれば、ユーザが容易に適切な撮影を行えるように支援することが可能となる。

モバイル端末の外観を示す図である。 モバイル端末のハードウェアの概略構成を示す構成図である。 分割撮影する処理を示すフローチャートである。 テンプレート選択画面の構成を示す構成図である。 テンプレート画像を縮小して表示する例を示す図である。 プレビュー画面の構成を示す構成図である。 カメラの移動に併せて撮影範囲も移動することを示す図である。 カメラの移動に併せて撮影範囲も移動することを示す図である。 プレビュー画面に対して拡縮率を表示することを示す図である。 拡縮率が変化して表示されることを示す図である。 プレビュー画面に対して撮影進捗率を表示することを示す図である。 撮影進捗率が変化して表示されることを示す図である。 撮影済み範囲と撮影範囲とを識別して表示することを示す図である。 撮影済み範囲と撮影範囲とを識別して表示することを示す図である。 撮影された画像を結合することを示す図である。 テンプレート画像ＤＢの構成を示す構成図である。 撮影済み箇所ＤＢの構成を示す構成図である。 認証対象画像ＤＢの構成を示す構成図である。

以下、図面を参照して、本発明の実施形態を詳細に説明する。

図１には、モバイル端末１００の外観の一例が示されており、図１（ａ）は、モバイル端末１００の一方の面を示しており、モバイル端末１００は、タッチパネル１０１を備えている。

タッチパネル１０１は、画像情報などを表示するとともに、何らかの入力手段によって触れられることにより、触れられた位置の情報を感知して情報信号として出力する２つの機能を備えている。

図１（ｂ）は、モバイル端末１００のもう一方の面を示しており、モバイル端末１００は、撮影対象となる被写体を撮影して画像を得るための撮影用レンズ１０２を備えている。

尚、本発明の実施形態では、モバイル端末１００について説明を行うが、このような端末に限らず、撮影機能を備えた情報を処理する装置であればどのような装置であっても良い。

次に、図２は、モバイル端末１００のハードウェアの概略の構成を示す構成図である。

モバイル端末１００は、マイク２０１、音声処理部２０２、データ変換部２０３、ＣＰＵ２０４、記憶部２０５、送受信部２０６、表示出力部２０７、キー操作部２０８、アンテナ２０９、スピーカ２１０、及びセンサー２１１を含んで構成される。

ユーザが所持しているモバイル端末１００を用いて、相手方が所持しているモバイル端末１００へ音声を送信する経路としては、ユーザによって言葉等の発せられた音声をマイク２０１から取得して、音声処理部２０２にて音声を音声信号として変換した後、音声処理部２０２は、音声信号をデータ変換部２０３へ出力する。

データ変換部２０３は、入力された音声信号を音声データへ変換して、ＣＰＵ２０４へ出力する。

ＣＰＵ２０４は、入力された音声データを送受信部２０６へ出力する。そして、送受信部２０６は、入力された音声データを音声信号に変換後、アンテナ２０９へ出力することで、相手方が所持しているモバイル端末１００との通話が行われる。

一方、相手方が所持しているモバイル端末１００から、ユーザが所持しているモバイル端末１００において音声を受信する経路としては、アンテナ２０９が、相手方が所持しているモバイル端末１００から送信された音声信号を受信し、受信した音声信号を送受信部２０６へ出力する。

送受信部２０６は、入力された音声信号を音声データへ変換して、ＣＰＵ２０４へ出力し、ＣＰＵ２０４は、音声データをデータ変換部２０３へ出力し、データ変換部２０３は、入力された音声データを音声信号に変換する。

そして、データ変換部２０３は、音声信号を音声処理部２０２に出力し、音声処理部２０２は、入力された音声信号をスピーカ２１０へ出力し、スピーカ２１０は、入力された音声信号を出力することで、相手方のモバイル端末１００からの音声を受け取ることが可能となる。

表示出力部２０７は、ＣＰＵ２０４が記憶部２０５に記憶されたプログラムを実行する結果として表示出力する機能を備えている。

この表示出力部２０７に表示出力された画面等に対して、キー操作部２０８を介して入力がなされると行われると、ＣＰＵ２０４は、キー操作の内容に応じて（例えば、その画面等に対する位置等を検知して）、該当するプログラムを実行する。尚、キー操作部２０８としては、ソフトウェアキーボード等が例としてあげられる。

２１２は受信機コントローラで、ＧＰＳ受信機２１３の入力を制御する。ＧＰＳ受信機２１３は、ＧＰＳアンテナを介して、複数のＧＰＳ衛星から受信する電波に基づいて、現在位置の緯度、経度、及び高度等の位置情報と現在時刻とを定期的に算出する。

カメラ部２１４は、撮影対象を撮影することにより得られた画像データを取得し、記憶部２０５へ記憶する。

次に、図３に示すフローチャートを用いて、本発明の実施形態における分割撮影処理について説明する。

図３に示すフローチャートは、モバイル端末１００のＣＰＵが所定の制御プログラムを読み出して実行する処理であり、分割撮影する処理を示すフローチャートである。

尚、本発明の実施形態では、撮影対象として帳票を対象に説明を行うが、帳票のような紙媒体に限らず、写真のような媒体であっても良いし、電子帳票のようなデータであっても良い。

ステップＳ３００では、テンプレート画像ＤＢ（図１６）にアクセスし、タッチパネル１０１を介して、テンプレート選択画面４００（図４参照）に登録済みのテンプレートを一覧表示し、ユーザによって選択されたテンプレートを特定する。

図１６は、ＯＣＲ処理を行うためのテンプレートとなる画像（以下、テンプレート画像）の情報を管理するテンプレート画像ＤＢの構成が示されており、テンプレート画像ＤＢは、ＩＤ、画像データ、画像解像度、及びｄｐｉを含んで構成されている。

ＩＤは、テンプレート画像を一意に特定するための項目であり、連番で整数が登録される。

画像データは、テンプレート画像のデータを格納するための項目であり、画像情報が登録され、画像解像度は、テンプレート画像の解像度情報を格納するための項目であり、Ｗ(幅)、Ｈ(高さ)が登録される。

ｄｐｉは、テンプレート画像がスキャナ等でスキャンされた場合に、ｄｐｉの設定値を格納するための項目であり、整数が登録される。スキャナ等でスキャンされずに登録され、ｄｐｉの情報がない場合は何も登録されない。

図４は、テンプレート画像を選択するためのテンプレート選択画面４００の構成が示されており、テンプレート選択画面４００は、登録済みのテンプレート画像４０１を一覧表示するものである。

図４では、テンプレート画像が一覧表示されている例を示しており、テンプレート画像ＤＢへ登録済みのテンプレートが２種類の場合、２種類のテンプレート画像４０１が表示される。

尚、テンプレート画像の選定方法としては、このような態様にとどまることなく、他の既知の手法を用いても良い。

例えば、撮影対象を撮影することにより得られた画像とテンプレート画像との画像マッチングにより特定する手法や、撮影画像やテンプレート画像をニューラルネットワークによって学習することにより得られた学習モデルから、撮影対象に対するテンプレート画像を推測するような手法、撮影画像そのものをテンプレート画像とする手法等を用いても良い。

ステップＳ３０１では、ステップＳ３００において選択されたテンプレート画像を隅に縮小して表示する。

図５には、テンプレート画像を縮小して表示する例を示しており、タッチパネル１０１の隅に選択されたテンプレート画像５００が縮小されて表示される。

ステップＳ３０２では、撮影済み箇所ＤＢ（図１７）にアクセスし、座標と画像解像度と拡縮率の情報から撮影済み範囲を取得する。

図１７には、撮影することにより得られた画像（以下、撮影画像）に関する情報を管理する撮影済み箇所ＤＢの構成が示されており、撮影済み箇所ＤＢは、ＩＤ、画像データ、画像解像度、座標情報、マッチングの拡縮率、撮影日時、及びテンプレート画像ＩＤを含んで構成されている。

ＩＤは、撮影画像を一意に特定するための項目であり、連番で整数が登録され、画像データは、撮影画像のデータを格納するための項目であり、画像情報が登録される。

画像解像度は、撮影画像の解像度情報を格納するための項目であり、Ｗ(幅)、Ｈ(高さ)が登録される。

座標情報は、撮影画像がテンプレート画像のどこにあてはまるかを示すための項目であり、テンプレート画像の左上角を原点にＸ座標、Ｙ座標が登録される。

マッチングの拡縮率は、撮影画像とテンプレート画像とマッチングする際に、１ｐｘで表現される帳票の範囲が撮影画像とテンプレート画像とで異なる場合、撮影画像が拡大か縮小される。その際の拡縮率を示すものであり、小数で示される数値が登録される。

撮影日時は、撮影画像がいつ撮影されたかを格納するための項目であり、日時(年月日と時間分秒)が登録される。

テンプレート画像ＩＤは、撮影画像に対応するテンプレート画像のＩＤを格納するための項目であり、整数が登録される。

本ステップでは、撮影済み範囲を取得することで、隅に表示されているテンプレート画像に対して、取得した撮影済み範囲を塗りつぶすことで、撮影済み範囲を表現する。

さらに、テンプレート画像の解像度と撮影済み範囲を利用して撮影進捗率を計算しておく。

ステップＳ３０３では、モバイル端末１００に搭載されたカメラにより撮影することにより得られた画像を取得し、プレビュー画面６００（図６参照）に表示する。

図６に示すように、タッチパネル１０１の隅にテンプレート画像が上になるよう、撮影中の帳票のプレビューが表示される。

ステップＳ３０４では、撮影画像がテンプレート画像（撮影対象に対する基準画像）のどの箇所に位置するかを計算する。本処理は特徴点マッチング等を利用してテンプレート画像を基準にした相対座標とマッチングの拡縮率を求める。尚、このような手法にとどまらず、既知の手法を用いて、撮影画像がテンプレート画像のどの箇所に位置するかを計算しても良いことは言うまでもない。

ステップＳ３０５では、ステップＳ３０４で求めた相対座標と画像解像度、マッチングの拡縮率の情報から撮影範囲を取得する。

そして、隅に表示されたテンプレート画像に対して取得した範囲を薄い色で塗りつぶすことで、撮影範囲を表現する。

この表現例として、図６に示すように、隅に表示されたテンプレート画像に半透明の灰色矩形６０１が表示されることで、撮影範囲が表現される。

このとき、図７に示すように、カメラを右方向に移動させた場合は、撮影範囲も併せて移動し（灰色矩形７００）、図８に示すように、カメラを帳票から遠ざけた場合は、撮影範囲も併せて変化することになる（灰色矩形８００）。

ステップＳ３０６では、マッチングの拡縮率をプレビュー画面の隅に表示する。図９には、マッチングの拡縮率をプレビュー画面の隅に表示する例を示しており、プレビュー画面に対して拡縮率９００を表示する。

尚、図１０に示すように、カメラを帳票から遠ざけた場合は、マッチングの拡縮率が変化する。拡縮率９００では、１．０倍であったものが、拡縮率１０００に示されるように４．０倍へ変化する。

ステップＳ３０７では、撮影進捗率をプレビュー画面の隅に表示する。図１１に示すように、プレビュー画面に撮影進捗率１１００が表示される。

尚、図１２に示すように撮影が行われると、その直後に撮影進捗率が変化する。撮影進捗率１１００では、０％であったものが、撮影進捗率１２００に示されるように、５％へ変化する。

また、この撮影進捗率はボタンになっており、これを押すことで未撮影の範囲を点滅表示等により識別表示させ、未撮影の範囲を表現する。

ステップＳ３０８では、モバイル端末１００に搭載されたカメラによって撮影が行われたか否かを判定し、撮影が行われたと判定した場合は、ステップＳ３０９へ処理を進め、撮影が行われたと判定しない場合は、ステップＳ３０３に処理を進める。

ステップＳ３０９では、撮影済み画像ＤＢにアクセスし、カメラによって撮影することにより得られた撮影画像を取得して、当該撮影画像に関する情報を撮影済み画像ＤＢに追加する。

尚、１００枚目の撮影が行われた直後は、図１７に示すように、１００個分の撮影画像に関するデータが登録されていることになる。

ステップＳ３１０では、撮影済み画像ＤＢにアクセスし、テンプレート画像の解像度と撮影済み範囲を利用して撮影がどこまで完了しているかを示す撮影進捗率を計算する。

撮影進捗率が１００％の場合は、被写体の全体を撮影済みであると判定して、ステップＳ３１１へ処理を進め、１００％未満の場合は、ステップＳ３０２へ処理を進める。

撮影進捗率が１００％未満で、次の撮影を行うためにカメラを移動させた場合、図１３や図１４ようにプレビュー画面の隅に表示されたテンプレート画像に、撮影済み範囲を濃い灰色の矩形（１３００、１４００）で、未撮影である現時点の撮影範囲を薄い灰色の矩形（１３００、１４０１）で表示されることになる。

ステップＳ３１１では、撮影済み箇所ＤＢにアクセスし、座標と画像解像度、拡縮率の情報を取得する。

撮影日時が早い撮影画像から順に当てはめを行い、一枚の画像に結合する。その後、認識対象画像ＤＢにアクセスし、結合後の画像データを追加する。

図１８には、撮影済み画像を結合してできる認識対象画像を管理する認識対象画像ＤＢの構成が示されており、認識対象画像ＤＢは、ＩＤ、画像データ、画像解像度、及びテンプレート画像の項目を含んで構成されている。

ＩＤは、認識対象画像を一意に特定するための項目であり、連番で整数が登録される。

画像データは、認識対象画像のデータを格納するための項目であり、画像情報が登録される。

画像解像度は、認識対象画像の解像度情報を格納するための項目であり、Ｗ（幅）、Ｈ（高さ）が登録される。

テンプレート画像ＩＤは、認識対象画像に対応するテンプレート画像のＩＤを格納するための項目であり、整数が登録される。

図１７に示す撮影済み箇所ＤＢには、例えば、撮影が１００枚行われて撮影画像の情報が登録されており、１００枚目の撮影でちょうど進捗率が１００％になった場合に結合が行われる。

図１５（ａ）に示すように分割して撮影された画像データを次々に結合して、図１５（ｂ）に示すように結合後の画像を作成し、結合された画像に関する情報は認識対象画像（ＩＤが３のレコード）として追加されることになる。

尚、本発明の実施形態では、プレビュー画面を表示してライブビュー画像のような画像を表示しながら、ユーザの撮影を支援しているが、ライブビュー画像を表示することなく、テンプレート画像を表示しておき、当該テンプレート画像に対して撮影範囲、あるいは撮影済み範囲を表示するのみの態様をとっても良い。

また、テンプレート画像に対して撮影順序を表示する態様をとることも可能であり、未撮影の領域に対して、撮影範囲の大きさで分割を行って撮影順序を促しても良い（例えば、テンプレート画像の左上端から右上端へ、右上端から右下端、右下端から左下端へ進む手順で撮影させるように順序を決めて表示しても良い）。

さらに、モバイル端末１００がテンプレート画像を保管しているが、モバイル端末１００を通信可能な外部装置にテンプレート画像を保管する態様をとることも可能である。

この場合、モバイル端末１００は、外部装置からテンプレート画像に関する情報を取得してテンプレート選択画面４００へ表示しても良いし、モバイル端末１００で撮影した撮影対象の画像を外部装置へ送信し、外部装置は、撮影画像に対応するテンプレート画像を取得して、モバイル端末１００へ送信しても良い。

以上、本発明によれば、ユーザが容易に適切な撮影を行えるように支援することが可能となる。

以上、実施形態について示したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、本発明におけるプログラムは、図３に示すフローチャートの処理方法をコンピュータが実行可能なプログラムであり、本発明の記憶媒体は図３の処理方法をコンピュータが実行可能なプログラムが記憶されている。なお、本発明におけるプログラムは図３の各装置の処理方法ごとのプログラムであってもよい。

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適用できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

１００ モバイル端末
１０１ タッチパネル
１０２ 撮影用レンズ

Claims (8)

1. 撮影対象を撮影する装置であって、
   前記撮影対象の基準画像を取得する取得手段と、
   前記撮影対象の撮影に基づいて、前記取得手段により取得した基準画像に対して撮影範囲を表示する表示手段と、
   を備えたことを特徴とする装置。
2. 前記撮影範囲は、撮影した範囲であることを特徴とする請求項１に記載の装置。
3. 前記撮影範囲は、撮影しようとしている範囲であることを特徴とする請求項１または２に記載の装置。
4. 前記表示手段は、前記撮影しようとする範囲と前記撮影した範囲とを識別して表示することを特徴とする請求項２または３に記載の装置。
5. 前記表示手段は、前記撮影した範囲と前記基準画像とを用いて、前記撮影対象の範囲に対する撮影した範囲に係る情報を表示することを特徴とする請求項２乃至４の何れか１項に記載の装置。
6. 前記表示手段は、前記撮影対象の範囲に対する撮影した範囲の情報を用いて、未撮影の範囲を表示することを特徴とする請求項５に記載の装置。
7. 撮影対象を撮影する装置の制御方法であって、
   前記装置は、
   前記撮影対象の基準画像を取得する取得ステップと、
   前記撮影対象の撮影に基づいて、前記取得ステップにより取得した基準画像に対して撮影範囲を表示する表示ステップと、
   を実行することを特徴とする装置の制御方法。
8. コンピュータを、
   撮影対象の基準画像を取得する取得手段と、
   前記撮影対象の撮影に基づいて、前記取得手段により取得した基準画像に対して撮影範囲を表示する表示手段と、
   して機能させるためのプログラム。
   

Images