JP2019191589A

JP2019191589A - 撮影システム、撮影方法及びプログラム

Info

Publication number: JP2019191589A
Application number: JP2019097404A
Authority: JP
Inventors: 石山　塁; Rui Ishiyama; 塁石山
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2019-05-24
Filing date: 2019-05-24
Publication date: 2019-10-31

Abstract

【課題】携帯端末が備えるカメラを用いて、同一の特徴点を安定して抽出できる撮影画像を取得することができる撮影システム、撮影方法及びプログラムを提供する。【解決手段】本発明は、光源部とカメラ部と表示部とを備える携帯端末を用いる撮影システムであって、予め撮影した画像を透過表示した画像を取得する取得部と、カメラ部によって対象物の照合領域を撮影する際に、透過表示した画像を、表示部に表示されるライブビュー画像に重畳表示する制御部と、を備える撮影システムである。【選択図】図１

Description

本発明は、撮影システム、撮影方法及びプログラムに関する。

物体の表面にある凹凸部を撮影し、撮影画像を検査や認証等に用いるシステムが考案されている。

例えば特許文献１には、光透過性及び光拡散性を有し、検査用カメラが撮影する検査領域を覆うように近接配置される概略平板状又はドーム状をなす光拡散部材と、その光拡散部材の外側に離間して配置され、検査領域に光拡散部材を透過させて光を照射する複数の光照射部材と、光拡散部材に設けられた撮影用観測孔の周囲からカメラの方向に延びる筒状体と、を備え、カメラが、それら筒状体及び観測孔を介し検査領域を撮影できるように構成するとともに、筒状体のカメラ側開口に、光照射部材からの直射光が入らないように構成された光照射装置が記載されている。

特開２００８−１０２１０３号公報

しかし、特許文献１のような特殊な装置を認証や照合を行う場所にそれぞれ配置するのは手間やコストがかかるという問題がある。

一方、一般に普及している携帯端末が備えるカメラを用いてバーコードを撮影し、識別や認証を行う技術が実現されている。バーコードの撮影画像は黒白部分を容易に判別できる。しかし、物体表面の凹凸の撮影画像は、物体の位置や向き、光の照射方向等の差異に影響されやすく、同一の特徴点を安定して抽出できるような撮影画像を得ることは困難であった。

さらに、カメラの視野角や照明の配置は携帯端末の機種ごとに異なっているが、これら異なる機種の携帯端末で撮影した場合においても同一の撮影対象について同一の特徴点を抽出できる撮影画像を得る必要がある。そのためには携帯端末毎に異なるカメラと光源を基準として、それに対する撮影対象の相対的な位置姿勢が適切な状態になるように、端末を保持する必要がある。そのような保持状態は端末毎に異なるうえ、距離や姿勢の数値で指示されても、携帯端末を手で持っている人がそのように調整することは困難である。

本発明は、上記問題点に鑑みてなされたもので、携帯端末が備えるカメラを用いて、同一の特徴点を安定して抽出できる撮影画像を取得することができる撮影システム、撮影方法及びプログラムを提供することを目的とする。

本発明は、光源部とカメラ部と表示部とを備える携帯端末を用いる撮影システムであって、予め撮影した画像を透過表示した画像を取得する取得部と、前記カメラ部によって対象物の照合領域を撮影する際に、前記透過表示した画像を、前記表示部に表示されるライブビュー画像に重畳表示する制御部と、を備える撮影システムである。

本発明は、光源部とカメラ部と表示部とを備える携帯端末を用いる撮影方法であって、予め撮影した画像を透過表示した画像を取得し、前記カメラ部によって対象物の照合領域を撮影する際に、前記透過表示した画像を、前記表示部に表示されるライブビュー画像に重畳表示する、撮影方法である。

本発明は、光源部とカメラ部と表示部とを備える携帯端末に、予め撮影した画像を透過表示した画像を取得する取得処理と、前記カメラ部によって対象物の照合領域を撮影する際に、前記透過表示した画像を、前記表示部に表示されるライブビュー画像に重畳表示する制御処理と、を実行させるプログラムである。

本発明によれば、携帯端末が備えるカメラを用いて、同一の特徴点を安定して抽出できる撮影画像を取得することができる。

図１は本発明の実施形態に係る携帯端末の構成図である。図２は携帯端末の光源とカメラと照合領域の相対位置姿勢について説明するための図である。図３は基準画像が表示された撮影画面を例示する図である。図４は基準画像が表示された撮影画面を例示する図である。図５は本発明の実施形態の動作を説明するためのフローチャートである。図６は端末装置がネットワークを介してデータベースから基準画像をダウンロードする処理を説明するための図である。

以下、本発明の実施形態を説明する。

図１は、本発明の実施形態に係る携帯端末の構成図である。本発明の実施形態に係る携帯端末１０は、光源部１１と、カメラ部１２と、表示部１３と、制御部１４を備える。制御部１４は、対象物の照合領域を撮影する際に、前記光源部１１と前記カメラ部１２と照合領域の相対位置姿勢が所定関係を満たした状態で対象物の梨地模様が施された照合領域を撮影するための基準画像を、表示部１３に表示されるスルー画像に重畳表示する。

携帯端末１０は、スマートフォン、携帯電話機、タブレット等の装置を含み、通常のカメラ機能を備える。光源部１１は、ＬＥＤ（Light Emitting Diode）等であり、カメラ撮影時に点灯する。カメラ部１２は、レンズ及び撮像素子や、カメラ部全体を制御するコントローラ等を含む。表示部１３は、液晶ディスプレイ等を含む。制御部１４は、携帯端末全体を制御する。

スルー画像とは、携帯端末１０が備えるカメラが撮影モードで動作している間、撮像素子の出力信号から生成された画像が液晶ディスプレイに表示されたものであり、プレビュー画像やライブビュー画像ともいう。

カメラの視野角は、カメラの撮像素子の画素数や大きさ、レンズの焦点距離等で決まる。携帯端末の光源の位置、カメラの撮像素子の画素数や大きさ、レンズの焦点距離等は携帯端末の機種によって異なるため、撮影時の照明の配置やカメラの視野角も携帯端末の機種によって異なることとなる。本願発明では、照明の配置やカメラの視野角が異なる携帯端末間で同一の撮影条件（照射方向及び撮影画像サイズが同一）で対象物の照合領域を撮影したときの画像を、携帯端末の機種ごとに予め取得しておく。そして、制御部１４は、予め取得された画像のうち、その携帯端末に対応する画像を取得し、撮影時に基準画像としてスルー画像に重畳表示する。ユーザは撮影画面上で撮影対象の照合領域と基準画像について、向きと位置と大きさが合うように操作することで、携帯端末の光源とカメラと照合領域の相対位置姿勢（図２のａとｂの関係）が、基準画像が撮影されたときと同じ関係となる。これにより、カメラの照明の配置や視野角が異なる携帯端末間でも同一の撮影条件で対象物の照合領域を撮影することができる。

前記異なる携帯端末間で同一の撮影条件で予め撮影された照合領域の画像は、それぞれ対応する携帯端末のメモリ等の記憶部に格納され、制御部１４が撮影時に記憶部から読み出して用いるようにしてもよい。また、各種携帯端末にそれぞれ対応する画像が、対応する携帯端末の光源の位置、撮像素子の画素や大きさ、レンズの焦点距離等の情報（機種依存情報）と紐付けされたデータベースを携帯端末１０の記憶部に格納し、制御部１４が、そのデータベースから当該携帯端末１０の機種依存情報に対応する画像を読み出して用いてもよい。

表示部１３への基準画像の表示態様は任意であり、例えば、予め撮影した画像を透過表示してもよく、また、予め撮影した画像における照合領域に対応する部分の輪郭線を抽出して表示してもよい。基準画像が照合領域に対応する部分の輪郭線の場合であって、異なる機種の携帯端末での表示例を図３、図４に示す。図３に示すように、ある機種の携帯端末においては、基準画像は例えば横長で表示される。操作者は、対象物の照合領域が横長で表示された基準画像に合うように操作する。また、図４に示すように、他の機種の携帯端末においては、基準画像は例えば縦長で表示される。操作者は、対象物の照合領域が縦長で表示された基準画像に合うように操作する。

対象物の照合領域は、梨地模様の領域であれば特に限定されないが、照合の容易さを考慮し、予め照合領域を定めておくことが望ましい。照合領域としては、物品に共通して存在する基準部位を基準として定められる位置の領域を照合領域とすることが考えられる。例えば、物品の基準部位とは、物品に貼付、印刷、刻印、焼印された製品の商標、ロゴ、製造者名、製造会社、ブランド名、製品名、製品番号等である。これらの基準部位は、同一物品であれば個体によらず同一のパターンを保有しており、外観上の特徴的な見え方をする。そして、これらの基準部位の位置姿勢を基準として定め、その特徴を記憶しておけば、物品の照合領域を自動的に検出することもできる。

梨地模様は、例えば、デザインとして梨地模様が形成されている場合のみならず、物品の識別又は照合のために、故意に照合領域に梨地模様を形成した場合も含む。更に、梨地模様は、金属や合成樹脂（プラスチック等）等への加工処理によって施された梨地模様のみならず、皮革製品に表面処理（例えば、シボ加工）することにより得られたシワ模様（シボ）等も含む概念である。例えば、シボ加工が施された皮革のバックの場合、バックの皮の表面には微少な凹凸がランダムに形成されており、これらの微少な凹凸は梨地模様と同様とみなすことができる。

次に本発明の実施形態の動作を図５を参照して説明する。
携帯端末１０において照合領域撮影処理の実行を指示する操作がなされると、制御部１４は、カメラ機能をオンにし、カメラ部１２から出力されるスルー画像を液晶ディスプレイ（表示部１３）に表示させる（Ｓ１）。

また、制御部１４は、当該携帯端末１０に対応する基準画像をメモリから読み出し、液晶ディスプレイに表示されたスルー画像に重畳表示する（Ｓ２）。

操作者は、携帯端末１０の撮影画面に表示されたスルー画像の照合領域と基準画像について、向きと位置と大きさが合うように調整してシャッターボタンを押下する（Ｓ３）。これに応じて、カメラ部１２は、撮影処理を行い、撮影画像データをメモリに記憶する（Ｓ４）。

以上説明したように、本実施形態によれば、照明の配置やカメラの視野角が異なる携帯端末間で同一の撮影条件で対象物の照合領域を撮影したときの画像を予め取得しておき、照合領域を撮影する際に基準画像としてスルー画像に重畳表示する。そして、撮影画面においてスルー画像の照合領域と基準画像を合わせるように操作して撮影することで、異なる携帯端末間でも同一の撮影条件で対象物の照合領域を容易に撮影することができる。

なお、上記フローのＳ３において、制御部１４がカメラ部１２より出力されたスルー画像における照合領域を所定の基準位置に基づいて認識し、表示画面における座標等に基づいて、当該認識した照合領域と、基準画像の大きさが合うように自動でズーム制御するようにしてもよい。

また、スルー画像の照合領域と基準画像を完全に一致させるのは困難であるため、制御部１４がカメラ部１２より出力されたスルー画像における照合領域を所定の基準位置に基づいて認識し、表示画面における座標等に基づいて、スルー画像の照合領域が基準画像に十分近づいた時点でカメラ部１２に撮影を指示してもよい。

また、図６に示すように、端末装置１０の制御部１４が、インターネット等のネットワークを介して各種基準画像が登録されているデータベースに接続し、当該携帯端末に対応する基準画像又はデータベースに登録されている全基準データをダウンロードして携帯端末１０の記憶部に格納し、上述のように用いてもよい。

また、上記説明では基準画像と機種依存情報とを対応付けて登録しているが、これに限定されず、例えば、携帯端末の機種名、機種コード等のような機種識別情報と基準画像を対応付けて登録してもよい。

以上好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
光源部と、
カメラ部と、
表示部と、
対象物の梨地模様が施された照合領域を撮影する際に、前記光源部と前記カメラ部と前記照合領域の相対位置姿勢が所定関係を満たした状態で前記照合領域を撮影するための基準画像を表示部に表示されるスルー画像に重畳表示する制御部と、
を備える携帯端末。

（付記２）
前記基準画像は、前記光源部と前記カメラ部と前記照合領域の相対位置姿勢が所定関係を満たした状態で前記照合領域を予め撮影した画像から取得される
付記１に記載の携帯端末。

（付記３）
前記基準画像は、光源の位置とカメラの視野角の少なくとも一方が異なる携帯端末間で同一の撮影条件で対象物の照合領域を撮影した画像から取得される
付記１又は付記２に記載の携帯端末。

（付記４）
携帯端末に対応する前記基準画像を、複数種類の基準画像が記憶されたデータベースから取得する
付記１から付記３のいずれかに記載の携帯端末。

（付記５）
前記データベースは、携帯端末毎の基準画像と、各基準画像を撮影した携帯端末の光源の位置及びカメラの視野角に関する情報とが対応付けて格納される
付記４に記載の携帯端末。

（付記６）
前記データベースは、異なる機種の携帯端末間で同一の撮影条件で対象物の照合領域を撮影したときの基準画像が携帯端末の機種ごとに格納される
付記４に記載の携帯端末。

（付記７）
携帯端末における撮影方法であって、
対象物の梨地模様が施された照合領域を撮影する際に、携帯端末の光源部とカメラ部の相対位置姿勢と、前記カメラ部と対象物までの距離と、が所定関係を満たした状態で前記照合領域を撮影するための基準画像を、携帯端末の撮影画面に表示されるスルー画像に重畳表示する
撮影方法。

（付記８）
前記基準画像は、前記光源部と前記カメラ部と前記照合領域の相対位置姿勢が所定関係を満たした状態で前記照合領域を予め撮影した画像から取得される
付記７に記載の撮影方法。

（付記９）
前記基準画像は、光源の位置とカメラの視野角の少なくとも一方が異なる携帯端末間で同一の撮影条件で対象物の照合領域を撮影した画像から取得される
付記７又は付記８に記載の撮影方法。

（付記１０）
携帯端末に対応する前記基準画像を、複数種類の基準画像が記憶されたデータベースから取得する
付記７から付記９のいずれかに記載の撮影方法。

（付記１１）
前記データベースは、携帯端末毎の基準画像と、各基準画像を撮影した携帯端末の光源の位置及びカメラの視野角に関する情報とが対応付けて格納される
付記１０に記載の撮影方法。

（付記１２）
前記データベースは、異なる機種の携帯端末間で同一の撮影条件で対象物の照合領域を撮影したときの基準画像が携帯端末の機種ごとに格納される
付記１０に記載の撮影方法。

（付記１３）
携帯端末に、
対象物の梨地模様が施された照合領域を撮影する際に、携帯端末の光源部とカメラ部と前記照合領域の相対位置姿勢が所定関係を満たした状態で前記照合領域を撮影するための基準画像を、携帯端末の撮影画面に表示されるスルー画像に重畳表示する処理
を実行させるプログラム。

（付記１４）
前記基準画像は、前記光源部と前記カメラ部と前記照合領域の相対位置姿勢が所定関係を満たした状態で前記照合領域を予め撮影した画像から取得される
付記１３に記載のプログラム。

（付記１５）
前記基準画像は、光源の位置とカメラの視野角の少なくとも一方が異なる携帯端末間で同一の撮影条件で対象物の照合領域を撮影した画像から取得される
付記１３又は付記１４に記載のプログラム。

（付記１６）
携帯端末に対応する前記基準画像を、複数種類の基準画像が記憶されたデータベースから取得する
付記１３から付記１５のいずれかに記載のプログラム。

（付記１７）
前記データベースは、携帯端末毎の基準画像と、各基準画像を撮影した携帯端末の光源の位置及びカメラの視野角に関する情報とが対応付けて格納される
付記１６に記載のプログラム。

（付記１８）
前記データベースは、異なる機種の携帯端末間で同一の撮影条件で対象物の照合領域を撮影したときの基準画像が携帯端末の機種ごとに格納される
付記１６に記載のプログラム。

１０携帯端末
１１光源部
１２カメラ部
１３表示部
１４制御部

Claims

光源部とカメラ部と表示部とを備える携帯端末を用いる撮影システムであって、
予め撮影した画像を透過表示した画像を取得する取得部と、
前記カメラ部によって対象物の照合領域を撮影する際に、前記透過表示した画像を、前記表示部に表示されるライブビュー画像に重畳表示する制御部と、
を備える撮影システム。
前記対象物の照合領域は、前記対象物に貼付、印刷、刻印又は焼印された、製品の商標、ロゴ、製造者名、製造会社、ブランド名、製品名及び製品番号の少なくとも１つを含む、
請求項１に記載の撮影システム。
光源部とカメラ部と表示部とを備える携帯端末を用いる撮影方法であって、
予め撮影した画像を透過表示した画像を取得し、
前記カメラ部によって対象物の照合領域を撮影する際に、前記透過表示した画像を、前記表示部に表示されるライブビュー画像に重畳表示する、
撮影方法。
光源部とカメラ部と表示部とを備える携帯端末に、
予め撮影した画像を透過表示した画像を取得する取得処理と、
前記カメラ部によって対象物の照合領域を撮影する際に、前記透過表示した画像を、前記表示部に表示されるライブビュー画像に重畳表示する制御処理と、
を実行させるプログラム。