JP2022093128A - 撮影処理装置、撮影処理システム、及び撮影処理プログラム - Google Patents

撮影処理装置、撮影処理システム、及び撮影処理プログラム Download PDF

Info

Publication number
JP2022093128A
JP2022093128A JP2020206237A JP2020206237A JP2022093128A JP 2022093128 A JP2022093128 A JP 2022093128A JP 2020206237 A JP2020206237 A JP 2020206237A JP 2020206237 A JP2020206237 A JP 2020206237A JP 2022093128 A JP2022093128 A JP 2022093128A
Authority
JP
Japan
Prior art keywords
image
collation
position information
overlap
imaging processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020206237A
Other languages
English (en)
Inventor
健介 伊藤
Kensuke Ito
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Business Innovation Corp filed Critical Fujifilm Business Innovation Corp
Priority to JP2020206237A priority Critical patent/JP2022093128A/ja
Priority to US17/322,879 priority patent/US20220188995A1/en
Priority to CN202110749630.9A priority patent/CN114630041A/zh
Publication of JP2022093128A publication Critical patent/JP2022093128A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/20Combination of acquisition, preprocessing or recognition functions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Image Analysis (AREA)

Abstract

Figure 2022093128000001
【課題】白飛び部分に該当しない位置を照合対象の領域として撮影することが可能な撮影処理装置、撮影処理システム、及び撮影処理プログラムを提供することを目的とする。
【解決手段】白飛び位置検出部20が、光源を発光して撮影した撮影画像を取得して、光源の発光に伴って撮影画像中に発生する予め定めた画素値以上の領域を白飛び部分として抽出することにより、白飛び部分の位置を検出し、枠線位置移動部24が、白飛び部分と枠線とが重複する場合に、白飛び部分と重複しない範囲に枠線を移動してディスプレイに表示する。
【選択図】図4

Description

本発明は、撮影処理装置、撮影処理システム、及び撮影処理プログラムに関する。
特許文献1には、制御部が、撮像部により撮影された画像を第1の撮影画像として取得した後に撮影された画像を第2の撮影画像として取得し、その第1及び第2の撮影画像内からそれぞれ検出した白飛び領域が略同一位置ではない場合に、そのいずれか一方の撮影画像内の白飛び領域を修正対象の領域として指定すると共に、他方の撮影画像内において修正対象領域に相当する位置の領域を抽出対象の領域として指定して、その抽出対象領域から抽出した画像部分を修正対象領域に合成する撮像装置が提案されている。
特許文献2には、符号画像が形成された印刷文書に対して光を照射する第1赤外LED、第2赤外LEDと、利用者による印刷文書への筆記操作の際に点灯させるLEDを選択する発光制御部と、選択されたLEDにて光が照射された印刷文書からの反射光を受光する赤外CMOSと、赤外CMOSによる受光結果に画像処理を施して符号画像を取得し、取得した符号画像を復号して識別情報および位置情報を求めるとともに、受光結果における白飛びの発生状態を検出し、その検出結果から点灯させる赤外LEDの切り換えを行うか否かを判定する画像処理部と、を備えるデジタルペンが提案されている。
特許文献3には、被検対象物の画像を解析して、被検対象物を分析するために、被検対象物を撮像して、撮像された画像データを解析に適した画像となるように画像処理する解析用画像撮像処理システムが提案されている。詳細には、被検対象物上の発光素子による照明光量の部分的過不足により、画像データに、色の情報や形状の情報が得難い状態となる不良部分がある場合に、画像データの照明光量の過不足が生じ難い所定領域の輝度および色の情報を基準として、不良部分の輝度および色の情報が基準となる輝度および色の情報に近づくように、画像データに対して、色毎に輝度変換を行う。
特開2013-229698号公報 特開2009-230287号公報 特開2016-018262号公報
対象物に接近して光源を発光して画像を撮影すると、対象物に反射した光により撮影画像中に光源の発光に伴う白飛び部分が発生する場合がある。撮影された画像の照合対象の領域と予め定めた基準画像とを照合する場合、白飛び部分と照合対象の領域とが重なってしまうと、正確に照合できなくなってしまう場合がある。
そこで、白飛び部分に該当しない位置を照合対象の領域として撮影することが可能な撮影処理装置、撮影処理システム、及び撮影処理プログラムを提供することを目的とする。
上記目的を達成するために、第1態様に係る撮影処理装置は、プロセッサを備え、前記プロセッサは、光源を発光して撮影した撮影画像を取得し、前記光源の発光に伴って前記撮影画像中に発生する予め定めた画素値以上の白飛び部分を抽出し、前記撮影画像において、抽出した前記白飛び部分と重複しない範囲に位置する領域を、予め定めた基準画像と照合する照合対象の領域とする処理を行う
また、第2態様に係る撮影処理装置は、第1態様に係る撮影処理装置において、前記プロセッサは、予め定めた濃度範囲の対象物に予め定めた距離まで接近して撮影した前記撮影画像を取得して前記白飛び部分を抽出する。
また、第3態様に係る撮影処理装置は、第1態様又は第2態様に係る撮影処理装置において、前記プロセッサは、前記撮影画像を撮影する際のスルー画像の表示中に、前記白飛び部分を抽出し、前記白飛び部分と重複しない領域に、前記基準画像と照合する画像の取得位置を表す位置情報を前記スルー画像に表示する。
また、第4態様に係る撮影処理装置は、第1態様又は第2態様に係る撮影処理装置において、前記プロセッサは、前記基準画像と照合する画像の取得位置を表す位置情報を予め定めた標準位置に表示して撮影指示を受け付けて撮影した前記撮影画像から前記白飛び部分を抽出し、前記白飛び部分と前記位置情報とが重複する場合に、前記白飛び部分と重複しない領域に前記位置情報を移動して表示する。
また、第5態様に係る撮影処理装置は、第3態様又は第4態様に係る撮影処理装置において、前記プロセッサは、非回転対称形状の枠線を前記位置情報として表示する。
また、第6態様に係る撮影処理装置は、第3態様~第5態様の何れか1の態様に係る撮影処理装置において、前記プロセッサは、前記光源の中心直下を前記撮影画像の原点とした時、前記基準画像の撮影時と同じ象限に前記位置情報を表示する。
また、第7態様に係る撮影処理装置は、第6態様に係る撮影処理装置において、前記プロセッサは、前記原点から離れる方向に移動した、前記白飛び部分と重複しない位置に、前記位置情報を表示する。
また、第8態様に係る撮影処理装置は、第3態様~第5態様の何れか1の態様に係る撮影処理装置において、前記プロセッサは、撮影視野を原点とした時、撮影視野中心と、前記白飛び部分の中心と、前記位置情報の予め定めた特定位置の三点がなす三角形が、前記基準画像の撮影時と相似形となる象限に前記位置情報を表示する。
また、第9態様に係る撮影処理装置は、第8態様に係る撮影処理装置において、前記プロセッサは、前記位置情報が存在する前記象限内において、前記白飛び部分から離れる方向に移動した、前記白飛び部分と重複しない位置に、前記位置情報を表示する。
また、第10態様に係る撮影処理装置は、第3態様~第9態様の何れか1の態様に係る撮影処理装置において、前記プロセッサは、対象物に設けられた前記照合対象の領域を表す対象情報と前記位置情報が合った場合の前記撮影画像から前記照合対象の画像を切り出して前記基準画像と照合した結果を表示する処理を更に行う。
また、第11態様に係る撮影処理システムは、第1態様~第10の何れか1の態様に記載の撮影処理装置と、前記撮影画像から前記照合対象の領域を切り出した照合画像と、前記基準画像とを照合して照合結果を前記撮影処理装置に送信するサーバと、を含む。
また、第12態様に係る撮影処理プログラムは、コンピュータに、光源を発光して撮影した撮影画像を取得し、前記光源の発光に伴って前記撮影画像中に発生する予め定めた画素値以上の白飛び部分を抽出し、前記撮影画像において、抽出した前記白飛び部分と重複しない範囲に位置する領域を、予め定めた基準画像と照合する照合対象の領域とする処理を実行させる。
第1態様によれば、白飛び部分に該当しない位置を照合対象の領域として撮影することが可能な撮影処理装置を提供できる。
第2態様によれば、多様な濃度の対象物を撮影した撮影画像を取得する場合に比べて、白飛び部分を正確に抽出できる。
第3態様によれば、白飛び部分を避けた位置に照合対象の領域を合わせた状態で撮影することが可能となる。
第4態様によれば、白飛び部分を避けた位置に照合対象の領域を合わせた状態で撮影することが可能となる。
第5態様によれば、回転対称形状の枠線を表示する場合に比べて、基準画像の撮影時に近い状態で照合対象の領域の画像を撮影することが可能となる。
第6態様によれば、光源の中心直下を撮影画像の原点とした時、基準画像の撮影時と異なる象限に位置情報を表示して撮影した場合に比べて、基準画像の撮影時の光源の位置関係に近い状態で照合対象の領域の画像を撮影することが可能となる。
第7態様によれば、光源の中心直下を撮影画像の原点とした時、基準画像の撮影時と異なる象限に位置情報を表示して撮影した場合に比べて、基準画像の撮影時の光源の位置関係に近い状態で、白飛び部分を避けた位置に位置情報を表示して撮影することが可能となる。
第8態様によれば、撮影視野を原点とした時、撮影視野中心と、白飛び部分の中心と、位置情報の予め定めた特定位置の三点がなす三角形が、基準画像の撮影時と異なる位置関係となる象限に位置情報を表示して撮影した場合に比べて、基準画像の撮影時の光源の位置関係に近い状態で、照合対象の領域の画像を撮影することが可能となる。
第9態様によれば、撮影視野を原点とした時、撮影視野中心と、白飛び部分の中心と、位置情報の予め定めた特定位置の三点がなす三角形が、基準画像の撮影時と異なる位置関係となる象限に位置情報を表示して撮影した場合に比べて、基準画像の撮影時の光源の位置関係に近い状態で、白飛び部分を避けた位置に位置情報を表示して撮影することが可能となる。
第10態様によれば、白飛び部分を避けて撮影した照合対象の領域と基準画像とを照合した照合結果を表示することが可能となる。
第11態様によれば、白飛び部分に該当しない位置を照合対象の領域として撮影することが可能な撮影処理システムを提供できる。
第12態様によれば、白飛び部分に該当しない位置を照合対象の領域として撮影することが可能な撮影処理プログラムを提供できる。
本実施形態に係る情報処理システムの概略構成を示す図である。 本実施形態に係る情報処理システムにおける携帯端末を用いた対象物の撮影の様子を示す図である。 本実施形態に係るサーバ及び携帯端末の電気系の要部構成を示すブロック図である。 本実施形態に係る携帯端末の機能構成を示す機能ブロック図である。 携帯端末の種類毎の白飛び部分と標準位置の枠線の一例を示す図である。 携帯端末A~Cにより、照合マークを撮影した場合の、照合領域の画素値のヒストグラム分布の一例を図である。 白飛び部分と重複しない範囲への枠線の携帯端末毎の移動例を示す図である。 携帯端末の機種に関わらず、カメラのレンズ中心直下と、白飛び部分となる光源の中心直下と、枠線の予め定めた特定部分の三点がなす三角形を略相似形として例を示す図である。 携帯端末の機種に関わらず、カメラのレンズ中心直下と、白飛び部分となる光源の中心直下と、枠線の予め定めた特定部分の三点がなす三角形を略相似形とし、枠線の特定部分が存在する象限内で光源中心から離れる方向に枠線を移動した例を示す図である。 自動シャッタの一例を説明するための図である。 自動シャッタの一例における作動条件の一例を説明するための図である。 照合マークの形状に対応するテンプレートの一例を示す図である。 本実施形態に係る情報処理システムの携帯端末で照合画像を撮影する際の撮影準備時に行われる処理の流れの一例を示すフローチャートである。 本実施形態に係る情報処理システムの携帯端末で行われる照合画像を撮影する際の処理の流れの一例を示すフローチャートである。 予め定めた範囲の領域の撮影画像を基準画像として登録する例を説明するための図である。
以下、図面を参照して本実施形態の一例を詳細に説明する。本実施形態では、サーバと携帯端末の無線基地局とがネットワーク等の通信回線を介して各々接続された情報処理システムを撮影処理システムの一例として説明する。図1は、本実施形態に係る情報処理システム10の概略構成を示す図であり、図2は、本実施形態に係る情報処理システムにおける携帯端末を用いた対象物の撮影の様子を示す図である。
本実施形態に係る情報処理システム10は、図1に示すように、サーバ12と、撮影処理装置としての携帯端末14の無線基地局16とを備えている。サーバ12と無線基地局16は、LAN(Local Area Network)、WAN(Wide Area Network)、インターネット、イントラネット等の通信回線18を介して接続されている。
本実施形態に係る情報処理システム10は、具体的には、図2に示すように、真贋判定の対象物32に照合マーク34を設け、照合マーク34の一部に照合対象の照合領域34Aを設けて、当該照合領域34Aを予め撮影した画像を基準画像としてサーバ12に予め登録しておく。そして、携帯端末14を用いて対象物32の照合マーク34を撮影して照合画像を取得し、サーバ12に基準画像との照合を依頼することにより、サーバ12が予め登録した基準画像と照合することにより対象物32の真贋判定を行う。なお、本実施形態では、携帯端末14としてスマートフォンを用いて照合マーク34を撮影する際には、高解像度(例えば1000dpi以上)で画像を取得するために対象物32に接近して光源を発光して撮影するものとする 。また、照合マーク34が設けられた対象物32を十分な解像度(例えば、1000dpi以上)で撮影するためには、携帯端末14の撮影可能距離のうち最近接で撮影する。
携帯端末14は、対象物の表面等を予め定めた基準画像として撮影、または、当該基準画像と照合する照合対象の画像を撮影する。例えば、照合判定用または真贋判定用のアプリケーションをインストールして、インストールしたアプリケーションにより基準画像または照合画像の撮影を行う処理等を行う。なお、携帯端末14としては、スマートフォンが一例として適用される。スマートフォンには、LED(Light Emitting Diode)光源等の光源が設けられている。そして、本実施形態では、光源の位置が機種毎にそれぞれ異なるスマートフォンにより照合マーク34の撮影が行われる。
サーバ12は、予め定めた対象物の撮影画像を携帯端末14から無線基地局16を介して受信し、予め登録した基準画像と照合することにより、一意に物体を識別し、識別結果を携帯端末14に返信する処理を行う。本実施形態では、物体表面に偶然生成されたランダムパターンの画像を利用して一意に物体を識別して真贋判定を行う技術を用いる。なお、本実施形態では、真贋判定を一例として説明するが、真贋判定に限定されるものではない。例えば、2次元バーコード等の撮影画像をサーバ12が携帯端末14から受信して撮影画像を解析して2次元バーコードが表すURL等の情報を取得する形態などを適用してもよい。
続いて、本実施形態に係るサーバ12及び携帯端末14の電気系の要部構成について説明する。図3は、本実施形態に係るサーバ12及び携帯端末14の電気系の要部構成を示すブロック図である。なお、サーバ12及び携帯端末14は基本的には一般的なコンピュータの構成とされているので、携帯端末14を代表して説明してサーバ12の説明は差異のみ説明する。
本実施の形態に係る携帯端末14は、図3に示すように、CPU14A、ROM14B、RAM14C、ストレージ14D、操作部14E、ディスプレイ14F、及び通信回線インタフェース(I/F)部14Gを備えている。CPU14Aは、携帯端末14の全体の動作を司る。ROM14Bは、各種制御プログラムや各種パラメータ等が予め記憶される。RAM14Cは、CPU14Aによる各種プログラムの実行時のワークエリア等として用いられる。ストレージ14Dは、各種のデータやアプリケーション・プログラム等が記憶される。操作部14Eは各種の情報を入力するために用いられる。ディスプレイ14Fは、各種の情報を表示するために用いられる。通信回線インタフェース部14Gは、通信回線18に接続可能とされ、当該通信回線18に接続された他の装置と各種データの送受信を行う。以上の携帯端末14の各部はシステムバス14Hにより電気的に相互に接続されている。なお、本実施形態に係る携帯端末14では、ストレージ14Dを備える例を説明するが、これに限らず、フラッシュメモリ等の他の不揮発性の記憶部を備えてもよい。
また、携帯端末は、カメラ14J及び光源14Kを備えており、光源14Kを発光してカメラ14Jによって撮影された撮影画像を取得し、サーバ12へ送信可能とされている。なお、光源としては、例えば、LEDを適用するが、LED以外の他の光源を適用してもよい。
以上の構成により、本実施の形態に係る携帯端末14は、CPU14Aにより、ROM14B、RAM14C、及びストレージ14Dに対するアクセス、操作部14Eを介した各種データの取得、ディスプレイ14Fに対する各種情報の表示を各々実行する。また、携帯端末14は、CPU14Aにより、通信回線インタフェース部14Gを介した撮影画像等の通信データの送受信の制御を実行する。
一方、サーバ12は、データベース(DB)12Iを備えており、真贋判定するための予め定めた基準画像が記憶され、携帯端末14から受信した撮影画像と基準画像とを照合することにより真贋を判定する処理を行う。
次に、携帯端末14の機能構成について説明する。図4は、本実施形態に係る携帯端末14の機能構成を示す機能ブロック図である。
図4に示すように、携帯端末14は、機能構成として、白飛び位置検出部20、重複判定部22、枠線位置移動部24、照合画像取得部26、照合依頼部28、及び照合結果表示部30の機能構成を有する。各機能構成は、CPU14AがROM14B又はストレージ14Dに記憶された真贋判定用のプログラムを読み出して、RAM14Cに展開して実行することにより実現される。
白飛び位置検出部20は、光源14Kを発光してカメラ14Jによって撮影した撮影画像を取得して、光源14Kの発光に伴って撮影画像中に発生する予め定めた画素値以上の領域を白飛び部分として抽出することにより、白飛び部分の位置を検出する。白飛び位置は、携帯端末14の種類によって撮影画像中に発生する位置が異なる。すなわち、携帯端末14のカメラ14Jに対する光源14Kの位置が種類毎に異なるため、撮影画像中に発生する白飛び部分の位置が異なる。例えば、図5に示す携帯端末A~Cのように、それぞれ白飛び部分38の位置が異なる。図5の例では、丸十字部分が光源14Kの発光中心を示し、丸十字の外側の丸で囲った部分が予め定めた画素値以上の白飛び部分38を示す。そこで、白飛び位置検出部20では、携帯端末14の種類毎に異なる、撮影画像中の白飛び部分38の位置を検出する。白飛び部分38の検出は、例えば、視野全体が一様な濃度となるように、予め定めた濃度範囲の一様な濃度である物体を予め定めた距離まで接近して撮影し、撮影画像の視野内から、例えば、8bitグレースケール画像(256階調)であれば、画素値245以上の画素がn個以上(例えば、100×100ピクセル個以上)隣接して存在するエリアを白飛び部分38として抽出する。なお、白飛び部分38を検出する際に、対象物32が予め定めた濃度範囲の一様な濃度の場合には、視野全体が一様な濃度になる程度に対象物32に接近して撮影してもよい。
重複判定部22は、白飛び位置検出部20によって検出された白飛び部分38が、予め定めた基準画像と照合する照合対象の照合領域34Aを含む照合マーク34と重複するか否かを判定する。例えば、ディスプレイ14Fに表示する画像取得位置特定用の枠線の予め定めた標準位置に、白飛び部分38が重複するか否かを判定する。具体的には、本実施形態では、図2に示すように、携帯端末14のディスプレイ14Fの予め定めた標準位置に基準画像と照合する画像の取得位置を表す位置情報としての枠線36を表示する。そして、対象物32の基準画像と照合する照合領域34Aを含む照合マーク34に枠線36を合わせて光源14Kを発光して撮影した時に、白飛び部分38と枠線36とが重複するか否かを判定する。例えば、図5に示す携帯端末A~Cでは、四角で示す枠線36と丸で囲った白飛び部分38の位置関係がそれぞれ異なり、枠線36と白飛び部分38とが重複する場合と重複しない場合とがあるので、重複するか否かを判定する。図5の例では、携帯端末A及び携帯端末Cは枠線36と白飛び部分38が重複し、携帯端末Bは枠線36と白飛び部分38が重複していない例を示す。なお、枠線36としては、本実施形態では、図2に示すように、非回転対称形状とした例として説明するが、図5に示すように矩形の形状の枠線36を適用してもよい。或いは、円形や多角形の枠線を適用してもよい。また、非回転対称形状とは、円形や正方形、正三角形等と違い、方向が一意に定まる形状である。
枠線位置移動部24は、重複判定部22によって白飛び部分38と枠線36とが重複する場合に、白飛び部分38と重複しない範囲に枠線36を移動してディスプレイ14Fに表示する。本実施形態では、図2に示す照合マーク34中の照合領域34Aと、照合領域34Aを予め撮影した基準画像とを照合するが、図5に示す携帯端末A及び携帯端末Cのように、枠線36と白飛び部分38とが重複すると、白飛び部分38によって基準画像と正確に照合できなくなってしまう。そこで、枠線位置移動部24は、白飛び部分38と重複しない範囲に枠線36を移動してディスプレイ14Fに表示して撮影指示を受け付けるようになっている。例えば、携帯端末A~Cにより、照合マーク34を撮影した場合の、照合領域34Aの画素値のヒストグラム分布の一例を図6に示す。図6に示すように、携帯端末A及び携帯端末Cでは、画素値0の分布が多く一様な分布となっていないため、正確に照合できない可能性が高い。携帯端末Bについては、一様に画素値が分布しており、正確に照合可能である。
白飛び部分38と重複しない範囲への枠線36の移動は、例えば、枠線36を表示するディスプレイ14Fにおいて、ディスプレイ14F上に見える光源14Kの中心直下を原点とした時、該枠線36を携帯端末14の種類に関わらず常に同じ象限に表示させる。凹凸のあるものや光輝体は光源14Kの光の方向の影響受けるので、基準画像撮影時の光源14Kの位置関係に近くなるように枠線36の位置を移動する必要がある。例えば、基準画像との照合用に使う携帯端末A~Cも、基準画像の登録用の携帯端末14またはカメラや照明からなる登録機も、枠線36は常に第一象限にすることにより照明の方向が常に保たれる。そして、第一象限において白飛び部を避ける位置、すなわち、原点から離れる方向に移動させる。例えば、図7に示すように、携帯端末A及び携帯端末Cは枠線36を点線位置から実線の位置に移動する。携帯端末Bは白飛び部分38と枠線36が重複しないので移動しない。
或いは、枠線36をディスプレイ14Fに表示する場合において、携帯端末14の機種に関わらず、カメラ14Jの視野の中心となるレンズ中心直下と、白飛び部分38となる光源14Kの中心直下と、枠線36の予め定めた特定部分の三点がなす三角形が、基準画像撮影時の光学系及び各種携帯端末14に関わらず略相似形となるようにする。換言すれば、カメラ14Jのレンズ中心直下と、光源14Kの中心直下と、枠線36の特定部分の三点がなす三角形が、基準画像の撮影時と相似形となるように算出する。これによって基準画像の撮影時と照合画像の撮影時の、光源14Kやレンズ中心との位置関係が保たれる。この際、カメラの視野中心となるレンズ中心直下を原点とする該枠線36の特定部分が存在する象限内で、光源14Kの中心から離れる方向に該枠線36を移動させる。例えば、図8に示すように、携帯端末A~Cのそれぞれについて、カメラ14Jの視野中心と、光源14Kの中心直下の丸十字中心と、枠線36の特定部分の三点がなす三角形がそれぞれ相似形となるように枠線36の位置を算出する。図8では、枠線36も相似形で示す。そして、図8に示すように、白飛び部分38に枠線が重複しないように、必要に応じて枠線36を移動する。この際、カメラの視野中心となるレンズ中心直下を原点としたときに、図9の矢印で示すように、枠線36の特定部分が存在する象限内で光源14K中心から離れる方向に枠線36を移動する。
照合画像取得部26は、撮影画像から枠線36に対応する領域の画像を照合画像として抽出することにより、基準画像と照合するための照合画像を取得する。ここで、撮影された撮影画像から取得した照合画像は、照合画像内の照合領域に白飛び部分が重複しないような画像であって、照合画像内の照合領域以外に白飛び部分があるような画像であってよい。すなわち、白飛び部分38が照合画像の照合領域以外に写っていてもよい。また、照合画像取得部26は、撮影指示を受け付けることによって撮影した撮影画像から照合画像を抽出して取得してもよいが、図10に示す照合マーク34に枠線36を合わせて、照合マーク34に枠線36が合ったところで自動シャッタを切って撮影し、撮影画像から照合画像を抽出して取得してもよい。なお、図10のハッチングは照合マーク34を表し、実線は照合マークの輪郭を示す。
自動シャッタの例としては、例えば、n×n画素の内、連接するy%の画素の平均濃度をd1、これら以外の画素の平均濃度をd2、とするとき、d1/d2がmとして、このyとmを予め決めておく。例えば、8bitグレースケールで、d1=35、d2=200などとし、d1側は銀ベタ印刷の照合マーク側、d2側は背景の紙などとする。適切なyとmを持つ図10に示す枠線36上の矩形が、例えば、10箇所あれば一致したとしてシャッタを切る。この場合、矩形サイズ、y、mなどのパラメータでマークとの一致度が変わる。例えば、図11の上段の一致度の場合は自動シャッタを切らず、中段の一致度の場合は自動シャッタを切る。また、下段の一致度の場合は閾値の設定次第で自動シャッタを切る。
或いは、テンプレートマッチングにより自動シャッタを切って撮影してもよい。例えば、図12に示す照合マーク34の形状に対応するテンプレートを用意して、撮影画像とテンプレートとの一致度が予め定めた値以上になった場合に自動シャッタを切ってもよい。例えば、外接枠を抽出してこの枠だけで一致度を計算してもよいし、枠内を一定の濃度に均一に塗りつぶしてテンプレート側も均一濃度として一致度を計算してもよい。そして、一致度が予め定めた値以上になった画像を撮影画像として取得する。動画のように照合アプリ動作期間、常に撮影状態にしておき、携帯端末14内で次々とパターンマッチング計算して、予め定めた閾値以内になったところで撮影画像を取得する。
なお、本実施形態では、照合画像取得部26が、照合画像の領域を撮影画像から抽出する処理を行うが、サーバ12に撮影画像を送信して、サーバ12側で照合画像の領域を抽出する処理を行ってもよい。
照合依頼部28は、照合画像取得部26によって取得された照合画像をサーバ12に送信することにより、基準画像と照合画像の照合を依頼する。
照合結果表示部30は、基準画像と照合画像の照合結果をサーバ12から受信して、ディスプレイ14Fに照合結果を表示する処理を行う。
一方、サーバ12では、照合依頼部28から送信された照合画像を受信して、予め登録した基準画像と照合することにより、一意に物体を識別し、識別結果を携帯端末14に返信する処理を行う。本実施形態では、例えば、図2に示す対象物32に設けた照合マーク中の照合領域34Aの基準画像をサーバ12に予め登録しておき、基準画像と照合画像とを照合することにより、対象物の真贋判定を行って、判定結果を携帯端末14に返信する処理を行う。
続いて、上述のように構成された本実施形態に係る情報処理システム10の携帯端末14で行われる具体的な処理について説明する。図13は、本実施形態に係る情報処理システム10の携帯端末14で照合画像を撮影する際の撮影準備時に行われる処理の流れの一例を示すフローチャートである。なお、図13の処理は、例えば、携帯端末14に真贋判定用のアプリケーションをインストールして当該アプリケーションを最初に起動した時に開始し、2度目以降のアプリケーションの起動時は図13の処理は省略してもよい。
ステップ100では、CPU14Aが、一様な濃度を撮影する指示を行ってステップ102へ移行する。例えば、一様な濃度の面を近接撮影するメッセージをディスプレイ14Fに表示することにより一様な濃度を撮影する指示を行う。なお、一様な濃度の例としては、例えば、対象物32の照合マーク34が設けられた面とは異なる面に一様な濃度の面を設けて、撮影指示してもよい。
ステップ102では、CPU14Aが、撮影されたか否かを判定する。該判定は、カメラ14Jのシャッタを切る操作が操作部14Eに対して行われたか否かを判定する。該判定が肯定されるまで待機してステップ104へ移行する。
ステップ104では、CPU14Aが、光源14Kを点灯してカメラ14Jによる撮影を行ってステップ106へ移行する。
ステップ106では、CPU14Aが、カメラ14Jによって撮影された撮影画像を取得してステップ108へ移行する。
ステップ108では、CPU14Aが、白飛び部分38を検出してステップ110へ移行する。すなわち、白飛び位置検出部20が、光源14Kの発光に伴って撮影画像中に発生する予め定めた画素値以上の領域を白飛び部分38として抽出することにより、白飛び部分38の位置を検出する。
ステップ110では、CPU14Aが、枠線36の位置を決定して一連の撮影準備の処理を終了する。すなわち、重複判定部22が、白飛び位置検出部20によって検出された白飛び部分38が、予め定めた基準画像と照合する照合対象の領域と重複するか否かを判定する。例えば、ディスプレイ14Fに表示する画像取得位置特定用の枠線36の予め定めた標準位置に、白飛び部分38が重複するか否かを判定する。白飛び部分38と枠線36が重複しない場合には、標準位置を枠線36の位置として決定する。一方、白飛び部分38と枠線36が重複する場合には、枠線位置移動部24が、白飛び部分38と重複しない範囲に枠線36を移動してディスプレイ14Fに表示する。決定した枠線36の位置は、ストレージ14Dに記憶して、2度目以降のアプリケーションの起動時には、ストレージ14Dに記憶した枠線36の位置を利用して、後述の図14の処理を行ってもよい。
次に、図13の撮影準備時の処理後に行われる照合画像を撮影する際の処理について説明する。図14は、本実施形態に係る情報処理システム10の携帯端末14で行われる照合画像を撮影する際の処理の流れの一例を示すフローチャートである。なお、図14の処理は、図13の処理に続けて開始してもよい。或いは、アプリケーションの最初の起動時は、図13の処理に続けて開始し、2度目のアプリケーションの起動時は図14の処理から開始して、1度目のアプリケーション起動時の枠線36の位置を用いて図14の処理を行うようにしてもよい。
ステップ200では、CPU14Aが、枠線36をディスプレイ14Fに表示してステップ202へ移行する。すなわち、上述のステップ110で決定した位置に枠線36を表示する。これにより、枠線36に照合マーク34を合わせて撮影することで、白飛び部分38を避けて照合画像が撮影される。
ステップ202では、CPU14Aが、撮影か否かを判定する。該判定は、操作部14Eによって撮影指示を受け付けたか否かを判定してもよい。或いは、照合画像取得部26が、照合マーク34と枠線36の一致度が予め定めた値以上になったか否かを判定してもよい。該判定が肯定されるまで待機してステップ204へ移行する。
ステップ204では、CPU14Aが、カメラ14Jによって撮影された撮影画像を取得してステップ206へ移行する。
ステップ206では、CPU14Aが、枠線36の領域の画像を抽出してステップ208へ移行する。すなわち、照合画像取得部26が、撮影画像から枠線36に対応する領域の画像を照合画像として抽出することにより、基準画像と照合するための照合画像を取得する。
ステップ208では、CPU14Aが、照合画像をサーバ12へ送信して照合依頼を行ってステップ210へ移行する。すなわち、照合依頼部28が、照合画像取得部26によって取得された照合画像をサーバ12に送信することにより、基準画像と照合画像の照合を依頼する。
ステップ210では、CPU14Aが、照合結果をサーバ12から受信するまで待機してステップ212へ移行する。
ステップ212では、CPU14Aが、照合結果をディスプレイ14Fに表示して一連の処理を終了する。すなわち、照合結果表示部30が、基準画像と照合画像の照合結果をサーバ12から受信して、ディスプレイ14Fに照合結果を表示する処理を行う。これにより、対象物32の真贋判定結果がディスプレイ14Fに表示される。
なお、上記の実施形態では、ステップ102において、カメラ14Jのシャッタを切る操作が操作部14Eに対して行われたか否かを判定するようにしたが、ステップ102の処理を所略してもよい。すなわち、撮影画像を撮影する際のスルー画像の表示中に、白飛び部分38を抽出し、白飛び部分38と重複しない領域に、基準画像と照合する画像の取得位置を表す位置情報としての枠線36をスルー画像に表示して、撮影指示を受け付ける形態としてもよい。
また、上記の実施形態では、携帯端末14のディスプレイ14Fに枠線36を表示して照合マーク34に枠線36を合わせて撮影することにより、照合マーク34の照合領域34Aの画像を抽出してサーバ12で基準画像と照合する例を説明したが、これに限るものではない。例えば、枠線36の表示は省略して、基準画像として、図15のハッチングで示すように、予め定めた範囲の領域の撮影画像を基準画像として登録してもよい。登録した予め定めた範囲が認識可能なように対象物32に枠等を設けることで、当該枠に合わせて携帯端末14で撮影して撮影画像を取得する。そして、撮影画像から図15に示すハッチングで示す枠を認識し、かつ認識した枠の画像のうち、白飛び部分38を避けた領域の画像を照合画像として取得し、枠に対する照合画像の位置情報と共に照合画像をサーバ12に送信してもよい。これにより、サーバ12では、枠に対する照合画像の位置に対応する基準画像を抽出して照合画像と照合して真贋判定が可能となる。この場合、サーバ12に登録する図15に示すハッチングで示す領域の大きさは、白飛び部分38の領域の大きさに比べて十分に大きい領域とすることにより、白飛び部分38を避けた領域を照合画像とすることが可能となる。
また、上記の実施形態では、携帯端末14を用いて照合画像を撮影してサーバ12に照合依頼を行う例として説明したが、これに限るものではない。例えば、カメラ14Jで照合画像を撮影して、パーソナルコンピュータ等の情報処理装置に撮影した照合画像を取り込んでサーバ12に照合依頼を行う形態としてもよい。或いは、サーバ12を省略し、携帯端末14に基準画像を予め登録し、携帯端末14で照合を行うようにして携帯端末14だけで構成する形態としてもよい。
また、上記の実施形態において、CPUをプロセッサの一例として説明したが、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ(例えばCPU等)や、専用のプロセッサ(例えばGPU: Graphics Processing Unit、ASIC: Application Specific Integrated Circuit、FPGA: Field Programmable Gate Array、プログラマブル論理デバイス等)を含むものである。
また、上記の実施形態におけるプロセッサの動作は、1つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。
また、上記の実施形態に係る情報処理システム10における携帯端末14で行われる処理は、ソフトウエアで行われる処理としてもよいし、ハードウエアで行われる処理としてもよいし、双方を組み合わせた処理としてもよい。また、携帯端末14で行われる処理は、プログラムとして記憶媒体に記憶して流通させるようにしてもよい。
また、本発明は、上記に限定されるものでなく、上記以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。
10 情報処理システム
12 サーバ
14 携帯端末
14A CPU
20 白飛び位置検出部
22 重複判定部
24 枠位置移動部
26 照合画像取得部
28 照合依頼部
30 照合結果表示部
36 枠線
38 白飛び部分

Claims (12)

  1. プロセッサを備え、前記プロセッサは、
    光源を発光して撮影した撮影画像を取得し、
    前記光源の発光に伴って前記撮影画像中に発生する予め定めた画素値以上の白飛び部分を抽出し、
    前記撮影画像において、抽出した前記白飛び部分と重複しない範囲に位置する領域を、予め定めた基準画像と照合する照合対象の領域とする処理を行う撮影処理装置。
  2. 前記プロセッサは、予め定めた濃度範囲の対象物に予め定めた距離まで接近して撮影した前記撮影画像を取得して前記白飛び部分を抽出する請求項1に記載の撮影処理装置。
  3. 前記プロセッサは、前記撮影画像を撮影する際のスルー画像の表示中に、前記白飛び部分を抽出し、前記白飛び部分と重複しない領域に、前記基準画像と照合する画像の取得位置を表す位置情報を前記スルー画像に表示する請求項1又は請求項2に記載の撮影処理装置。
  4. 前記プロセッサは、前記基準画像と照合する画像の取得位置を表す位置情報を予め定めた標準位置に表示して撮影指示を受け付けて撮影した前記撮影画像から前記白飛び部分を抽出し、
    前記白飛び部分と前記位置情報とが重複する場合に、前記白飛び部分と重複しない領域に前記位置情報を移動して表示する請求項1又は請求項2に記載の撮影処理装置。
  5. 前記プロセッサは、非回転対称形状の枠線を前記位置情報として表示する請求項3又は請求項4に記載の撮影処理装置。
  6. 前記プロセッサは、前記光源の中心直下を前記撮影画像の原点とした時、前記基準画像の撮影時と同じ象限に前記位置情報を表示する請求項3~5の何れか1項に記載の撮影処理装置。
  7. 前記プロセッサは、前記原点から離れる方向に移動した、前記白飛び部分と重複しない位置に、前記位置情報を表示する請求項6に記載の撮影処理装置。
  8. 前記プロセッサは、撮影視野を原点とした時、撮影視野中心と、前記白飛び部分の中心と、前記位置情報の予め定めた特定位置の三点がなす三角形が、前記基準画像の撮影時と相似形となる象限に前記位置情報を表示する請求項3~5の何れか1項に記載の撮影処理装置。
  9. 前記プロセッサは、前記位置情報が存在する前記象限内において、前記白飛び部分から離れる方向に移動した、前記白飛び部分と重複しない位置に、前記位置情報を表示する請求項8に記載の撮影処理装置。
  10. 前記プロセッサは、対象物に設けられた前記照合対象の領域を表す対象情報と前記位置情報が合った場合の前記撮影画像から前記照合対象の画像を切り出して前記基準画像と照合した結果を表示する処理を更に行う請求項3~9の何れか1項に記載の撮影処理装置。
  11. 請求項1~10の何れか1項に記載の撮影処理装置と、
    前記撮影画像から前記照合対象の領域を切り出した照合画像と、前記基準画像とを照合して照合結果を前記撮影処理装置に送信するサーバと、
    を含む撮影処理システム。
  12. コンピュータに、
    光源を発光して撮影した撮影画像を取得し、
    前記光源の発光に伴って前記撮影画像中に発生する予め定めた画素値以上の白飛び部分を抽出し、
    前記撮影画像において、抽出した前記白飛び部分と重複しない範囲に位置する領域を、予め定めた基準画像と照合する照合対象の領域とする処理を実行させるための撮影処理プログラム。

JP2020206237A 2020-12-11 2020-12-11 撮影処理装置、撮影処理システム、及び撮影処理プログラム Pending JP2022093128A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020206237A JP2022093128A (ja) 2020-12-11 2020-12-11 撮影処理装置、撮影処理システム、及び撮影処理プログラム
US17/322,879 US20220188995A1 (en) 2020-12-11 2021-05-17 Imaging processing device and imaging processing system
CN202110749630.9A CN114630041A (zh) 2020-12-11 2021-07-01 摄影处理装置、摄影处理系统、存储介质及摄影处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020206237A JP2022093128A (ja) 2020-12-11 2020-12-11 撮影処理装置、撮影処理システム、及び撮影処理プログラム

Publications (1)

Publication Number Publication Date
JP2022093128A true JP2022093128A (ja) 2022-06-23

Family

ID=81897410

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020206237A Pending JP2022093128A (ja) 2020-12-11 2020-12-11 撮影処理装置、撮影処理システム、及び撮影処理プログラム

Country Status (3)

Country Link
US (1) US20220188995A1 (ja)
JP (1) JP2022093128A (ja)
CN (1) CN114630041A (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9619686B2 (en) * 2015-03-10 2017-04-11 Conduent Business Services, Llc Printed tag information recognition using multi-pose illumination to mitigate glare
US9805240B1 (en) * 2016-04-18 2017-10-31 Symbol Technologies, Llc Barcode scanning and dimensioning
US11087105B1 (en) * 2020-05-15 2021-08-10 Scandit Ag Performance improvements for recognition of optical patterns in images
WO2022112373A1 (en) * 2020-11-24 2022-06-02 Verity Ag System and method to determine whether an image contains a specific barcode

Also Published As

Publication number Publication date
CN114630041A (zh) 2022-06-14
US20220188995A1 (en) 2022-06-16

Similar Documents

Publication Publication Date Title
KR101493064B1 (ko) 고도의 정확성으로 결함이 있는 눈을 검출하는 카메라에 기반한 방법
CN110175997B (zh) 显示屏坏点检测方法、装置、计算机设备和存储介质
KR20050096187A (ko) 사칭 검출 장치 및 사칭 검출 방법
CN112334943A (zh) 学习数据收集装置、学习数据收集系统以及学习数据收集方法
US11825231B2 (en) System and method for automated detection and replacement of photographic scenes
CN111345029A (zh) 一种目标追踪方法、装置、可移动平台及存储介质
JP7106688B2 (ja) 薬剤識別システム、薬剤識別装置、薬剤識別方法及びプログラム
CN105844197B (zh) 一种用于dpm码阅读器的双镜头图像采集与处理装置
JPWO2019039300A1 (ja) 薬剤検査支援装置、薬剤識別装置、画像処理装置、画像処理方法及びプログラム
CN110753167A (zh) 时间同步方法、装置、终端设备及存储介质
JP5200861B2 (ja) 標識判定装置および標識判定方法
US20210350558A1 (en) System for assembling composite group image from individual subject images
KR20150059302A (ko) 촬상 이미지를 적합화 하여 문자를 인식하는 방법 및 그 방법을 실행하는 정보 처리 기기
US20220114734A1 (en) System for background and floor replacement in full-length subject images
JP2022093128A (ja) 撮影処理装置、撮影処理システム、及び撮影処理プログラム
CN110826376B (zh) 标记物识别方法、装置、终端设备及存储介质
JP2012149946A (ja) 検査装置、検査方法およびプログラム
CN112997217A (zh) 从视频图像进行文档检测
CN115994996A (zh) 对照装置、存储介质及对照方法
JP2023046979A (ja) 照合装置及びプログラム
US20240040238A1 (en) Mobile terminal, non-transitory computer readable medium, and imaging method
JP5566679B2 (ja) 撮像装置及び撮像方法
JPWO2020166075A1 (ja) 情報処理装置
KR101280840B1 (ko) 프리젠테이션 시스템의 스크린상에서 레이저 포인트 위치 좌표 인식 방법
JP2023061880A (ja) 照合装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231120