JP2022178159A - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
JP2022178159A
JP2022178159A JP2021084732A JP2021084732A JP2022178159A JP 2022178159 A JP2022178159 A JP 2022178159A JP 2021084732 A JP2021084732 A JP 2021084732A JP 2021084732 A JP2021084732 A JP 2021084732A JP 2022178159 A JP2022178159 A JP 2022178159A
Authority
JP
Japan
Prior art keywords
barcode
image processing
image
zoom
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021084732A
Other languages
English (en)
Inventor
悠也 三宅
Yuya Miyake
元気 長
Motoki Cho
寛人 岡
Hiroto Oka
俊介 野網
Shunsuke Noami
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2021084732A priority Critical patent/JP2022178159A/ja
Priority to US17/743,280 priority patent/US11800230B2/en
Publication of JP2022178159A publication Critical patent/JP2022178159A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1439Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1443Methods for optical code recognition including a method step for retrieval of the optical code locating of the code in an image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10792Special measures in relation to the object to be scanned
    • G06K7/10801Multidistance reading
    • G06K7/10811Focalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10821Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
    • G06K7/10831Arrangement of optical elements, e.g. lenses, mirrors, prisms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1408Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/14131D bar codes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/815Camera processing pipelines; Components thereof for controlling the resolution by using a single image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Accessories Of Cameras (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】積荷の全ての荷札の数より少ない回数のPTZ撮影を行うことにより、バーコード読み取り可能な解像度を持つ画像を取得し、着荷検収の全体作業時間を短縮させることを目的とする。【解決手段】画像処理装置は、全体画像に対し、マッチング処理を行うことでバーコード領域を検出するバーコード検出手段と、ズーム倍率設定値を設定するズーム倍率設定手段と、ズーム倍率設定値でズーム撮影を行う時の画角に基づいて複数のバーコード領域をグループ化することでグループ化領域を作成するグループ作成手段と、パンチルトズーム動作を制御するパンチルトズーム制御手段と、グループ化領域をパンチルトズーム動作の後に撮影手段により取得されたグループ画像に対して、画像処理領域を設定する画像処理領域設定手段と、画像処理領域に含まれるバーコード領域ごとにその情報を読み取るバーコード読み取り処理を行う情報読み取り手段と、を含む。【選択図】図10

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。
近年、遠隔地に設置されたカメラ(例えば、ネットワークカメラ)のパン、チルト、ズーム(以下、単に「PTZ」とも称する)を、ネットワークを介して操作側の端末から制御可能なシステムが普及しつつある。関連する技術として、特許文献1や特許文献2の技術が提案されている。特許文献1の技術では、着荷検収に使用されるシステムにおいて、各荷物に添付された荷札に記されたバーコードを粗探索し、粗探索したバーコードに対してパン、チルト、ズームして拡大撮影し、取得されたバーコード画像に対してバーコードを検出する。また、特許文献2の技術では、置場内に置かれる物品の入出庫状態を管理するための入出庫管理システムにおいて、パン、チルト、ズームを制御することにより物品が置かれるエリアを幅広く撮影し、取得されたそれぞれの画像に対してバーコードを検出する。
特開2019-220829号公報 特開2011-150460号公報
しかしながら、上述した特許文献1及び特許文献2の技術では、カメラの画角に収まらない広い範囲を撮影するために、撮影する毎に、カメラのパン、チルト、ズームの機能(PTZ機能)を使用する必要がある。即ち、特許文献1の技術では、粗探索したバーコードの数だけ、パン、チルト、ズームをしてからの撮影を繰り返して行う必要があるので、全てのバーコードを検出するための着荷検収の全体作業時間が長くなってしまう。特許文献2の技術では、バーコード検出を行うために、所定のエリアを余すことなくパン、チルト、ズームして広い範囲を撮影しているので、撮影の回数が多くなるとパン、チルト、ズームの動作回数も多くなってしまい、全体作業時間が長くなってしまう。以下、パン、チルト、ズームをしてからの撮影を単に「PTZ撮影」とも称する。
本発明は、積荷の全ての荷物に添付された荷札の数より少ない回数のPTZ撮影を行うことにより、バーコード読み取り可能な解像度を持つ画像を取得し、着荷検収の全体作業時間を短縮させることを目的とする。
上記目的を達成するために、本発明の画像処理装置は、パンチルトズームの機能を有する撮影手段による全体撮影により取得された、読み取り対象となる全てのバーコードを含む全体画像に対し、マッチング処理を行うことにより、バーコード領域を検出するバーコード検出手段と、ズーム倍率設定値を設定するズーム倍率設定手段と、前記ズーム倍率設定手段により設定された前記ズーム倍率設定値でズーム撮影を行う時の画角に基づいて、前記バーコード検出手段により検出された複数の前記バーコード領域をグループ化することにより、グループ化領域を作成するグループ作成手段と、前記グループ作成手段により作成された前記グループ化領域を順次、前記ズーム倍率設定値で撮影するように、前記撮影手段のパンチルトズーム動作を制御するパンチルトズーム制御手段と、前記グループ化領域を前記パンチルトズーム動作の後に前記撮影手段により撮影することで得られたグループ画像に対して、画像処理領域を設定する画像処理領域設定手段と、前記画像処理領域設定手段により設定された前記画像処理領域に含まれる前記バーコード領域ごとにその情報を読み取るバーコード読み取り処理を行う情報読み取り手段と、を備えることを特徴とする。
本発明によれば、積荷の全ての荷物に添付された荷札の数より少ない回数のPTZ撮影を行うことにより、バーコード読み取り可能な解像度を持つ画像を取得し、着荷検収の全体作業時間を短縮させることができる。
本発明の第1実施形態に係る画像処理システムの全体構成例を示すブロック図である。 第1実施形態に係る画像処理システムにおける画像処理装置100のハードウェア構成例を示すブロック図である。 第1実施形態に係る画像処理システムにおけるネットワークカメラ110の外観図である。 第1実施形態に係る画像処理システムにおけるネットワークカメラ110のハードウェア構成例を示すブロック図である。 第1実施形態に係る画像処理システムが着荷検収に使用される場合の画像処理対象としての積荷を示す図である。 第1実施形態に係る画像処理システムにおける画像処理装置100により行われる準備処理の流れを示すフローチャートである。 第1実施形態に係る画像処理システムにおける画像処理装置100により行われる準備処理において、マッチングモデルを作成する方法を示す図である。 第1実施形態に係る画像処理システムにおける画像処理装置100により行われるマッチング処理の設定画面例を示す図である。 第1実施形態に係る画像処理システムにおけるネットワークカメラ110のパン、チルト、ズームのテスト画面例を示す図である。 第1実施形態に係る画像処理システムにおける画像処理装置100により行われる運用処理の流れを示すフローチャートである。 第1実施形態に係る画像処理システムにおける画像処理装置100により行われるグループ化処理の流れを示すフローチャートである。 第1実施形態に係る画像処理システムにおける画像処理装置100により行われるグループ化処理の具体例を示す図である。 第1実施形態に係る画像処理システムにおける画像処理装置100により行われるグループ化探索処理の具体例を示す図である。 第1実施形態に係る画像処理システムにおける画像処理装置100により行われるグループ化探索処理及びグループ番号重複消去処理の具体例を示す図である。 第1実施形態に係る画像処理システムにおける画像処理装置100により行われるグループ化領域位置修正処理の具体例を示す図である。 第1実施形態に係る画像処理システムにおける画像処理装置100により行われる準備処理の他の実施例の流れを示すフローチャートである。 図16の準備処理の他の実施例を説明するための図である。
以下、本発明の各実施形態について図面を参照しながら詳細に説明する。しかしながら、以下の各実施形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は各実施形態に記載されている構成によって限定されることはない。
<第1実施形態>
以下、図面を参照して、本発明の第1実施形態について説明する。図1は、本発明の第1実施形態に係る画像処理システムの全体構成例を示すブロック図である。
第1実施形態に係る画像処理システムは、着荷検収に使用されており、積荷を検収する着荷検収システムとして運用される。図1に示すように、第1実施形態に係る画像処理システムは、工場等において搬入された積荷Aを撮影し、積荷Aに付されたバーコードを読み取り、予め登録されたバーコードの情報と照合することにより、着荷検収作業を行う着荷検収システムである。
また、第1実施形態では、積荷Aに含まれる各荷物に荷札が添付されており、各荷札にバーコード(一次元コード)が記されている。第1実施形態に係る画像処理システムは、各荷物に添付された荷札にそれぞれ記されたバーコードを順次読み取り、読み取ったバーコードの情報を予め登録されているバーコードの情報と照合する。
なお、第1実施形態では、バーコードが各荷札に記されているため、読み取り対象及び照合対象がバーコードであるが、本発明に係る実施形態では、読み取り対象及び照合対象がバーコードに限定されず、荷札を識別できるものであれば、他のものでもよい。例えば、数字、文字や記号そのものでもよいし、数字、文字や記号を組み合わせたものでもよいし、QRコード(登録商標)をはじめとした各種二次元コードでもよい。
第1実施形態に係る画像処理システムは、画像処理装置100、ネットワークカメラ110(以下、「NWカメラ110」と称する)、データベース120(以下、「DB120」と称する)及びセンサ150を有する。また、第1実施形態に係る画像処理システムは、パワー・オーバー・イーサネット・ハブ130(以下、「POEハブ130」と称する)及びプログラマブル・ロジック・コントローラ140(以下、「PLC140」と称する)を有する。
POEハブ130は、画像処理装置100、NWカメラ110、DB120及びPLC140にそれぞれ接続されており、接続されている各部との通信を行うと共に、各部に電源を供給する。DB120には、搬入予定の複数の荷物に添付された複数の荷札にそれぞれ記されたバーコードの情報が予め格納されている。PLC140は、画像処理システム制御手段として、画像処理システムの全体を制御する。センサ150は、積荷搬入検知手段として、予め定められた場所に積荷が搬入されたことを検知する。
画像処理装置100は、POEハブ130を介して、PTZ機能を有するNWカメラ110と接続されており、PTZ制御手段として、NWカメラ110のPTZ動作を制御すると共に、NWカメラ110による撮影を制御する。撮影手段としてのNWカメラ110は、積荷Aの搬入場所を撮影するように設置されており、画像処理装置100による制御の下、搬入された積荷Aを撮影する。ここで、積荷Aは、荷札が添付された複数の荷物が積み上げられたものであり、各荷札にバーコードが記されている。また、画像処理装置100は情報読み取り手段として、NWカメラ110による撮影で得られたグループ画像(ズーム画像)に設定された画像処理領域に含まれる複数の荷札のバーコードに対して、バーコード読み取り処理を行う。これにより、荷札に記されたバーコードごとにその情報を読み取る。次に、画像処理装置100は読み取ったバーコードの情報(即ち、後述するS1008で得られたバーコードの読み取り結果)と、DB120に予め格納されているバーコードの情報(即ち、搬入予定の各荷物の荷札に記されたバーコードの情報)との照合を行う。このように、第1実施形態に係る画像処理システムによって着荷検収作業が行われることになり、搬入予定の荷物が予定通りに搬入されたことを確認することができる。
次に、第1実施形態に係る画像処理システムにおける画像処理装置100について説明する。図2は、画像処理装置100のハードウェア構成例を示すブロック図である。
図2に示すように、画像処理装置100は、中央処理装置201(以下、「CPU201」と称する)、リードオンリーメモリ202(以下、「ROM202」と称する)及びランダムアクセスメモリ203(以下、「RAM203」と称する)を有する。また、画像処理装置100は、ディスプレイ204、ハードディスク・ドライブ205(以下、「HDD205」と称する)、入力装置206、記録メディア・ドライブ207及びインターフェース208(以下、「I/F208」と称する)を有する。
CPU201は、ROM202に記憶されている制御プログラムを読み出して、各種処理を実行する。RAM203は、CPU201の主メモリ、ワークエリア等の一時記憶領域として用いられる。HDD205は、各種データや各種プログラム等を記憶する。ディスプレイ204は、表示手段として、画像データを含む各種データや各種情報を表示する。入力装置206は、入力手段として、ユーザーによる各種操作を受け付ける。記録メディア・ドライブ207は、フラッシュメモリ等の記録メディアからのデータの読み出しや記録メディアへのデータの書き込み等を行う。I/F208は、外部装置との通信を行う。
なお、後述する画像処理装置100により行われる各種処理や画像処理装置100が有する各種機能は、CPU201がROM202又はHDD205に記憶されているプログラムを読み出し、読み出したプログラムを実行することにより、実現される。また、画像処理装置100により行われる各種処理や画像処理装置100が有する各種機能は、CPU201がフラッシュメモリ等の記録メディアに格納されているプログラムを読み出し、読み出したプログラムを実行することにより、実現されてもよい。更に、画像処理装置100により行われる各種処理や画像処理装置100が有する各種機能の少なくとも一部は、複数のCPU、RAM、ROM及びストレージを協働させることにより、実現されてもよい。また更に、画像処理装置100により行われる各種処理や画像処理装置100が有する各種機能の少なくとも一部は、例えばASIC等の回路を用いて、実現されてもよい。
次に、第1実施形態に係る画像処理システムにおけるNWカメラ110の外観とPTZ駆動について説明する。図3にNWカメラ110の外観の一例を示している。
図3に示すように、ドーム型のNWカメラ110は、ドーム307によってカメラ全体を覆われている。パン駆動部301は、パンモータ(図示せず)を駆動させるにより、鏡筒部303の向きを、符号304で示されたパン方向へ変更させる。また、チルト駆動部302は、チルトモータ(図示せず)を駆動させるにより、鏡筒部303の向きを、符号305で示されたチルト方向へ変更させる。更に、レンズを含む鏡筒部303は、ローテーションモータ(図示せず)の制御により、レンズ中心位置を中心に、符号306で示されたローテーション方向に回転可能である。そして、鏡筒部303は、フォーカスレンズ(図示せず)やズームレンズ(図示せず)を含み、それぞれステッピング・モータ(図示せず)により駆動される。
なお、第1実施形態に係る画像処理システムで使用されるNWカメラ110は、図3で示されたような外観や上述したPTZ駆動に限定されず、少なくともパン、チルト、ズームの駆動系を持ち、遠隔でPTZ制御可能なカメラであれば、他のカメラでもよい。
次に、第1実施形態に係る画像処理システムにおけるNWカメラ110の構成について説明する。図4は、NWカメラ110のハードウェア構成例を示すブロック図である。
図4に示すように、NWカメラ110は、レンズ部401、CCD部402、信号処理部403、画像解析部404、符号化部405、通信処理部406、カメラ制御部407、モータ駆動部408及びパン・チルト・ローテーションモータ部409を有する。また、NWカメラ110は、レンズ駆動部410、CPU411、ROM412、RAM413及びフラッシュメモリ414を有する。
以下、NWカメラ110で撮影された画像データを画像処理装置100へ配信するまでの処理を説明する。レンズ部401から取り込まれた光学画像は、CCD部402でRGBデジタルデータに変換された後、信号処理部403へ送信される。信号処理部403では、RGBデジタルデータをYCbCr4:2:0フォーマット又はYCbCr4:2:2フォーマットのデジタルデータ(画像データ)に変換する処理、要求された送信画像の画像サイズへの変換処理、各種フィルタ処理等を行う。信号処理部403で処理された画像データは、画像解析部404に送信されると同時に、符号化部405へも送信される。
符号化部405では、画像データを、所定のフォーマット、例えば、H.264フォーマット又はJPEGフォーマットへ符号化圧縮する処理を実行する。符号化部405で生成されたH.264の動画ストリームデータ又は各JPEG静止画データは、通信処理部406により、TCP/IP、HTTP或いはRTP等のネットワークプロトコルに従って、画像処理装置100へ送信される。
画像解析部404では、撮影された画像データを解析して目的とする画像中に被写体や指定条件の画像パターンが含まれているか否かを検出する処理を行う。信号処理部403、画像解析部404、符号化部405及び通信処理部406の各処理ブロックは、CPU411と接続されている。カメラ制御部407は、モータ駆動部408及びレンズ駆動部410と接続されている。カメラ制御部407は、CPU411からの指示に従ってカメラのパン・チルト・ローテーション動作(パン方向への移動、チルト方向への移動、及び光軸を中心とする回転)のための制御信号やズームやオートフォーカス動作のための制御信号を出力する。
また、カメラ制御部407は、RAM413に記憶されている可視範囲設定及び可動範囲設定の少なくとも一方に従って、NWカメラ110の可視範囲及び可動範囲の少なくとも一方を制御する。モータ駆動部408は、モータ駆動回路(図示せず)等を有しており、カメラ制御部407からの制御信号に従ってパン・チルト・ローテーションモータ部409を駆動し、モータの回転によってカメラの撮影方向を変更することが可能となる。レンズ駆動部410は、ズーム、オートフォーカス等の各制御を行うためのモータとモータ駆動回路(図示せず)を有しており、カメラ制御部407からの制御信号に従ってレンズ部401を制御する。
CPU411は、ROM412に格納されている制御プログラムを実行することにより、NWカメラ110全体の動作を制御する。CPU411には、ROM412、RAM413及びフラッシュメモリ414が接続されている。また、CPU411は、信号処理部403、画像解析部404、符号化部405及び通信処理部406にも接続されており、各処理ブロックに対して動作の開始・停止、動作条件の設定、動作結果の取得等を実行することにより、各処理ブロックの制御を行う。ROM412には、CPU411がアプリケーション処理等、NWカメラ110の制御を行うためのプログラムやデータが格納されている。
RAM413は、CPU411がROM412に格納されているプログラムを実行する際に、データの書込/読出を行うためのメモリである。RAM413には、CPU411がNWカメラ110の制御におけるプログラム実行に使用するワークエリア、一時退避エリア等が設けられている。撮影可能な画角の範囲を指定する可視範囲設定と、パン方向、チルト方向及びズーム方向への移動可能な範囲を指定する可動範囲設定との少なくとも一方がRAM413に記憶されている。
CPU411は、通信処理部406を介して画像処理装置100から受信した制御コマンドに応じて、撮影方向やズーム倍率を変更する。CPU411は、NWカメラ110から中心位置とズーム倍率を指定した制御コマンドを受信した場合に、受信した制御コマンドに従い、指定された中心位置が撮影中心となるようにパンチルトを制御し、指定されたズーム倍率になるようにズームを制御する。
上述したように、第1実施形態に係る画像処理システムは、着荷検収に使用されている。図5は、第1実施形態に係る画像処理システムが着荷検収に使用される場合の画像処理対象としての積荷を示す図である。図5に示すように、第1実施形態に係る画像処理システムの画像処理対象は、荷札が規則的に配置されていない積荷Bである。画像処理装置100は、後述する全体画像からマッチングモデルを作成し、画像マッチングを行い、マッチング結果に応じてズーム撮影の範囲を決定する。
第1実施形態に係る画像処理システムが着荷検収システムとして運用される前に、画像処理装置100が準備処理を行う。ここで、第1実施形態に係る画像処理システムにおける画像処理装置100により行われる準備処理について説明する。図6は、画像処理装置100により行われる準備処理の流れを示すフローチャートである。なお、以下の説明において、Sはステップを意味する。
まず、S600において、画像処理装置100は、入力装置206が受け付けたユーザーによる操作(以下、「ユーザー操作」とも称する)に応じて、積荷全体を撮影する際のNWカメラ110の撮影位置(以下、「全体撮影位置」と称する)等の調整を行う。具体的には、画像処理装置100は、NWカメラ110から送信されてきた撮影画像をディスプレイ204に表示し、ユーザーは表示された画像を見ながら、積荷全体が撮影されるようにパンチルトズームの制御を行い、全体撮影位置とズーム倍率を調整する。このように、S600にて行われた処理により、調整済の全体撮影位置と全体画像撮影時のズーム倍率が得られ、即ち、全体画像の撮影条件(全体撮影位置と全体画像撮影時のズーム倍率)が設定された。
S600において、全体画像の撮影条件が設定された後に、NWカメラ110は調整済の全体撮影位置で撮影を行うことにより、積荷全体が撮影されている画像(以下、「全体画像」とも称する)を取得し、取得した全体画像を画像処理装置100へ送信する。画像処理装置100のCPU201は、制御手段として、受信した全体画像をディスプレイ204に表示させるように制御する。
次に、S601において、CPU201は、マッチングモデル作成手段として、マッチングモデル(モデル画像)を作成する。図7は、マッチングモデルの作成方法を示す図である。具体的に、図7に示すように、CPU201は、積荷全体が撮影されている全体画像700から荷札の領域を指定し、指定した荷札の領域の画像を荷札画像として抜き出し、抜き出した荷札画像をマッチングモデル(モデル画像)701とする。全体画像は、読み取り対象となる、各荷札に記された全てのバーコードを含む。
次に、S602において、CPU201は、マッチング処理の設定を行う。図8は、マッチング処理の設定画面例を示す図である。具体的に、CPU201は、例えば、図8のマッチング処理の設定画面800において、ユーザーにより設定された枠801に応じて、画像マッチング処理の対象エリアを設定する。また、S602において、CPU201はユーザー操作に応じて、マッチングモデルを設定する。ここで、マッチングモデルを設定することは、S601で作成されたマッチングモデルを画像マッチング処理の基準画像として使用するために、そのマッチングモデルをモデル画像として指定することである。
S602で設定されたマッチングモデル(モデル画像)は、マッチングモデル表示領域802に表示される。更に、S602において、CPU201は、マッチングパラメータの設定領域803へのユーザーによる入力に応じて、マッチングパラメータの設定を行う。また更に、S602において、CPU201は、マッチング処理の順番を決定する。例えば、CPU201は、x座標の昇順/降順又はy座標の昇順/降順に画像マッチング処理を行うことを設定する。
画像マッチング処理が行われると、CPU201は、図9に示されたマッチングテスト画面900をディスプレイ204に表示させる。図9は、ネットワークカメラ110のパン、チルト、ズームのテスト画面例を示す図である。図9に示すように、マッチングテスト画面900の表示領域901に全体画像が表示され、マッチング結果を示す枠902が全体画像に重畳されている。ユーザーは、全体画像に重畳されているマッチング結果を示す枠902(マッチング結果)を確認する。ユーザーによる確認により、画像マッチングに成功していない荷札の領域があると判断された場合に、ズーム撮影の位置設定領域903にてズーム撮影の位置を指定し直したり、ズーム倍率の設定領域904にてズーム倍率を設定し直したりすることができる。このように、マッチング処理で検出された荷札の領域のうち少なくとも1つが、テストのズーム撮影の位置として設定される。
次に、S603において、CPU201は、ズーム倍率調整手段として、マッチングテスト画面900において、ズーム倍率調整処理を行う。具体的に、CPU201は、ズーム撮影の位置とズーム倍率が設定された状態でテスト実行ボタン905がユーザーにより押下されることを検知すると、設定に従い制御コマンドを生成し、生成した制御コマンドをNWカメラ110に送信する。NWカメラ110は、制御コマンドを画像処理装置100から受信し、受信した制御コマンドが示す設定に従ってパンチルトズームをして撮影処理を行うことにより、ズーム画像を取得し、取得したズーム画像を画像処理装置100へ送信する。ちなみに、ズーム画像は、ズーム撮影により得られた画像を意味する。
次に、S604において、CPU201は、受信されたズーム画像に対してバーコード読み取り処理を行い、バーコード読み取り処理の結果(以下、単に「バーコードの読み取り結果」と称する)を表示領域901に表示させる。
そして、S605において、CPU201は、ユーザー操作に応じて、バーコードが正常に読み取れたかの判定処理を実行する。即ち、S605において、ユーザーは、表示領域901に表示されたバーコードの読み取り結果に基づいて、ズーム画像からバーコードが正常に読み取れたか否かを確認する。
S605において、バーコードが正常に読み取れたとユーザーに確認された場合に、入力装置206を介してバーコードが正常に読み取れたという第一判定信号が画像処理装置100へ送信される。CPU201は、第一判定信号を受信した場合に、ズーム倍率調整が未完了であると判断し、現在のズーム倍率をバーコードが正常に読み取れたズーム倍率として、RAM203に一時格納してから、処理をS603に戻す。
そして、CPU201は、S603において、ズーム倍率を下げるズーム倍率調整処理を行ってから、S604において、ズーム倍率調整処理で下げたズーム倍率で撮影されたズーム画像に対して、バーコード読み取り処理を再度行う。このように、CPU201は、S603で行われるズーム倍率を下げるズーム倍率調整処理を、S605でバーコードが正常に読み取れないと判定されるまで、繰り返して行う。即ち、CPU201は、ズーム倍率を下げながらズーム撮影によりズーム画像を取得し、取得したズーム画像に対して、バーコード読み取り処理を繰り返して実行することにより、ズーム倍率調整処理を行う。
一方、CPU201は、S605において、バーコードが正常に読み取れないと判定された場合、処理をS606に進める。即ち、S605において、バーコードが正常に読み取れないとユーザーに確認された場合に、入力装置206を介してバーコードが正常に読み取れないという第二判定信号が画像処理装置100へ送信される。CPU201は、第二判定信号を受信した場合に、処理をS606に進める。
S606において、CPU201は、ズーム倍率設定手段として、ズーム倍率を設定する。具体的に、S606において、CPU201は、バーコードが正常に読み取れた最後のズーム倍率をRAM203から呼び出し、第1実施形態に係る画像処理システムのズーム倍率設定値としてHDD205に保存してから、処理をS607に進める。
S607において、CPU201は、全体画像のサイズ(以下、「全体画像サイズ」と称する)、全体画像撮影時のズーム倍率(以下、「全体撮影時ズーム倍率」と称する)及びズーム倍率設定値に基づいて、後述するグループ化矩形のサイズを設定する。即ち、S607において、CPU201は、下記数1に基づき、グループ化矩形のサイズ(以下、「グループ化矩形サイズ」とも称する)を算出する。
[数1]
グループ化矩形サイズ=(全体撮影時ズーム倍率/ズーム倍率設定値)×全体画像サイズ
例えば、全体撮影時ズーム倍率が1倍であり、且つ、ズーム倍率設定値が3倍である場合に、上記数1に基づいて算出されたグループ化矩形サイズは、全体画像サイズの1/3の大きさとなる。S607において、CPU201は、このように算出(設定)されたグループ化矩形サイズをHDD205に保存してから、準備処理を終了する。
上述したように、画像処理装置100が準備処理を行ってから、第1実施形態に係る画像処理システムが着荷検収システムとして運用することができ、即ち、画像処理装置100が運用処理を行う。以下、第1実施形態に係る画像処理システムにおける画像処理装置100により行われる運用処理について説明する。図10は、画像処理装置100により行われる運用処理の流れを示すフローチャートである。
まず、S1000において、画像処理装置100のCPU201は、準備処理のS600にて設定された全体画像の撮影条件で制御コマンドを生成し、生成した制御コマンドをNWカメラ110に送信する。そして、NWカメラ110は、制御コマンドを画像処理装置100から受信し、受信した制御コマンドが示す設定に従ってパンチルトズームをして全体撮影位置に移動する。次に、S1001において、NWカメラ110は、全体画像を撮影するための全体撮影処理を実行することにより全体画像を取得し、取得した全体画像を画像処理装置100へ送信する。
次に、S1002において、CPU201は、S1001で受信された全体画像に対し、マッチング処理を行う。具体的に、S1002において、バーコード検出手段として機能するCPU201は、受信された全体画像に対し、図6の準備処理で設定された情報に従い、マッチング処理を行うことにより、荷札の領域(即ち、バーコード領域)を検出する。以下、S1002のマッチング処理で検出された荷札の領域(バーコード領域)を単に「検出領域」とも称する。また、S1002のマッチング処理で検出された荷札の領域(検出領域)の数をNとする。
S1003において、グループ作成手段として機能するCPU201はS1002のマッチング処理で検出された検出領域にグループ番号を割り当てることにより、検出領域をグループ化するグループ化処理を実行し、グループ(グループ化領域)を作成する。グループ化処理は、積荷Bの全ての荷物に添付された荷札の数より少ない回数のPTZ撮影で着荷検収を可能にするための処理である。グループ化処理の詳細は後述する。
次に、S1004において、CPU201は、S1003のグループ化処理で作成されたグループのうち、初期値としてグループ番号が1であるグループ(以下、「グループ1」と称する)を撮影対象とする。具体的に、S1004において、CPU201は、RAM203からグループ1のグループ化領域位置を取得し、取得したグループ化領域位置に対して、NWカメラ110をパンチルトズームし、撮影対象を撮影するための制御コマンドを生成する。
次に、S1005において、CPU201は、S1004で生成した制御コマンドをNWカメラ110に送信する。そして、NWカメラ110は、制御コマンドを画像処理装置100から受信し、受信した制御コマンドが示す設定に従ってパンチルトズームをして撮影対象を撮影する際のNWカメラ110の撮影位置(以下、「撮影対象撮影位置」と称する)に移動する。S1006においてNWカメラ110は撮影対象を撮影するためのズーム倍率設定値での撮影処理を実行することにより撮影対象が撮影されている画像(以下、「グループ画像」とも称する)を取得し、取得したグループ画像を画像処理装置100へ送信する。そして、画像処理装置100は、NWカメラ110から受信したグループ画像をRAM203に保存する。
次に、S1007において、CPU201は、画像処理領域設定手段として、RAM203に保存されているグループ画像に対して画像処理を行うための画像処理領域の設定を行う。S1105で決定されたグループ化領域の位置、範囲及びグループ化領域内にある検出領域の位置に基づいて、バーコードの位置を判定できるので、CPU201は、そのバーコードの存在する位置に対して画像処理を行うための画像処理領域の設定を行う。
次に、S1008において、CPU201は、情報読み取り手段として、RAM203に保存されたグループ画像に設定された画像処理領域に対して設定画面で設定された情報に従って、バーコードの情報を読み取るバーコード読み取り処理を行う。次に、S1009において、CPU201は、S1008で得られたバーコードの読み取り結果をHDD205に格納する。なお、S1008で得られたバーコードの読み取り結果が、HDD205以外の記憶部(例えば、着荷検収処理に使用されるDB120)に格納されてもよい。
次に、S1010において、CPU201は、S1003のグループ化処理により作成された全てのグループに対する撮影が完了したか否かの判定処理を行い、全てのグループに対する撮影が完了していなかったと判定した場合に、処理をS1011に進める。
そして、S1011において、CPU201は、現在の撮影対象となっているグループの次のグループ番号を有するグループ(以下、「次のグループ」と称する)を撮影対象とした後に、処理をS1005に戻す。このように、CPU201は、S1011で撮影対象を変更した後に、処理をS1005に戻し、変更後の撮影対象になるグループに対してグループ1と同様の撮影、画像処理領域設定、バーコード読み取り処理を実行する。
即ち、全てのグループに対する撮影が完了するまで、CPU201は、S1005からS1011までの処理を繰り返して行う。CPU201は、パンチルトズーム制御手段として、S1003のグループ化処理により作成された全てのグループ(グループ化領域)を順次、撮影するように、NWカメラ110のパンチルトズーム動作を制御する。
一方、S1010において、CPU201は、全てのグループに対する撮影が完了したと判定した場合に、運用処理を終了する。
以下、第1実施形態に係る画像処理システムにおける画像処理装置100により行われるグループ化処理について詳細に説明する。図11は、画像処理装置100により行われるグループ化処理(S1003のグループ化処理)の流れを示すフローチャートである。また、図12は、画像処理装置100により行われるグループ化処理(S1003のグループ化処理)の具体例を示す図である。
まず、S1100において、CPU201は、S607でHDD205に保存されたグループ化矩形サイズを読み出し、読み出したグループ化矩形サイズをグループ化処理におけるグループ化矩形のサイズとして設定し、処理をS1101に進める。グループ化処理におけるグループ化矩形は、準備処理のS606で設定されたズーム倍率(即ち、HDD205に保存されたズーム倍率設定値)でズーム撮影により取得されるズーム画像の画角を表す矩形である。運用処理のS1006で取得したグループ画像のサイズは、S1100で設定されたグループ化矩形のサイズと同じである。
図12において、1点鎖線で囲まれている矩形1200は、準備処理のS600で全体撮影を行った時の画角を表す矩形であり、即ち、矩形1200は、全体画像の撮影領域を表している。また、図12において、2点鎖線で囲まれている矩形1201は、準備処理のS606で設定されたズーム倍率(ズーム倍率設定値)でズーム撮影を行った時の画角を表す矩形であり、即ち、矩形1201は、グループ画像の撮影領域を表している。S1100で設定されたグループ化矩形のサイズは、矩形1201のサイズである。更に、図12において、破線で囲まれている矩形1202は、S1002のマッチング処理により検出された荷札の領域を表す矩形であり、即ち、矩形1202は、S1002のマッチング処理により検出された検出領域を表している。
S1101において、CPU201は、グループ番号が未割り当ての検出領域(以下、単に「グループ番号未割り当て検出領域」と称する)を探索し、探索により見つかったグループ番号未割り当て検出領域のうちの一つをグループ化処理の対象として設定する。以下、グループ番号未割り当て検出領域を「グループ化されていない検出領域」とも称する。また、グループ番号が割り当て済みの検出領域(以下、単に「グループ番号割り当て済み検出領域」と称する)を「グループ化された検出領域」とも称する。
次に、S1102において、CPU201は、S1002のマッチング処理で検出された全ての検出領域に対して、グループ化処理を行ったか否かを判定し、即ち、全ての検出領域がグループ化されたか否かを判定する。具体的に、S1102において、CPU201は、S1101で行われた探索により、グループ番号未割り当て検出領域が見つかったか否かの判定処理を実行する。S1102において、CPU201は、S1101の探索によりグループ番号未割り当て検出領域が見つかった場合に、即ち、全ての検出領域がグループ化されていないと判定した場合に、処理をS1103に進める。一方、S1102において、CPU201は、S1101の探索によりグループ番号未割り当て検出領域が見つからなかった場合に、即ち、全ての検出領域がグループ化されたと判定した場合に、グループ化処理を終了する。
そして、S1103において、CPU201は、グループ番号の設定を行う。具体的に、S1103において、CPU201は、グループ化処理のループ毎に、異なるグループ番号を設定する。グループ番号の設定方法として、グループ番号の初期値を1として、グループ化処理のループ毎に、グループ番号をインクリメントする方法でもよい。また、グループ化処理のループ毎に、グループ番号が重複しないように、例えばGUID値などの一意なグループ番号を設定する方法でもよい。因みに、第1実施形態では、グループ番号の設定方法として、グループ番号の初期値を1として、グループ化処理のループ毎に、グループ番号をインクリメントする方法が使用される。
次に、S1104において、CPU201は、S1101で設定されたグループ化処理の対象(即ち、S1101の探索により見つかった、一つのグループ番号未割り当て検出領域)に対して、グループ化探索処理を実行する。グループ化探索処理とはグループ化処理の対象であるグループ番号未割り当て検出領域(グループ化されていない検出領域)に接するように、グループ化領域を4隅に順次移動させながらグループ化領域内に他の検出領域が存在するか否かを判定する処理である。
ここで、具体例を挙げて、グループ化探索処理について詳細に説明する。グループ化探索処理の具体例を図13に示す。図13において、破線で囲まれている矩形1300は、グループ化処理の対象であるグループ番号未割り当て検出領域を表す矩形であり、また、2点鎖線で囲まれている矩形1301は、グループ化領域(グループ化矩形)を表している。以下、グループ化処理の対象であるグループ番号未割り当て検出領域1300を単に「検出領域1300」と称する。
図13の符号13-1で示された例では、検出領域1300の右下に接する位置にグループ化領域1301が接するように、グループ化領域1301が設定された場合に、CPU201は、グループ化領域1301内に他の検出領域が存在しないと判定する。判定後、同様に、図13の符号13-2~13-4で示されたように、CPU201は、検出領域1300に接する位置を変更することによりグループ化領域1301を順次変更しながら、グループ化領域内の検出領域の数をカウントし、RAM203に保存する。図13のいずれの場合も、CPU201は、S1104において、グループ化領域内の検出領域の数を1として、RAM203に保存させる。
図14の符号14-1で示された例及び図14の符号14-2で示された例は、グループ化領域内に他の検出領域が存在した場合のグループ化探索処理の具体例である。図14の符号14-1で示された例では、検出領域14-1aに接するようにグループ化領域を探索し、検出領域14-1aの左上に接する位置にグループ化領域を設定した場合に、検出領域14-1bが設定されたグループ化領域内に存在する。図14の符号14-1で示された例の場合は、CPU201は、S1104において、グループ化領域内の検出領域の数を2として、RAM203に保存させる。図14の符号14-2で示された例では、検出領域14-2aに接するようにグループ化領域を探索し、検出領域14-2aの左上に接する位置にグループ化領域を設定した場合に、検出領域14-2b及び14-2cが設定されたグループ化領域内に存在する。図14の符号14-2で示された例の場合は、CPU201は、S1104において、グループ化領域内の検出領域の数を3として、RAM203に保存させる。
次に、S1105において、CPU201は、グループ化領域位置を決定する。具体的に、CPU201は、S1104の処理で順次取得し、RAM203に保存されたグループ化領域内の検出領域の数が最も多い場合のグループ化領域の位置(中心位置)を取得し、取得したグループ化領域の位置をグループ化領域位置として決定する。
次に、S1106において、CPU201は、グループ化領域内の検出領域にグループ番号を割り当てる。具体的に、S1106において、CPU201は、S1105で決定されたグループ化領域位置に位置するグループ化領域内の全ての検出領域に、同一のグループ番号を割り当てる。
次に、S1107において、CPU201は、グループ番号重複消去処理を行ってから、処理をS1108に進める。グループ番号重複消去処理とは、S1106でグループ番号を割り当てる対象の検出領域が既にグループ番号が割り当てられた場合に、グループ番号の重複を消去する処理である。具体的に、グループ番号重複消去処理は、既に割り当てられているグループ番号のグループ個数より、新たに割り当てるグループ番号のグループ個数が多かった場合のみ、少ないグループ番号を消去し、多いグループ番号に更新する。よって、グループ番号重複消去処理は、グループ番号更新処理とも言える。因みに、グループ番号のグループ個数は、そのグループ番号を有するグループ化領域内の検出領域の数であり、そのグループ番号が割り当てられた検出領域の数を意味する。
ここで、具体例(図14の符号14-3で示された例及び図14の符号14-4で示された例)を挙げて、グループ番号重複消去処理(グループ番号更新処理)について詳細に説明する。
まず、図14の符号14-3で示された例では、検出領域14-3aに対してグループ化処理を行った場合に、検出領域14-3bを含むグループ(グループ化領域)が作成され、検出領域14-3a及び14-3bが同一グループとされる。その後、検出領域14-3cに対してグループ化処理を行った場合に、検出領域14-3bを含むグループ(グループ化領域)が作成され、検出領域14-3c及び14-3bが同一グループとされる。しかし、検出領域14-3bは前のグループ化処理で既にグループ番号を割り当てられており、グループ個数が後のグループ化処理の方と同一であるため、検出領域14-3bのグループ番号は、更新されない。
次に、図14の符号14-4で示された例では、検出領域14-4aに対してグループ化処理を行った場合に、検出領域14-4cを含むグループ(グループ化領域)が作成され、検出領域14-4a及び14-4cが同一グループとされる。その後、検出領域14-4bに対してグループ化処理を行った場合に、検出領域14-4c及び14-4dを含むグループ(グループ化領域)が作成され、検出領域14-4b、14-4c及び14-4dが同一グループとされる。検出領域14-4cは、前のグループ化処理で既にグループ番号を割り当てられているが、グループ個数が後のグループ化処理の方が多いため、検出領域14-4cのグループ番号は、新しいグループ番号に更新される。
そして、S1108において、CPU201は、S1103からS1107までの処理によって作成されたグループ(グループ化領域)に対して、グループ化領域位置修正処理を行う。グループ化領域位置修正処理とは、グループ化された検出領域の中心とグループ化領域の中心が一致するように、S1105で決定されたグループ化領域位置を修正する処理である。
ここで、具体例を挙げて、グループ化領域位置修正処理について詳細に説明する。まず、グループ化領域にグループ化された検出領域が1つのみ存在する場合のグループ化領域位置修正処理について、図15の符号15-1で示された例を用いて説明する。
図15の符号15-1で示された例では、S1105で決定されたグループ化領域位置は15-1aの位置であるが、グループ化領域位置修正処理により、グループ化領域位置が1つのグループ化された検出領域の中心位置である15-1bの位置へ修正される。
次に、グループ化領域にグループ化された検出領域が複数存在する場合のグループ化領域位置修正処理について、図15の符号15-2で示された例(グループ化領域に2つのグループ化された検出領域が存在する例)を用いて説明する。
図15の符号15-2で示された例では、S1105で決定されたグループ化領域位置は15-2aの位置であるが、グループ化領域位置修正処理により、グループ化領域位置が2つのグループ化された検出領域の中心位置である15-2bの位置へ修正される。
S1108において、CPU201は、グループ化領域位置修正処理により修正されたグループ化領域位置(以下、「修正後グループ化領域位置」と称する)をRAM203に保存する。即ち、図15の符号15-1で示された例では、15-1bの位置が、修正後グループ化領域位置としてRAM203に保存される。また、図15の符号15-2で示された例では、15-2bの位置が、修正後グループ化領域位置としてRAM203に保存される。
そして、CPU201は、S1108において修正後グループ化領域位置をRAM203に保存させた後に、処理をS1101に戻し、グループ番号未割り当て検出領域の探索処理を実行する。上述したように、S1102において、CPU201は、全ての検出領域がグループ化されたと判定した場合に、グループ化処理を終了する。
上述したように、グループ化処理は、積荷Bの全ての荷物に添付された荷札の数より少ない回数のPTZ撮影で着荷検収を可能にするための処理である。第1実施形態に係る画像処理システムでは、画像処理装置100のCPU201が行うグループ化処理によって得られたグループ化領域だけに対してPTZ撮影を行うので、着荷検収の全体作業時間を短縮させた。即ち、第1実施形態に係る画像処理システムによれば、検出領域の数より少ないグループ化領域の数と、同じ回数のPTZ撮影を行うだけで、検出領域の数と同じ数の荷物の着荷検収を可能にした。
以下、第1実施形態に係る画像処理システムにおける画像処理装置100により行われる準備処理の他の実施例について説明する。図16は、画像処理装置100により行われる準備処理の他の実施例の流れを示すフローチャートである。
まず、S1600、S1601及びS1602にて行われる各処理は、図6のS600、S601及びS602にて行われる各処理と同じであるため、それらの説明は省略する。
次に、S1603において、CPU201は、ズーム撮影位置調整手段として、マッチングテスト画面900において、ズーム撮影位置の調整処理を行う。具体的に、CPU201は、ズーム撮影位置とズーム倍率が設定された状態でテスト実行ボタン905がユーザーにより押下されることを検知すると、設定に従い制御コマンドを生成し、生成した制御コマンドをNWカメラ110に送信する。NWカメラ110は、制御コマンドを画像処理装置100から受信し、受信した制御コマンドが示す設定に従ってパンチルトズームをして撮影処理を行うことにより、ズーム画像を取得し、取得したズーム画像を画像処理装置100へ送信する。
次に、S1604において、CPU201は、受信されたズーム画像に対してバーコード読み取り処理を行い、バーコードの読み取り結果(即ち、バーコードの種類)を表示領域901に表示させる。
次に、S1605において、CPU201は、バーコードの読み取りに必要な解像度(以下、単に「バーコード読み取り解像度」と称する)を取得する。具体的に、S1605において、CPU201は、S1604で得られたバーコードの種類を、バーコードの種類と紐づけられたバーコード読み取り解像度(即ち、必要解像度)のマップデータと照合することにより、バーコード読み取り解像度を取得する。バーコードの種類と紐づけられた必要解像度のマップデータは、例えば、図17に示すようなテーブルになっており、予めHDD205に格納されている。なお、バーコードの種類と紐づけられた必要解像度のマップデータは、HDD205以外の記憶部(例えば、着荷検収処理に使用されるDB120)に格納されてもよい。また、マップデータの設定方法として、HDD205に格納されているマップデータをCPU201が読み出して設定するようにしてもよい。HDD205以外の記憶部(例えば、着荷検収処理に使用されるDB120)に格納されているマップデータをCPU201が読み出して設定するようにしてもよい。更に、CPU201は、ユーザー操作に応じて、マップデータを設定するようにしてもよい。
次に、S1606において、CPU201は、バーコードの読み取りに必要なズーム倍率(以下、単に「バーコード読み取りズーム倍率」と称する)を算出する。具体的に、S1606において、CPU201は、S1605で取得されたバーコード読み取り解像度と、S1604で取得されたバーコードの種類に基づいて、バーコード読み取りズーム倍率を算出する。例えば、ユーザー操作によって設定される、バーコードの種類、バーコード読み取り解像度と紐づけられているバーコード読み取りズーム倍率のマップデータを参照することで、バーコード読み取りズーム倍率を算出してもよい。
次に、S1607において、CPU201は、ズーム倍率設定手段として、ズーム倍率を設定する。具体的に、S1607において、CPU201は、S1606で第1実施形態に係る画像処理システムのズーム倍率設定値としてHDD205に保存し算出されたバーコード読み取りズーム倍率を、てから、処理をS1608に進める。
因みに、S1608にて行われる処理は、図6のS607にて行われる処理と同じであるため、その説明は省略する。
S1606において、CPU201は、バーコード読み取りズーム倍率を算出する際に、以下の算出方法を用いてもよい。
全体撮影時ズーム倍率が1倍であり、S1603で設定したズーム撮影位置の倍率設定値が4倍であり、バーコードの種類がバーコード種(1)であり、バーコードの幅が400pixである場合に、バーコード読み取りズーム倍率が次のように算出される。
上記の例では、バーコード種(1)は、幅300pixで読み取ることが可能であるため、ズーム倍率は、3/4の設定値であり、即ち、ズーム倍率3倍であっても、読み取ることが可能である。
なお、画像処理装置100が図6のフローに示された準備処理を行ってもよいし、画像処理装置100が図16のフローに示された準備処理を行ってもよい。
以上、本発明の好ましい実施の形態について説明したが、本発明は上述した各実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
本発明は、上述の各実施の形態の1以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの1つ以上のプロセッサーがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100 画像処理装置
110 NWカメラ
120 DB
130 POEハブ
140 PLC
150 センサ
201 CPU
202 ROM
203 RAM
204 ディスプレイ
205 HDD
206 入力装置
207 記録メディア・ドライブ
208 I/F
301 パン駆動部
302 チルト駆動部
303 鏡筒部
304 パン方向
305 チルト方向
306 ローテーション方向
307 ドーム
401 レンズ部
402 CCD(Charge Coupled Device)部
403 信号処理部
404 画像解析部
405 符号化部
406 通信処理部
407 カメラ制御部
408 モータ駆動部
409 パン・チルト・ローテーションモータ部
410 レンズ駆動部
411 CPU
412 ROM
413 RAM
414 フラッシュメモリ
700 全体画像
701 マッチングモデル
800 マッチング処理の設定画面
801 ユーザーにより設定された枠
802 マッチングモデル表示領域
803 マッチングパラメータの設定領域
900 マッチングテスト画面
901 表示領域
902 マッチング結果を示す枠
903 ズーム撮影の位置設定領域
904 ズーム倍率の設定領域
905 テスト実行ボタン
1200 全体画像の撮影領域
1201 グループ画像の撮影領域
1202 検出領域

Claims (10)

  1. パンチルトズームの機能を有する撮影手段による全体撮影により取得された、読み取り対象となる全てのバーコードを含む全体画像に対し、マッチング処理を行うことにより、バーコード領域を検出するバーコード検出手段と、
    ズーム倍率設定値を設定するズーム倍率設定手段と、
    前記ズーム倍率設定手段により設定された前記ズーム倍率設定値でズーム撮影を行う時の画角に基づいて、前記バーコード検出手段により検出された複数の前記バーコード領域をグループ化することにより、グループ化領域を作成するグループ作成手段と、
    前記グループ作成手段により作成された前記グループ化領域を順次、前記ズーム倍率設定値で撮影するように、前記撮影手段のパンチルトズーム動作を制御するパンチルトズーム制御手段と、
    前記グループ化領域を前記パンチルトズーム動作の後に前記撮影手段により撮影することで得られたグループ画像に対して、画像処理領域を設定する画像処理領域設定手段と、
    前記画像処理領域設定手段により設定された前記画像処理領域に含まれる前記バーコード領域ごとにその情報を読み取るバーコード読み取り処理を行う情報読み取り手段と、
    を備えることを特徴とする画像処理装置。
  2. 前記バーコード検出手段は、前記全体画像から指定されたバーコード領域の画像を前記マッチング処理のマッチングモデルとすることを特徴とする請求項1に記載の画像処理装置。
  3. 前記パンチルトズーム制御手段は、前記グループ化領域が作成された後に、前記グループ化領域の中心位置が前記ズーム撮影の中心となるように、前記パンチルトズーム動作を制御することを特徴とする請求項1又は2に記載の画像処理装置。
  4. 前記グループ画像のサイズは、全体撮影時ズーム倍率、前記ズーム倍率設定値及び前記全体画像のサイズに基づいて決定されることを特徴とする請求項1乃至3のうち何れか1項に記載の画像処理装置。
  5. 前記撮影手段によるズーム撮影により取得された、前記読み取り対象となるバーコードを含むズーム画像に対して、前記バーコード読み取り処理を行い、ユーザー操作に応じて、前記バーコードが正常に読み取れたかの判定処理を実行し、
    前記バーコードが正常に読み取れたと判定された場合に、現在のズーム倍率を前記バーコードが正常に読み取れたズーム倍率としてから、前記現在のズーム倍率を下げるズーム倍率調整処理を行い、前記ズーム倍率調整処理で下げたズーム倍率で前記ズーム撮影、前記バーコード読み取り処理、及び前記判定処理を繰り返して実行し、
    前記バーコードが正常に読み取れなくなったと判定された場合に、前記バーコードが正常に読み取れた最後のズーム倍率を前記ズーム倍率設定値として設定することを特徴とする請求項1乃至4のうち何れか1項に記載の画像処理装置。
  6. 前記撮影手段によるズーム撮影により取得された、前記読み取り対象となるバーコードを含むズーム画像に対して、前記バーコード読み取り処理を行い、
    前記バーコード読み取り処理で得られた前記バーコードの種類に応じて、前記バーコードの読み取りに必要なバーコード読み取り解像度を取得し、
    取得された前記バーコード読み取り解像度と、前記バーコードの種類に基づいて、前記バーコードの読み取りに必要なバーコード読み取りズーム倍率を算出し、
    算出された前記バーコード読み取りズーム倍率を前記ズーム倍率設定値として設定することを特徴とする請求項1乃至4のうち何れか1項に記載の画像処理装置。
  7. 前記バーコードの種類と紐づけられている前記バーコード読み取り解像度のマップデータがユーザー操作によって設定されることを特徴とする請求項6に記載の画像処理装置。
  8. 前記バーコードの種類、前記バーコード読み取り解像度と紐づけられている前記バーコード読み取りズーム倍率のマップデータがユーザー操作によって設定されることを特徴とする請求項6又は7に記載の画像処理装置。
  9. 画像処理装置が実行する画像処理方法であって、
    パンチルトズームの機能を有する撮影手段による全体撮影により取得された、読み取り対象となる全てのバーコードを含む全体画像に対し、マッチング処理を行うことにより、バーコード領域を検出するバーコード検出工程と、
    ズーム倍率設定値を設定するズーム倍率設定工程と、
    前記ズーム倍率設定工程により設定された前記ズーム倍率設定値でズーム撮影を行う時の画角に基づいて、前記バーコード検出工程により検出された複数の前記バーコード領域をグループ化することにより、グループ化領域を作成するグループ作成工程と、
    前記グループ作成工程により作成された前記グループ化領域を順次、前記ズーム倍率設定値で撮影するように、前記撮影手段のパンチルトズーム動作を制御するパンチルトズーム制御工程と、
    前記グループ化領域を前記パンチルトズーム動作の後に前記撮影手段により撮影することで得られたグループ画像に対して、画像処理領域を設定する画像処理領域設定工程と、
    前記画像処理領域設定工程により設定された前記画像処理領域に含まれる前記バーコード領域ごとにその情報を読み取るバーコード読み取り処理を行う情報読み取り工程と、
    を有することを特徴とする画像処理方法。
  10. 請求項1乃至請求項8のうち何れか1項に記載の画像処理装置の各手段をコンピュータに実行させるためのプログラム。
JP2021084732A 2021-05-19 2021-05-19 画像処理装置、画像処理方法及びプログラム Pending JP2022178159A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021084732A JP2022178159A (ja) 2021-05-19 2021-05-19 画像処理装置、画像処理方法及びプログラム
US17/743,280 US11800230B2 (en) 2021-05-19 2022-05-12 Image processing apparatus of reducing whole operation time of arrival inspection, image processing method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021084732A JP2022178159A (ja) 2021-05-19 2021-05-19 画像処理装置、画像処理方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2022178159A true JP2022178159A (ja) 2022-12-02

Family

ID=84102955

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021084732A Pending JP2022178159A (ja) 2021-05-19 2021-05-19 画像処理装置、画像処理方法及びプログラム

Country Status (2)

Country Link
US (1) US11800230B2 (ja)
JP (1) JP2022178159A (ja)

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002104771A (ja) * 2000-07-25 2002-04-10 Inst Of Physical & Chemical Res コンテナ位置検出装置
SG175299A1 (en) * 2009-04-30 2011-11-28 Azimuth Intellectual Products Pte Ltd Apparatus and method for acquiring an image of a pallet load
WO2011083479A1 (en) * 2010-01-11 2011-07-14 Hi-Tech Solutions Ltd. System and method for recognizing a unit load device (uld) number marked on an air cargo unit
JP2011150460A (ja) 2010-01-20 2011-08-04 Hitachi Information & Control Solutions Ltd 入出庫管理システムおよび入出庫管理方法
US9317037B2 (en) * 2011-10-03 2016-04-19 Vocollect, Inc. Warehouse vehicle navigation system and method
US10430776B2 (en) * 2014-01-09 2019-10-01 Datalogic Usa, Inc. System and method for exception handling in self-checkout and automated data capture systems
US10248879B2 (en) * 2016-06-22 2019-04-02 United States Postal Service Item tracking using a dynamic region of interest
US10643038B1 (en) * 2018-02-09 2020-05-05 Amazon Technologies, Inc. Multi sensor domain—multi tier camera system for package identification
JP7199845B2 (ja) 2018-06-19 2023-01-06 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP7229881B2 (ja) * 2018-08-14 2023-02-28 キヤノン株式会社 医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム
JP7067410B2 (ja) * 2018-10-15 2022-05-16 トヨタ自動車株式会社 ラベル読取システム
US11012606B1 (en) * 2020-09-03 2021-05-18 Illuscio, Inc. Systems and methods for directly focusing on features in images and maps

Also Published As

Publication number Publication date
US11800230B2 (en) 2023-10-24
US20220377241A1 (en) 2022-11-24

Similar Documents

Publication Publication Date Title
JP7199845B2 (ja) 画像処理装置、画像処理方法及びプログラム
US8073206B2 (en) Face feature collator, face feature collating method, and program
JP4770493B2 (ja) 遠隔指示システム及び遠隔指示方法
EP1635573A2 (en) Imaging system and imaging method
JP7013210B2 (ja) 撮像装置、撮像方法、表示装置および表示方法
JP2004318823A (ja) 情報表示システム、情報処理装置、ポインティング装置および情報表示システムにおけるポインタマーク表示方法
US20050100087A1 (en) Monitoring system and method, program, and recording medium
CN108965656B (zh) 显示控制设备、显示控制方法和存储介质
JP7493927B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6624800B2 (ja) 画像処理装置、画像処理方法、及び画像処理システム
JP2010074264A (ja) 撮影装置及び撮影システム
JP2017028585A (ja) 撮影システム及びその制御方法、コンピュータプログラム
JP2022178159A (ja) 画像処理装置、画像処理方法及びプログラム
JP7497203B2 (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
JP7565760B2 (ja) 制御装置、制御方法
JP3969172B2 (ja) モニタリングシステムおよび方法並びにプログラムおよび記録媒体
JPH11103457A (ja) 監視カメラシステム
JP3991816B2 (ja) モニタリングシステムおよび方法並びにプログラムおよび記録媒体
JP6819478B2 (ja) コンピュータプログラム、プリセット情報登録方法およびプリセット情報登録装置
JPWO2019082429A1 (ja) 製造作業支援システム、製造作業支援方法およびプログラム
JP2019101783A (ja) 情報処理装置及び方法
JP2003324717A (ja) モニタリングシステムおよび方法、並びにプログラムおよび記録媒体
JP2013012848A (ja) カメラ装置及びその制御方法
JP2019115057A (ja) 撮像装置、撮像装置の制御方法、および、プログラム
JP2006148406A (ja) モニタリングシステム