JP2021082907A - 情報処理装置、点灯装置、プログラム、及び情報処理システム - Google Patents

情報処理装置、点灯装置、プログラム、及び情報処理システム Download PDF

Info

Publication number
JP2021082907A
JP2021082907A JP2019207798A JP2019207798A JP2021082907A JP 2021082907 A JP2021082907 A JP 2021082907A JP 2019207798 A JP2019207798 A JP 2019207798A JP 2019207798 A JP2019207798 A JP 2019207798A JP 2021082907 A JP2021082907 A JP 2021082907A
Authority
JP
Japan
Prior art keywords
image
pattern
time
lighting
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019207798A
Other languages
English (en)
Inventor
清史 相川
Seishi Aikawa
清史 相川
啓 下谷
Hiroshi Shitaya
啓 下谷
松本 大輔
Daisuke Matsumoto
大輔 松本
周平 小早川
Shuhei Kobayakawa
周平 小早川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Business Innovation Corp filed Critical Fujifilm Business Innovation Corp
Priority to JP2019207798A priority Critical patent/JP2021082907A/ja
Priority to CN202010468860.3A priority patent/CN112822411A/zh
Priority to US16/885,292 priority patent/US11877098B2/en
Publication of JP2021082907A publication Critical patent/JP2021082907A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145Illumination specially adapted for pattern recognition, e.g. using gratings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • G08B5/36Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission using visible light sources
    • G08B5/38Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission using visible light sources using flashing light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/16Image acquisition using multiple overlapping images; Image stitching

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Optical Communication System (AREA)

Abstract

【課題】1秒間の撮像回数が100回以下の撮像装置を用いても、所定の空間内で移動する複数の点灯装置のそれぞれが、点灯のパターンにより伝える情報を特定できるようにする。【解決手段】取得部111は、通信部13を介して、決められたパターンに沿って点滅を繰り返す1以上のタグ(点灯装置)を周期的に撮像した複数の画像のうち、点灯しているタグが撮像された第1画像及び第2画像を取得する。分類部112は、第1画像が示すタグから第2画像が示すタグまでの距離が、第1画像の撮像時から第2画像の撮像時までの期間に応じた範囲内であると判定する場合、第1画像が分類されるグループに第2画像を分類して、これら2つのタグを同一視する。特定部113は、分類部112により共通のグループに分類される画像の情報を用いて、点滅するタグにより表されるパターンを特定する。【選択図】図5

Description

本発明は、情報処理装置、点灯装置、プログラム、及び情報処理システムに関する。
点灯するタグをカメラが撮像し、撮像されたその画像の中の、タグの点灯を示す情報に基づいて情報処理装置がそのタグの位置を推定するシステムがある。このシステムでは、空間内を移動する物品に点灯するタグを貼り付けておき、その空間をカメラが周期的に撮像する。そして、このシステムの情報処理装置は、得られた画像に含まれるタグの光から物品の位置を把握する。このシステムは例えば工場や倉庫等で取扱物品の管理等に用いられる。
このシステムで、タグは伝えようとする情報に応じたパターンで点灯と消灯とを繰り返す。そのため、情報処理装置は、そのパターンが少なくとも一巡するまで画像を収集しなければ、パターンにより伝えようとする情報を解読できない。しかし、タグが貼り付けられた物品は空間内を移動可能であり、また、消灯時のタグは周囲と見分けがつかない。そのため、タグが消灯している時間が長く、物品の移動速度が速いほど、情報処理装置は、タグを見失い易い。そこで、タグを見失わないようにするための技術が開発されている。
例えば、特許文献1には、カメラ画像に含まれる光点を囲むようにテンプレート領域を設定し、そのテンプレート領域の周囲に探索領域を設定し、フレーム毎に探索領域を探索して対象光点のテンプレート値と最も近いテンプレート値を有する領域の情報を光点軌跡として保持し、光点軌跡が示す範囲に閾値以上の光点があるかどうか判断し、閾値以上の光点があると判断したときの第1値、閾値以上の光点がないと判断したときの第2値をそれぞれ保持し、保持された第1値及び第2値をデコードしてIDを認識する、光学タグシステムが記載されている。
また、特許文献2には、デジタルカメラで撮影した画像に含まれる、時系列に変化する光変化領域を検出し、その光変化領域の画像中の位置を検出し、その位置に基づく所定の範囲内で画像処理上の特徴量が大きい局所領域を検索して、その動きを追尾する撮像装置が記載されている。
また、非特許文献1又は非特許文献2には、対象物体の移動速度に対して高速に点滅する光ビーコンと、この光ビーコンを捉える高速な専用カメラと、を使用する測位方式が記載されている。
特開2005−252399号公報 特開2015−177262号公報
松下伸行、日原大輔、後輝行、吉村真一、暦本純一。IDCam:シーンとIDを同時に取得可能なイメージセンサ。インタラクション2002pp.9−16 伊藤禎宣、角康之、間瀬健二。赤外線IDセンサ用いた設置・着用型インタラクション記録装置。インタラクション2003pp.237−238
これらの「タグを追跡するシステム」は、比較的高い空間解像度とテンプレートマッチングを行うことにより、高精度なタグの追跡が可能となることが考えられる。しかし、空間解像度を上げ、又はテンプレートマッチングを行うと、これらのシステムは、処理にかかる金額的なコストや演算量のコストが大きくなる。
本発明の目的の一つは、例えば1秒間の撮像回数が100回以下の撮像装置を用いて、所定の空間内で移動する複数の点灯装置のそれぞれが、点灯のパターンにより伝える情報を特定すること、である。
本発明の請求項1に係る情報処理装置は、プロセッサを有し、前記プロセッサは、決められたパターンに沿って点滅を繰り返す1以上の点灯装置を周期的に撮像した複数の画像のうち、点灯している点灯装置が撮像された第1画像及び第2画像を取得し、前記第1画像が示す前記点灯装置の位置から、前記第2画像が示す前記点灯装置の位置までの距離が、該第1画像の撮像時から該第2画像の撮像時までの期間に応じた範囲内である場合、該第1画像及び該第2画像がそれぞれ示す前記点灯装置を同一視し、該点灯装置による前記パターンを特定する情報処理装置である。
本発明の請求項2に係る情報処理装置は、請求項1に記載の態様において、前記プロセッサは、特定した前記パターンが決められた条件を満たさない場合、前記第1画像を、前記複数の画像のうち、点灯している点灯装置が撮像された他の画像に変更する情報処理装置である。
本発明の請求項3に係る情報処理装置は、請求項2に記載の態様において、前記プロセッサは、前記パターンが前記条件を満たさない場合、前記第1画像を、該パターンの特定に用いていない前記他の画像に変更する情報処理装置である。
本発明の請求項4に係る情報処理装置は、請求項2又は3に記載の態様において、前記条件は、予め決められたチェックパターンを含むことである情報処理装置である。
本発明の請求項5に係る情報処理装置は、請求項1から4のいずれか1項に記載の態様において、前記プロセッサは、前記第1画像の撮像時から前記第2画像の撮像時までの期間が、決められた時間を超え、かつ、該期間に前記第1画像が示す前記点灯装置を撮像した画像が取得されない場合に、該第1画像及び該第2画像がそれぞれ示す前記点灯装置を同一視しない情報処理装置である。
本発明の請求項6に係る情報処理装置は、請求項1から5のいずれか1項に記載の態様において、前記プロセッサは、前記第2画像の撮像後に、点灯している点灯装置が撮像された第3画像を取得し、前記第2画像が示す前記点灯装置の位置から、前記第3画像が示す前記点灯装置の位置までの距離が、該第2画像の撮像時から該第3画像の撮像時までの期間に応じた範囲内である場合、前記第1画像、前記第2画像及び前記第3画像がそれぞれ示す前記点灯装置を同一視し、該点灯装置による前記パターンを特定する情報処理装置である。
本発明の請求項7に係る情報処理装置は、請求項1から6のいずれか1項に記載の態様において、前記プロセッサは、特定した前記パターンに基づいて、前記点灯装置を識別する識別情報を特定する情報処理装置である。
本発明の請求項8に係る点灯装置は、点灯手段と、プロセッサと、を有し、前記プロセッサは、自身を識別する識別情報に応じたパターンに沿って前記点灯手段を点滅させ、前記パターンに沿って前記点灯手段を点灯させる場合には、決められた第1時間以上の時間にわたって該点灯手段を点灯させ、前記パターンに沿って前記点灯手段を連続して消灯させる場合には、該点灯手段を消灯させてから次に点灯させるまでの期間が決められた第2時間を超えないように該点灯手段を消灯させる点灯装置である。
本発明の請求項9に係る点灯装置は、請求項8に記載の態様において、予め決められたチェックパターンを記憶するメモリを有し、前記パターンは、前記チェックパターンを含む点灯装置である。
本発明の請求項10に係る点灯装置は、請求項8又は9に記載の態様において、前記第1時間は、自身を撮像する撮像装置の露光時間であり、前記第2時間は、自身が移動し得る移動可能速度に応じて定められる時間である点灯装置である。
本発明の請求項11に係る点灯装置は、請求項8から10のいずれか1項に記載の態様において、前記プロセッサは、前記パターンに沿って前記点灯手段を点滅させた後に、前記第2時間を超える消灯時間にわたり該点灯手段を連続して消灯させてから、該パターンに沿って繰り返し該点灯手段を点滅させる点灯装置である。
本発明の請求項12に係るプログラムは、プロセッサに、決められたパターンに沿って点滅を繰り返す1以上の点灯装置を周期的に撮像した複数の画像のうち、点灯している点灯装置が撮像された第1画像及び第2画像を取得するステップと、前記第1画像が示す前記点灯装置の位置から、前記第2画像が示す前記点灯装置の位置までの距離が、該第1画像の撮像時から該第2画像の撮像時までの期間に応じた範囲内である場合、該第1画像及び該第2画像がそれぞれ示す前記点灯装置を同一視し、該点灯装置による前記パターンを特定するステップと、を実行させるプログラムである。
本発明の請求項13に係るプログラムは、点灯装置に固定された点灯手段を制御するプロセッサに、自身を識別する識別情報に応じたパターンに沿って前記点灯手段を点滅させるステップと、前記パターンに沿って前記点灯手段を点灯させる場合には、決められた第1時間以上の時間にわたって該点灯手段を点灯させるステップと、前記パターンに沿って前記点灯手段を連続して消灯させる場合には、該点灯手段を消灯させてから次に点灯させるまでの期間が決められた第2時間を超えないように該点灯手段を消灯させるステップと、を実行させるプログラムである。
本発明の請求項14に係る情報処理システムは、点灯手段及び第1プロセッサを有する1以上の点灯装置と、第2プロセッサを有する情報処理装置と、を有し、前記第1プロセッサは、前記点灯装置を識別する識別情報に応じたパターンに沿って前記点灯手段を点滅させ、前記パターンに沿って前記点灯手段を点灯させる場合には、決められた第1時間以上の時間にわたって該点灯手段を点灯させ、前記パターンに沿って前記点灯手段を連続して消灯させる場合には、該点灯手段を消灯させてから次に点灯させるまでの期間が決められた第2時間を超えないように該点灯手段を消灯させ、前記第2プロセッサは、前記点灯装置を周期的に撮像した複数の画像のうち、点灯している前記点灯装置が撮像された第1画像及び第2画像を取得し、前記第1画像が示す前記点灯装置の位置から、前記第2画像が示す前記点灯装置の位置までの距離が、該第1画像の撮像時から該第2画像の撮像時までの期間に応じた範囲内である場合、該第1画像及び該第2画像がそれぞれ示す前記点灯装置を同一視し、該点灯装置による前記パターンを特定する、情報処理システムである。
請求項1、12、13、14に係る発明によれば、例えば1秒間の撮像回数が100回以下の撮像装置を用いても、所定の空間内で移動する複数の点灯装置のそれぞれが、点灯のパターンにより伝える情報を特定することができる。
請求項2に係る発明によれば、特定したパターンが決められた条件を満たさないときに、変更した第1画像を用いて新たなパターンの特定が試みられる。
請求項3に係る発明によれば、パターンの特定に用いた第1画像以外の画像が示す点灯装置の位置を、パターンが特定された後に記憶しつづけなくてよい。
請求項4に係る発明によれば、特定したパターンが予め決められたチェックパターンを含まないときに、新たなパターンの特定が試みられる。
請求項5に係る発明によれば、決められた時間を超えた消灯時間を挟んで撮像された点灯している点灯装置を同一視しない。
請求項6に係る発明によれば、同一視された点灯装置のうち、最後に撮像された点灯装置の位置を用いて、次に同一視すべき点灯装置が判定される。
請求項7に係る発明によれば、特定したパターンからそのパターンを表した点灯装置の識別情報が特定される。
請求項8に係る発明によれば、自身を撮像した画像から点灯が認識されるように点灯手段を点灯させ、かつ、自身が他の点灯装置と同一視されないないように点灯手段を連続して消灯させる。
請求項9に係る発明によれば、チェックパターンによりチェックし得るパターンが表される。
請求項10に係る発明によれば、点灯手段を点灯させる場合には点灯装置を撮像する撮像装置の露光中に点灯させ、点灯手段を連続して消灯させる場合には点灯装置の移動可能速度に応じて定められる時間を超えないように消灯させる。
請求項11に係る発明によれば、点灯手段をパターンに沿って点滅させた後、次にそのパターンに沿って点滅させるまでの消灯時間が定められる。
情報処理システム8の全体構成の一例を示す図。 情報処理装置1の構成の一例を示す図。 タグ2の構成の一例を示す図。 撮像装置4の構成の一例を示す図。 情報処理装置1の機能的構成の一例を示す図。 第1画像からタグ2を検出する動作の流れの一例を示す図。 同一視されるタグ2を特定する動作の流れの一例を示す図。 グループを更新する動作の流れの一例を示す図。 タグ2の位置及び識別情報が特定される過程を説明するための図。 消灯時間と移動範囲との関係を説明するための図。
<実施形態>
<情報処理システムの構成>
図1は、情報処理システム8の全体構成の一例を示す図である。情報処理システム8は、情報処理装置1と、タグ2と、撮像装置4と、を有する。
情報処理装置1は、情報処理を行うための装置であり、例えばパーソナルコンピューター、スマートフォン、スレートPC、タブレットPC等である。
タグ2は、点灯装置の一例である。このタグ2は、空間100を移動可能な物品に貼り付けられ、後述する点灯手段23が点灯することにより情報を発信する。情報処理システム8は、1つの空間100に複数のタグ2が存在している場合を想定している。ここで、空間100とは、例えば、工場や倉庫等の建屋内の空間であり、物品とは、例えば、工場内で利用され管理されている工具や、加工対象物、倉庫内で保管される商品、証拠品等である。また、物品とは、人が着用する服や帽子、名札、腕章、メガネ、ウェアラブル端末等である。タグ2は、これが貼り付けられた物品が搬送され、又はその物品を着用した作業員等が移動することに伴って、空間100を移動する。
撮像装置4は、空間100に設置され、この空間100を周期的に撮像するデジタルビデオカメラ等である。撮像装置4は、情報処理装置1と有線又は無線により通信可能に接続されている。撮像装置4が撮像する動画は、周期的に撮像された複数の画像から構成される。これら複数の画像は、それぞれ情報処理装置1に伝えられる。
なお、情報処理装置1と、撮像装置4とは、図1に示す通り有線で接続されるほか、例えばIEEE802.15等の規格に準拠した近距離無線通信によって接続されてもよく、また、LAN(Local Area Network)、WAN(Wide Area Network)、インターネット等の通信回線を介して接続されてもよい。
<情報処理装置の構成>
図2は、情報処理装置1の構成の一例を示す図である。図2に示す情報処理装置1は、プロセッサ11、メモリ12、通信部13、操作部14、及び表示部15を有する。これらの構成は、例えばバスで、互いに通信可能に接続されている。
プロセッサ11は、メモリ12に記憶されているコンピュータプログラム(以下、単にプログラムという)を読出して実行することにより情報処理装置1の各部を制御する。プロセッサ11は、例えばCPU(Central Processing Unit)である。
通信部13は、有線又は無線により情報処理装置1を、他の装置に通信可能に接続する通信回路である。図2に示す通信部13は、図1に示した通り、有線で情報処理装置1と撮像装置4とを直接、接続する。
操作部14は、各種の指示をするための操作ボタン、キーボード、タッチパネル、マウス等の操作子を備えており、操作を受付けてその操作内容に応じた信号をプロセッサ11に送る。この操作は、例えば、キーボードに対する押下やタッチパネルに対するジェスチャー等である。
表示部15は、液晶ディスプレイ等の表示画面を有しており、プロセッサ11の制御の下、画像を表示する。表示画面の上には、操作部14の透明のタッチパネルが重ねて配置されてもよい。なお、情報処理装置1は、操作部14及び表示部15を有しなくてもよい。情報処理装置1は、通信部13を介して外部の装置から操作され、又は外部の装置に情報を提示してもよい。
メモリ12は、プロセッサ11に読み込まれるオペレーティングシステム、各種のプログラム、データ等を記憶する記憶手段である。メモリ12は、RAM(Random Access Memory)やROM(Read Only Memory)を有する。なお、メモリ12は、ソリッドステートドライブ、ハードディスクドライブ等を有してもよい。
また、メモリ12は、チェックパターン121を記憶する。チェックパターン121は、タグ2が点滅することによって表すパターンに含まれるはずの予め定められたパターンである。予め定められたパターンとは、例えば、一連の意味のある点滅パターンの先頭、又は終端を表すパターンである。プロセッサ11は、通信部13を介して撮像装置4から取得した複数の画像から点滅するタグ2を特定し、このタグ2の点滅によって表されるパターンを解析する。そして、プロセッサ11は、解析されたパターンと、チェックパターン121と、を照合することにより、解析されたパターンが、タグ2により表されたパターンであるか否かを判定する。
<タグの構成>
図3は、タグ2の構成の一例を示す図である。タグ2は、プロセッサ21、メモリ22、及び点灯手段23を有する。
プロセッサ21は、メモリ22に記憶されているプログラムを読出して実行することによりタグ2の各部を制御する。プロセッサ21は、例えばCPUである。
メモリ22は、プロセッサ11に読み込まれるオペレーティングシステム、各種のプログラム、データ等を記憶する記憶手段である。メモリ22は、RAMやROMを有する。
また、メモリ22は、チェックパターン221とタグID222とを記憶する。チェックパターン221は、タグ2が点滅することによって表すパターンに含ませる、予め定められたパターンであり、上述したチェックパターン121と共通のパターンである。タグID222は、タグ2を識別するための識別情報であって、この識別情報を点滅のパターンで表したものである。タグID222は、各タグ2にそれぞれ固有のものが割り当てられている。
プロセッサ21は、メモリ22からチェックパターン221とタグID222とを読出して、これらを含めたパターンを生成し、発光素子等である点灯手段23を点滅させる。したがって、このタグ2は点灯手段23と、プロセッサ21と、予め決められたチェックパターン221を記憶するメモリ22と、を有する。そして、プロセッサ21が点灯手段23を点滅させるパターンは、このチェックパターン221と、このタグ2に固有のタグID222と、を含む。
このパターンにおいて、チェックパターン221及びタグID222の順序は、限定されないが、タグID222の直前、又は直後に、チェックパターン221が出現する順序であることが望ましい。
また、この一連の意味のあるパターンの情報量は、限定されないが、例えば16bitの固定長である。この場合、例えば、タグID222の情報量は11bitであり、2048個のタグの個体を識別することができる。また、チェックパターン221の情報量は5bitである。また、タグID222の情報量は内容ごとに異なってもよく、パターンは可変長符号により符号化されたものでもよい。
点灯手段23は、プロセッサ21の制御の下、発光(すなわち、点灯)する発光素子等であり、例えば、LED(light emitting diode)等である。点灯手段23は、プロセッサ21により点灯のタイミングや長さが制御される。点灯手段23から照射される光は、可視光や紫外線であってもよいが、本実施形態では赤外線で説明する。この実施形態において、点灯手段23から照射される光は、中心波長が880ナノメートルの近赤外線である。
プロセッサ21は、点灯手段23を点灯させる場合には、情報処理装置1により点灯が認識されるように、決められた時間(第1時間ともいう)以上の時間にわたって点灯させる処理を実行する。
第1時間は、例えば、撮像装置4の露光時間である。この場合、プロセッサ21は、露光時間以上の時間にわたって点灯手段23を点灯させる処理を実行する。これにより、プロセッサ21は、露光のタイミングと点灯のタイミングとがずれたとしても、撮像装置4の露光中に点灯手段23を点灯させる。この場合、プロセッサ21は、タグ2自身を識別する識別情報に応じたパターンに沿って点灯手段を点滅させ、このパターンに沿ってこの点灯手段を点灯させる場合には、タグ2自身を撮像する撮像装置の露光時間にわたってこの点灯手段を点灯させる。なお、撮像装置4の露光時間は、当然に、撮像装置4のフレームレートから定まる1フレームあたりの撮像時間よりも短い。
<撮像装置の構成>
図4は、撮像装置4の構成の一例を示す図である。撮像装置4は、プロセッサ41、メモリ42、通信部13、魚眼レンズ44、及び撮像素子45を有する。
プロセッサ41は、メモリ42に記憶されているプログラムを読出して実行することにより撮像装置4の各部を制御する。プロセッサ41は、例えばCPUである。
メモリ42は、プロセッサ41に読み込まれるオペレーティングシステム、各種のプログラム、データ等を記憶する記憶手段である。メモリ42は、RAMやVRAM(Video RAM)、ROMを有する。メモリ42は、ソリッドステートドライブ、ハードディスクドライブ等を有してもよい。
通信部43は、有線又は無線により撮像装置4を、他の装置に通信可能に接続する通信回路である。図4に示す通信部43は、図1に示す通り、有線で情報処理装置1と撮像装置4とを直接、接続する。
魚眼レンズ44は、空間100に向けられたレンズであり、空間100からの光を等距離射影方式、等立体角射影方式、正射影方式等の方式によって捉えて撮像素子45に集める。図4に示す魚眼レンズ44は、画角が180度であり、等距離射影方式で空間100からの光を捉えている。
撮像素子45は、プロセッサ41の制御の下、魚眼レンズ44で捉えた光を電気信号に変換する。撮像素子45は、例えば、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等である。プロセッサ41は、撮像素子45を制御して電気信号から画像データを生成し、生成した画像データをメモリ42に記憶する。また、プロセッサ41は、通信部43を介してメモリ42に記憶した画像データを情報処理装置1に送信する。
この実施形態において、撮像素子45により生成される画像データは、例えば480×480の画素で構成され、各画素は受光した赤外線の強度を例えば256階調で表す。この場合、例えば撮像装置4から5メートル離れた円周上の1画素に対応する長さの平均値は、180度の画角が480個の画素に相当するので、5×π/480≒0.033メートル(すなわち33ミリメートル)程度である。つまり、この撮像装置4は、5メートルの距離における分解能が33ミリメートル程度である。
撮像装置4は、複数回にわたって周期的に空間100を撮像する。情報処理システム8の撮像装置4が1秒間に撮像する回数は、100回以下である。すなわち、撮像装置4のフレームレートは、多くとも100fps(フレーム毎秒;frames per second)である。図4に示す撮像装置4のフレームレートは、25fpsである。フレームレート:25fpsで撮像する場合、1フレームあたりの時間は40ミリ秒である。撮像装置4は、異なる時にそれぞれ撮像した複数の画像を情報処理装置1に伝える。
<情報処理装置の機能的構成>
図5は、情報処理装置1の機能的構成の一例を示す図である。情報処理装置1は、プロセッサ11が、メモリ12に記憶されたプログラムを実行することにより、取得部111、分類部112、特定部113、判定部114、及び変更部115として機能する。
取得部111は、通信部13を介して撮像装置4(図5において図示せず)から複数の画像を示す画像データを取得する。これらの画像データは、撮像装置4において、例えばフレームレート:25fpsで空間100を撮像した複数の画像を示す。空間100には、上述した通り、それぞれが決められたパターンに沿って点滅を繰り返す、移動可能な複数のタグ2が存在している。
そして取得部111は、取得した複数の画像データをそれぞれ検査して、それら複数の画像データのうち、点灯しているタグ2が撮像されている画像を示す画像データを抽出する。
画像に点灯しているタグ2が撮像されているか否かは、例えば、画像を構成する複数の画素の輝度を比較して、その輝度が周囲の輝度と比較して閾値を超えて高い画素群を抽出することにより判定される。この画素群とは、1以上の連続した画素の集合であり、「輝点」ともいう。
また、取得部111は、或るタイミングで撮像された画像と、その次のタイミングで撮像された画像と、を比較して、それぞれの画素の輝度の変化に基づき、点灯しているタグ2が撮像されているか否かを判定してもよい。つまり、この取得部111は、連続して撮像された2つの画像で、輝度の変化が閾値を超えている画素群があるか否かを判定し、あると判定する場合に、この画素群のうち輝度が高い方を輝点として特定する。そして、この取得部111は、特定した輝点を含む画像を、点灯しているタグ2が撮像されている画像として取得する。
図5に示す取得部111は、上述した通り、撮像のタイミングが連続している2つの画像、すなわち、2フレームの内容を比較して、条件を満たす場合にそれら2つの画像のいずれか一方(例えば撮像時刻の早い方等)を、点灯しているタグ2が撮像されている画像として取得する。この取得部111は、撮像装置4により先に撮像された画像を第1画像として取得し、この第1画像よりも後に撮像された画像を第2画像として取得する。
なお、上述した通り2フレームごとに画像を取得する場合、この2フレームに相当する時間で、1bitの情報が取得される。つまり、2フレームの時間で点灯しているタグ2を撮像した画像が取得された場合、対応する1bitの情報は例えば「1」であり、この画像が取得されなかった場合、対応する1bitの情報は例えば「0」である。
分類部112は、同一視すべきタグ2が撮像された複数の画像をまとめて扱うためのグループをメモリ12に生成する。分類部112は、まず、取得部111が取得した第1画像を生成したグループに分類する。
そして、分類部112は、第1画像及び第2画像のそれぞれが示すタグ2の、空間100における位置を特定する。例えば、図4に示す撮像装置4で撮像された画像には、等距離射影方式が採用されているため、この画像における中心からの距離は、撮像装置4に対して光が入射する方向に対応している。分類部112は、画像において特定された輝点とその画像の中心との距離を算出して、その距離を角度に変換し、撮像装置4に対する点灯するタグ2の方向を特定する。さらに、分類部112は、第1画像及び第2画像のそれぞれで特定したタグ2の方向に基づいて、空間100におけるそれぞれの位置を特定する。
分類部112は、第1画像が示すタグ2の位置から、第2画像が示すタグ2の位置までの空間100における距離を算出し、この距離が、第1画像の撮像時から第2画像の撮像時までの期間に応じた範囲内であるか否かを判定する。ここで、例えば、撮像装置4がフレームレート:25fpsで撮像し、情報処理装置1が、連続した2フレームの画像ごとに、その画像が「点灯している画像であるか否か」を判断する場合、「第1画像の撮像時から第2画像の撮像時まで期間」は、最短で、2フレームに相当する80ミリ秒である。
この期間が80ミリ秒であるとき、第1画像の撮像時から第2画像の撮像時までに空間100のタグ2は消灯していない。そして、この期間は、第1画像の撮像時から第2画像の撮像時までに全てのタグ2が消灯している時間があると、その時間の長さに応じて80ミリ秒ずつ増加する。分類部112は、算出した距離が上述した範囲内でないと判定する場合、第1画像が分類されるグループに第2画像を分類しない。
一方、分類部112は、算出した距離が上述した期間に応じた範囲内であると判定する場合、第1画像が分類されるグループに第2画像を分類する。
この「期間に応じた範囲」とは、タグ2がその期間に移動し得る範囲(以下、移動範囲ともいう)を示す。つまり、上述した距離が上述した期間に応じた範囲内であると判定をする場合、第2画像に撮像されているタグ2は、第1画像に撮像されているタグ2が移動し得る範囲内にあることを意味している。したがって、この判定をする場合、第1画像及び第2画像のそれぞれが示すタグ2は、同一視されるべきである。
特定部113は、分類部112により共通のグループに分類される画像の情報を用いて、点滅するタグ2により表されるパターンを特定する。共通のグループに分類される画像には、点灯し、かつ、同一視すべきタグ2が撮像されている。特定部113は、共通のグループに分類される画像のそれぞれが撮像されたタイミングを用いて、これら画像により同一視されるタグ2が点滅により表すパターンを特定する。
判定部114は、特定部113が特定したパターンが決められた条件を満たすか否か判定する。図5に示す判定部114は、メモリ12からチェックパターン121を読出して、特定部113が特定したパターンにこのチェックパターン121が含まれているか否かを判定する。
判定部114は、特定部113が特定したパターンにチェックパターン121が含まれていると判定する場合に、特定したパターンを上述したグループで同一視されるタグ2と対応付けてメモリ12に記憶する。
一方、判定部114は、特定部113が特定したパターンにチェックパターン121が含まれていないと判定する場合に、その旨を変更部115に伝える。変更部115は、判定部114がチェックパターン121を含まないと判定したパターンを破棄し、このパターンに対応するグループに分類された第1画像を、撮像装置4で撮像され、点灯しているタグ2が撮像された他の画像に変更する。取得部111は、変更部115により変更された第1画像を取得する。
ここで「チェックパターン121が含まれていること」は、特定部113が特定するパターンについて決められた条件の一例である。なお、上述した条件は、チェックパターン121が含まれていること以外のものであってもよく、例えば、特定されたパターンから算出されるチェックサム、巡回符号、パリティ符号等の誤り検出や、ハッシュ値等を用いた条件であってもよい。
<情報処理装置の動作>
図6は、情報処理装置1が第1画像からタグ2を検出する動作の流れの一例を示す図である。情報処理装置1のプロセッサ11は、撮像装置4から第1画像を取得し(ステップS101)、この第1画像に含まれる輝点を特定する(ステップS102)。
次に、プロセッサ11は、特定した輝点の数に応じた1以上のグループを生成する(ステップS103)。生成されるグループは、第1画像で特定された輝点にそれぞれ対応付けてメモリ12に記憶される。
次に、プロセッサ11は、特定した輝点の第1画像における座標(輝点座標という)に基づき、その輝点が示すタグ2の移動範囲を設定する(ステップS104)。
ステップS104において、プロセッサ11は、ステップS103で生成した各グループに対応付けられた輝点ごとに、それらの輝点座標を、タグ2の空間100における位置に変換する。そして、プロセッサ11は、特定した位置を中心とし、決められた距離(以下、単位距離という)を半径とする球を算出し、この球の内側をこの輝点により示されるタグ2の移動範囲として設定し、メモリ12に記憶する。なお、タグ2の移動が平面内に制限される場合、上述した球は、その平面と交差する円により代替される。
ここで単位距離とは、タグ2が決められた時間(以下、単位時間という)に移動可能な最大の距離をいう。そして単位時間とは、第1画像の撮像時と、この第1画像の後に撮像される第2画像の撮像時と、の時間差のうち最小の時間をいう。上述した通り、例えば、撮像装置4がフレームレート:25fpsで撮像し、情報処理装置1が、連続した2フレームの画像ごとに、その画像が「点灯している画像であるか否か」を判断する場合、単位時間は、2フレームに相当する80ミリ秒である。
例えば、メモリ12は、タグ2が移動し得る速度の上限(移動可能速度という)を記憶している。プロセッサ11は、メモリ12に記憶されたこの移動可能速度と、上述した単位時間とを乗じて単位距離を算出する。
撮像装置4が、フレームレート:25fpsで動画を撮像する場合、1フレームあたりの時間は上述した通り40ミリ秒である。そして、プロセッサ11が、この動画において連続する2つのフレームから1つの画像を取得する場合、第1画像が撮像されてから第2画像が撮像されるまでの最短の時間差は2フレーム分の時間、すなわち80ミリ秒である。つまり、単位時間は80ミリ秒である。
そして、タグ2が作業員等の人が着用する物品に貼り付けられるものである場合、タグ2の移動可能速度は人の移動速度の上限である。例えば、人の移動速度の上限として、メモリ12に1.2メートル毎秒が記憶されている場合、プロセッサ11は、単位時間である80ミリ秒と、人の移動速度の上限である1.2メートル毎秒と、を用いて、単位距離を0.096メートル(すなわち、96ミリメートル)と算出する。この場合、プロセッサ11は、輝点座標から特定されるタグ2の位置を中心として、それぞれ半径が0.096メートルの球又は円を、タグ2が単位時間である80ミリ秒で移動可能な範囲(すなわち、移動範囲)として設定する。
図7は、第1画像及び第2画像で同一視されるタグ2を特定する動作の流れの一例を示す図である。プロセッサ11は、撮像装置4から、第1画像よりも後に撮像された第2画像を取得し(ステップS201)、この第2画像に含まれる輝点を特定する(ステップS202)。
次にプロセッサ11は、第2画像から特定された輝点のうち、ステップS104で設定した、どの移動範囲にも属さない輝点があるか否かを判定する(ステップS203)。
第2画像から特定された輝点に、どの移動範囲にも属さない輝点があると判定する場合(ステップS203;YES)、プロセッサ11は、この輝点に対応する新たなグループを生成し(ステップS204)、処理をステップS205に進める。
一方、第2画像から特定された輝点に、どの移動範囲にも属さない輝点がないと判定する場合(ステップS203;NO)、プロセッサ11は、ステップS204を行わずに処理をステップS205に進める。
次にプロセッサ11は、各輝点を、それぞれ属するグループに分類し(ステップS205)、分類した輝点に基づいて、それぞれの移動範囲を設定、又は更新する(ステップS206)。そして、プロセッサ11は、グループを更新する処理を実行する(ステップS300)。
図8は、グループを更新する動作の流れの一例を示す図である。上述したステップS300は、図8に示すステップS301からステップS310までの各ステップにより構成される。
プロセッサ11は、この時点までに生成され、かつ、破棄されていない1以上のグループの中から、1つのグループを選択し(ステップS301)、選択したそのグループに対応するタグ2が消灯中であるか否かを判定する(ステップS302)。
選択したグループに対応するタグ2が消灯中でない、と判定する場合(ステップS302;NO)、プロセッサ11は、ステップS303及びステップS304を行わずに、処理を後述するステップS305に進める。
一方、選択したグループに対応するタグ2が消灯中である、と判定する場合(ステップS302;YES)、プロセッサ11は、そのタグ2が消灯し続けている時間、つまり、タグ2のプロセッサ21が点灯手段23を消灯させてから次に点灯させるまでの期間(消灯時間という)が閾値を超えたか否かを判定する(ステップS303)。
タグ2の消灯時間が閾値を超えた、と判定する場合(ステップS303;YES)、プロセッサ11は、ステップS304からステップS306までを行わずに、処理を後述するステップS309に進める。
一方、タグ2の消灯時間が閾値を超えていない、と判定する場合(ステップS303;NO)、プロセッサ11は、選択したグループに対応するタグ2の移動範囲を拡大する(ステップS304)。プロセッサ11は、例えば、上述した単位距離である0.096メートルを、グループの移動範囲の半径に加算して新たな移動範囲を設定することにより、タグ2の移動範囲を拡大する。
次にプロセッサ11は、選択したグループに分類される画像に基づいて、同一視されるタグ2により表されるパターンの特定が可能か否かを判定する(ステップS305)。パターンが、例えば固定長である場合、プロセッサ11は、グループに最初に分類された画像の撮像時からの経過時間がその固定長に相当する時間を超えているか否かに基づいて、パターンの特定が可能か否かを判定する。
具体的に上述した固定長が16bitである場合、1bitあたり2フレームに相当する時間が経過するので、16bitでは32フレームに相当する時間、すなわち、2.56秒が経過する。つまり、グループに最初に分類された画像の撮像時からの経過時間が2.56秒を超えた時に、プロセッサ11は、パターンの特定が可能と判定する。
パターンの特定が可能でない、と判定する場合(ステップS305;NO)、プロセッサ11は、ステップS306からステップS309までを行わずに、処理を後述するステップS310に進める。
一方、パターンの特定が可能である、と判定する場合(ステップS305;YES)、プロセッサ11は、パターンを特定し(ステップS306)、このパターンが決められた条件を満たすか否かを判定する(ステップS307)。決められた条件は、例えば、特定したパターンが、メモリ12に記憶されたチェックパターン121を含むこと、である。
特定したパターンが決められた条件を満たさない、と判定する場合(ステップS307;NO)、プロセッサ11は、ステップS306で特定されたパターンを破棄し(ステップS308)、処理をステップS309に進める。
なお、プロセッサ11は、ステップS308で、パターンを破棄することに加えて、グループに分類されている第1画像を、点灯しているタグ2が撮像された他の画像に変更してもよい。この場合、プロセッサ11は、ステップS308を行った後、ステップS309を行わずに、処理をステップS310に進めるとよい。
一方、特定したパターンが決められた条件を満たす、と判定する場合(ステップS307;YES)、プロセッサ11は、ステップS308を行わずに、処理をステップS309に進める。
次に、プロセッサ11は、ステップS301で選択したグループを破棄し(ステップS309)、未選択のグループが残っているか否かを判定する(ステップS310)。
上述した通り、ステップS303でタグ2の消灯時間が閾値を超えた、と判定する場合、プロセッサ11は処理をステップS309に進めて、グループを破棄する。消灯時間が閾値を超えたということは、上述したグループに分類される第1画像の撮像時から第2画像の撮像時までの期間が、閾値(決められた時間)を超え、かつ、その期間内に第1画像が示すタグ2を撮像した画像が取得されないことである。そして、プロセッサ11は、グループを破棄することで、そのグループに分類された画像にそれぞれ撮像されていたタグ2の同一視をやめる。つまり、このプロセッサ11は、第1画像の撮像時から第2画像の撮像時までの期間が、決められた時間を超え、かつ、この期間に第1画像が示すタグを撮像した画像が取得されない場合に、第1画像及び第2画像がそれぞれ示すタグを同一視しないプロセッサの一例である。
未選択のグループが残っている、と判定する場合(ステップS310;YES)、プロセッサ11は、処理をステップS301に戻す。プロセッサ11は、ステップS301において、未選択のグループの中から1つのグループを選択して上述した処理を繰り返す。
一方、未選択のグループが残っていない、と判定する場合(ステップS310;NO)プロセッサ11は、処理を終了する。
このステップS300を経た後、図7に示す通り、プロセッサ11は、処理を終了する条件(終了条件という)が満たされているか否かを判定する(ステップS207)。終了条件とは、例えば、利用者から処理を終了するための指示を操作部14が受付けた、といった条件である。
終了条件が満たされている、と判定する場合(ステップS207;YES)、プロセッサ11は、処理を終了する。一方、終了条件が満たされていない、と判定する場合(ステップS207;NO)、プロセッサ11は、処理をステップS201に戻す。
以上、説明した動作をすることにより、情報処理システム8において情報処理装置1は、タグ2が空間100を移動しても、例えば1秒間の撮像回数が25回程度の撮像装置を用いて、そのタグ2が伝える情報を特定する。つまり、この情報処理システム8は、フレームレートが1000fpsの高速カメラ等を用いなくても、移動するタグ2が表した情報を取得し得る。また、この情報処理システム8において、情報処理装置1のプロセッサ11は、撮像された画像に対してテンプレートマッチング等の複雑な処理を行う必要がないため、テンプレートマッチング等の処理を行う装置と比べて、コストが抑えられる。
<動作例>
図9は、タグ2の位置及び識別情報が特定される過程を説明するための図である。フレームtは、撮像装置4が撮像した画像の数(すなわち、フレーム数)である。
図9(a)には、フレームt=0の時点で撮像されたタグ2の位置と移動範囲とが示されている。図9(a)に示すタグ2は3つであり、それぞれ、位置P1a、位置P1b、及び位置P1cに配置されている。このとき、プロセッサ11は、位置P1aを中心とする移動範囲C1a、位置P1bを中心とする移動範囲C1b、及び位置P1cを中心とする移動範囲C1cを設定する。これら3つの移動範囲は、半径が単位距離の円である。
プロセッサ11は、次の2フレームで点灯しているタグ2が撮像されていれば、その画像を第2画像として取得する。図9(b)には、フレームt=2の時点で撮像されたタグ2の位置と移動範囲とが示されている。図9(a)で位置P1aに存在していたタグ2は、図9(b)に示す通り位置P1bに移動しているが、消灯している。したがって、プロセッサ11は、位置P1bを特定することができないから、位置P1aの移動範囲C1aを移動範囲C1bに拡大する。移動範囲C1bは、半径が単位距離の2倍の円である。
一方、図9(a)で位置P2aに存在していたタグ2は、図9(b)において位置P2bに移動しており、かつ、点灯している。図9(b)の位置P2bは、図9(a)の移動範囲C2aに含まれる。そこで、プロセッサ11は、位置P2aを位置P2bで更新し、この位置P2bを中心とする新たな移動範囲C2bを設定する。この移動範囲は、半径が単位距離の円である。
そして、図9(a)で位置P3aに存在していたタグ2は、図9(b)において位置P3bに存在しており、かつ、点灯している。位置P3aと位置P3bとは、同じ位置である。つまり、このタグ2は移動していないから、、図9(b)の位置P3bは、図9(a)の移動範囲C3aに含まれる。この場合でも、プロセッサ11は、位置P3aを位置P3bで更新し、この位置P3bを中心とする新たな移動範囲C2bを設定する。この移動範囲は、半径が単位距離の円である。
図9(c)には、フレームt=4の時点で撮像されたタグ2の位置と移動範囲とが示されている。図9(b)で位置P1bに存在していたタグ2は、図9(c)に示す通り位置P1cに移動しており、かつ、再び点灯している。そこで、プロセッサ11は、位置P1aを位置P1cで更新し、この位置P1cを中心とする新たな移動範囲C1cを設定する。この移動範囲は、半径が単位距離の円である。
一方、図9(b)で位置P2bに存在していたタグ2は、図9(c)において位置P2cに移動しており、かつ、点灯している。そこで、プロセッサ11は、位置P2bを位置P2cで更新し、この位置P2cを中心とする新たな移動範囲C2cを設定する。この移動範囲は、半径が単位距離の円である。
そして、図9(b)で位置P3bに存在していたタグ2は、図9(b)において位置P3cに存在しているが、消灯している。位置P3bと位置P3cとは、同じ位置である。つまり、このタグ2は移動せずに、フレームt=4の時点までに消灯している。したがって、プロセッサ11は、位置P3cを特定することができないから、位置P3bの移動範囲C3bを移動範囲C3cに拡大する。移動範囲C3cは、半径が単位距離の2倍の円である。
この情報処理装置1のプロセッサ11は、2フレームごとに点灯しているタグ2の位置を特定し、特定したタグ2の位置を中心に、そのタグ2が、次の2フレームで移動し得る移動範囲を設定して、同一視すべきタグ2の軌跡の特定を繰り返す。或る2フレームで、タグ2が消灯していると、タグ2の位置が特定されないため、プロセッサ11は、移動範囲を拡大する。そしてプロセッサ11は、各タグ2の移動範囲に、次の2フレームで特定されるタグ2の位置が入っているときに、それらのタグ2を同一視し、そのタグ2の明滅のパターンを特定する。
図9(d)には、フレームt=6の時点で撮像されたタグ2の位置と移動範囲とが示されている。上述した処理を繰り返すことにより、プロセッサ11は、図9(c)に示す移動範囲C1c、移動範囲C2c、及び移動範囲C3cを、それぞれ、移動範囲C1d、移動範囲C2d、及び移動範囲C3dに変更する。そして、図9(a)から図9(d)までで、プロセッサ11は、図9(a)において位置P1aに存在したタグ2から、「1」→「0」→「1」→「0」というパターンを特定する。このタグ2は、図9(b)において位置P1bに、図9(c)において位置P1cに、図9(d)において位置P1dに、それぞれ存在していたものである。
また、図9(a)から図9(d)までで、プロセッサ11は、図9(a)において位置P2aに存在したタグ2から、「1」→「1」→「1」→「1」というパターンを特定する。このタグ2は、図9(b)において位置P2bに、図9(c)において位置P2cに、図9(d)において位置P2dに、それぞれ存在していたものである。
そして、図9(a)から図9(d)までで、プロセッサ11は、図9(a)において位置P3aに存在したタグ2から、「1」→「1」→「0」→「1」というパターンを特定する。このタグ2は、図9(b)において位置P3bに、図9(c)において位置P3cに、図9(d)において位置P3dに、それぞれ存在していたものである。
図10は、消灯時間と移動範囲との関係を説明するための図である。図10に示す位置P0は、点灯しているタグ2の初期位置である。このタグ2は、単位時間が経過するごとに、位置P0→位置P1→位置P2→位置P3と移動する。そして、このタグ2は、位置P1及び位置P2に存在しているときに消灯しており、位置P3に移動して再び点灯している。つまり、このタグ2は、2bitに相当する期間、消灯する。この場合、プロセッサ11は、単位距離をrとして、移動範囲の半径を3rまで拡大する。すなわち、(n)bitに相当する連続した消灯時間を有するタグ2には、単位距離の(n+1)倍の半径を有する移動範囲が必要となる。
一方、2以上のタグ2が互いに近接するほど、それらが共通の移動範囲に入り、同一視される可能性が高くなる。特に、タグ2の位置を特定する精度の誤差が大きいほど、異なるタグ2が共通の移動範囲に入る可能性が高まる。そこで、取り得る移動範囲には上限が設けられることが望ましい。消灯時間と移動範囲とは、上述した関係があるので、情報処理システム8は、連続して消灯させる消灯時間が決められた時間(以下、第2時間ともいう)を超えないようにタグ2を制御することにより、移動範囲に上限が設ける。
例えば、人と人との距離が、測位の誤差も含めて最短でも0.4メートル以下にならないことが保証されている場合、移動範囲の半径は、0.4メートルを超えなければよい。これにより、異なる人に伴って移動する2以上のタグ2は、同一視されないからである。情報処理システム8は、タグ2を点滅させるパターンに含まれる消灯時間が決められた第2時間を超えないようにすることで、移動範囲の半径が0.4メートルを超えないようにしている。
すなわち、撮像装置4がフレームレート:25fpsで撮像し、情報処理装置1が2フレームごとに1つの画像を取得する場合、上述した通り、単位時間は80ミリ秒である。そして、上述した通り、人の移動速度の上限として、メモリ12に1.2メートル毎秒が記憶されている場合、単位距離は0.096メートルである。移動範囲の半径の上限をこの単位距離で除算した値は、0.4÷0.096=4.17である。したがって、タグ2の連続する消灯時間は(4−1)=3bitに相当する時間、つまり、単位時間の3倍の時間である240ミリ秒を超えないように設計される。これにより、正しいパターンに沿って点滅中のタグ2が消灯する回数は、3回までであり、4回を超えることがない。
この場合、上述したステップS303でプロセッサ11は、消灯時間が閾値(すなわち、第2時間)である240ミリ秒を超えたか否かを判定することで、特定中のパターンが正しいか否かを判定する。
人が装着する物品に貼り付けられたタグ2の移動可能速度は、人の移動速度の上限に等しい。したがって、このタグ2のプロセッサ21は、タグ2自身を識別する識別情報に応じたパターンに沿って点灯手段を点滅させ、このパターンに沿って点灯手段を連続して消灯させる場合には、この点灯手段を消灯させてから次に点灯させるまでの期間が、タグ2自身が移動し得る移動可能速度に応じて定められる第2時間を超えないようにこの点灯手段を消灯させる。
なお、プロセッサ21は、例えば情報量が16bitであるパターンで点灯手段23を点滅させる場合、最大で65536通りの情報を伝え得る。しかし、5bitのチェックパターン221の内容が固定されている場合、プロセッサ21が伝え得る情報は、情報量が11bitのタグID222に相当する2048通りである。さらに、上述した通り、パターン中に連続して消灯する回数が3回までに制限されていると、タグ2によって表される情報は、2048通りよりも少なくなる。
<変形例>
以上が実施形態の説明であるが、この実施形態の内容は以下のように変形し得る。また、以下の変形例は、組合されてもよい。
<1>
上述した実施形態において、変更部115は、チェックパターン121を含まないと判定されたパターンに対応するグループに分類された第1画像を、撮像装置4で撮像され、点灯しているタグ2が撮像された他の画像に変更していたが、第1画像を、上述したパターンの特定に用いていない画像に変更してもよい。このプロセッサ11は、パターンが条件を満たさない場合、第1画像を、このパターンの特定に用いていない他の画像に変更するプロセッサの一例である。この構成によれば、プロセッサ11がメモリ12に、タグ2の位置と移動範囲とを記憶する画像は、パターンの特定に用いる画像のうち、1つの第1画像だけで足りる。つまり、プロセッサ11は、パターンの特定に用いる第1画像以外の画像が示すタグの位置を、少なくともパターンの特定された後に記憶し続けなくてよい。
また、パターンの特定に用いられた他の画像は、第1画像よりも後に撮像された画像であり、かつ、第1画像とともにパターンを特定することが可能であった画像である。したがって、パターンの特定に用いられた他の画像を、新たな第1画像としてパターンを特定しても、正しいパターンが特定されない可能性がある。この変形例において、プロセッサ11は、すでにパターンの特定に用いられた他の画像を新たな第1画像の候補から外すことで、パターンの特定にかかる演算負荷を抑える。
<2>
上述した実施形態において、プロセッサ11は、グループに分類した輝点に基づいて、それぞれの移動範囲を設定、又は更新していたが、移動範囲は、輝点がグループに分類される度に更新されなくてもよい。プロセッサ11は、グループに分類した第1画像が示すタグ2の移動範囲の中心を変えなくてもよい。
なお、上述した実施形態では、取得した第2画像から特定される輝点が、いずれかのグループに対応するタグ2の移動範囲に属している場合に、プロセッサ11は、その移動範囲を新たな輝点に基づいて更新する。ここで、2回目にステップS201で取得される画像を第3画像と呼ぶと、この第3画像は、1回目にステップS201で取得された第2画像の撮像後に、撮像された画像であって、点灯しているタグ2が撮像された画像である。
そして、1回目のステップS206では、1回目にステップS201で取得された第2画像が示すタグ2の位置を中心として、移動範囲が更新されている。したがって、2回目のステップS205で、プロセッサ11は、第2画像が示すタグ2の位置から第3画像が示すタグ2の位置までの距離が、第2画像の撮像時から第3画像の撮像時までの期間に応じた範囲内である場合に、第3画像で特定された輝点を、第1画像及び第2画像がそれぞれ分類されたグループに分類する。これにより、第1画像、第2画像、及び第3画像がそれぞれ示すタグ2はグループに対応付けられて同一視され、このタグ2によるパターンが特定される。
すなわち、上述した実施形態におけるプロセッサ11は、第2画像の撮像後に、点灯しているタグが撮像された第3画像を取得し、第2画像が示すタグの位置から、第3画像が示すタグの位置までの距離が、第2画像の撮像時から第3画像の撮像時までの期間に応じた範囲内である場合、第1画像、第2画像及び第3画像がそれぞれ示すタグを同一視し、このタグによるパターンを特定するプロセッサの一例である。
<3>
上述した実施形態において、タグ2のプロセッサ21が、決められたパターンに沿って点灯手段23を点滅させる回数を特に限定していないが、プロセッサ21は、上述したパターンに沿って繰り返し点灯手段を点滅させてもよい。この場合、プロセッサ21は、決められたパターンに沿って一回、点灯手段23を点滅させた後、上述した第2時間を超える消灯時間にわたり、点灯手段23を消灯させてから、再び、上述したパターンに沿って繰り返し、点灯手段23を点滅させればよい。
この構成で、情報処理装置1が第2時間を超える消灯時間を検出した場合、その消灯時間は、タグ2がパターンに沿って点滅する最中のものではなく、繰り返し表されるパターンの合間に挟まれるものである。したがって、プロセッサ11は、第2時間を超える消灯時間を検出したら、その後に点灯しているタグ2を撮像した画像を、新たな第1画像として取得し、その第1画像に示される輝点の数に応じたグループを生成すればよい。
この変形例における上述したタグ2のプロセッサ21は、決められたパターンに沿って点灯手段を点滅させた後に、第2時間を超える消灯時間にわたりこの点灯手段を連続して消灯させてから、このパターンに沿って繰り返し点灯手段を点滅させるプロセッサの一例である。
<4>
上述した実施形態において、タグ2のプロセッサ21は、チェックパターン221とタグID222とを含めたパターンに沿って点灯手段23を点滅させていたが、パターンに含ませる情報はこれに限られない。プロセッサ21は、上述したパターンに、例えば、タグ2において計測された物理量や受信した信号等を示すデータを含めてもよい。
<5>
上述した情報処理装置1は、プロセッサ11を有していたが、情報処理装置1を制御する制御手段は他の構成であってもよい。例えば、情報処理装置1は、CPU以外にも各種のプロセッサ等を有してもよい。
また、上述したタグ2は、プロセッサ21を有して各部を制御するプロセッサ21を有していたが、タグ2を制御する制御手段は他の構成であってもよい。例えば、タグ2は、CPU以外にも各種のプロセッサ等を有してもよい。
ここでプロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ(例えば上述したCPU等)や、専用のプロセッサ(例えばGPU: Graphics Processing Unit、ASIC: Application Specific Integrated Circuit、FPGA: Field Programmable Gate Array、プログラマブル論理デバイス、等)を含むものである。
<6>
上記各実施形態におけるプロセッサ11の動作は、1つのプロセッサ11によって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。
<7>
上述した情報処理装置1のプロセッサ11によって実行されるプログラムは、プロセッサに、決められたパターンに沿って点滅を繰り返す1以上のタグを周期的に撮像した複数の画像のうち、点灯しているタグが撮像された第1画像及び第2画像を取得するステップと、前記第1画像が示す前記タグの位置から、前記第2画像が示す前記タグの位置までの距離が、該第1画像の撮像時から該第2画像の撮像時までの期間に応じた範囲内である場合、該第1画像及び該第2画像がそれぞれ示す前記タグを同一視し、該タグによる前記パターンを特定するステップと、を実行させるプログラムの一例である。
また、タグ2のプロセッサ21によって実行されるプログラムは、タグに固定された点灯手段を制御するプロセッサに、自身を識別する識別情報に応じたパターンに沿って前記点灯手段を点滅させるステップと、前記パターンに沿って前記点灯手段を点灯させる場合には、決められた第1時間以上の時間にわたって該点灯手段を点灯させるステップと、前記パターンに沿って前記点灯手段を連続して消灯させる場合には、該点灯手段を消灯させてから次に点灯させるまでの期間が決められた第2時間を超えないように該点灯手段を消灯させるステップと、を実行させるプログラムの一例である。
これらのプログラムは、磁気テープ及び磁気ディスク等の磁気記録媒体、光ディスク等の光記録媒体、光磁気記録媒体、半導体メモリ等の、コンピュータ装置が読取り可能な記録媒体に記憶された状態で提供し得る。また、このプログラムは、インターネット等の通信回線経由でダウンロードされてもよい。
1…情報処理装置、11…プロセッサ、111…取得部、112…分類部、113…特定部、114…判定部、115…変更部、12…メモリ、121…チェックパターン、13…通信部、14…操作部、15…表示部、2…タグ、21…プロセッサ、22…メモリ、221…チェックパターン、222…タグID、23…点灯手段、4…撮像装置、41…プロセッサ、42…メモリ、43…通信部、44…魚眼レンズ、45…撮像素子、8…情報処理システム、100…空間。

Claims (14)

  1. プロセッサを有し、前記プロセッサは、
    決められたパターンに沿って点滅を繰り返す1以上の点灯装置を周期的に撮像した複数の画像のうち、点灯している点灯装置が撮像された第1画像及び第2画像を取得し、
    前記第1画像が示す前記点灯装置の位置から、前記第2画像が示す前記点灯装置の位置までの距離が、該第1画像の撮像時から該第2画像の撮像時までの期間に応じた範囲内である場合、該第1画像及び該第2画像がそれぞれ示す前記点灯装置を同一視し、該点灯装置による前記パターンを特定する
    情報処理装置。
  2. 前記プロセッサは、
    特定した前記パターンが決められた条件を満たさない場合、前記第1画像を、前記複数の画像のうち、点灯している点灯装置が撮像された他の画像に変更する
    請求項1に記載の情報処理装置。
  3. 前記プロセッサは、
    前記パターンが前記条件を満たさない場合、前記第1画像を、該パターンの特定に用いていない前記他の画像に変更する
    請求項2に記載の情報処理装置。
  4. 前記条件は、予め決められたチェックパターンを含むことである
    請求項2又は3に記載の情報処理装置。
  5. 前記プロセッサは、
    前記第1画像の撮像時から前記第2画像の撮像時までの期間が、決められた時間を超え、かつ、該期間に前記第1画像が示す前記点灯装置を撮像した画像が取得されない場合に、該第1画像及び該第2画像がそれぞれ示す前記点灯装置を同一視しない
    請求項1から4のいずれか1項に記載の情報処理装置。
  6. 前記プロセッサは、
    前記第2画像の撮像後に、点灯している点灯装置が撮像された第3画像を取得し、
    前記第2画像が示す前記点灯装置の位置から、前記第3画像が示す前記点灯装置の位置までの距離が、該第2画像の撮像時から該第3画像の撮像時までの期間に応じた範囲内である場合、前記第1画像、前記第2画像及び前記第3画像がそれぞれ示す前記点灯装置を同一視し、該点灯装置による前記パターンを特定する
    請求項1から5のいずれか1項に記載の情報処理装置。
  7. 前記プロセッサは、
    特定した前記パターンに基づいて、前記点灯装置を識別する識別情報を特定する
    請求項1から6のいずれか1項に記載の情報処理装置。
  8. 点灯手段と、プロセッサと、を有し、
    前記プロセッサは、
    自身を識別する識別情報に応じたパターンに沿って前記点灯手段を点滅させ、
    前記パターンに沿って前記点灯手段を点灯させる場合には、決められた第1時間以上の時間にわたって該点灯手段を点灯させ、
    前記パターンに沿って前記点灯手段を連続して消灯させる場合には、該点灯手段を消灯させてから次に点灯させるまでの期間が決められた第2時間を超えないように該点灯手段を消灯させる
    点灯装置。
  9. 予め決められたチェックパターンを記憶するメモリを有し、
    前記パターンは、前記チェックパターンを含む
    請求項8に記載の点灯装置。
  10. 前記第1時間は、自身を撮像する撮像装置の露光時間であり、
    前記第2時間は、自身が移動し得る移動可能速度に応じて定められる時間である
    請求項8又は9に記載の点灯装置。
  11. 前記プロセッサは、
    前記パターンに沿って前記点灯手段を点滅させた後に、前記第2時間を超える消灯時間にわたり該点灯手段を連続して消灯させてから、該パターンに沿って繰り返し該点灯手段を点滅させる
    請求項8から10のいずれか1項に記載の点灯装置。
  12. プロセッサに、
    決められたパターンに沿って点滅を繰り返す1以上の点灯装置を周期的に撮像した複数の画像のうち、点灯している点灯装置が撮像された第1画像及び第2画像を取得するステップと、
    前記第1画像が示す前記点灯装置の位置から、前記第2画像が示す前記点灯装置の位置までの距離が、該第1画像の撮像時から該第2画像の撮像時までの期間に応じた範囲内である場合、該第1画像及び該第2画像がそれぞれ示す前記点灯装置を同一視し、該点灯装置による前記パターンを特定するステップと、
    を実行させるプログラム。
  13. 点灯装置に固定された点灯手段を制御するプロセッサに、
    自身を識別する識別情報に応じたパターンに沿って前記点灯手段を点滅させるステップと、
    前記パターンに沿って前記点灯手段を点灯させる場合には、決められた第1時間以上の時間にわたって該点灯手段を点灯させるステップと、
    前記パターンに沿って前記点灯手段を連続して消灯させる場合には、該点灯手段を消灯させてから次に点灯させるまでの期間が決められた第2時間を超えないように該点灯手段を消灯させるステップと、
    を実行させるプログラム。
  14. 点灯手段及び第1プロセッサを有する1以上の点灯装置と、第2プロセッサを有する情報処理装置と、を有し、
    前記第1プロセッサは、
    前記点灯装置を識別する識別情報に応じたパターンに沿って前記点灯手段を点滅させ、
    前記パターンに沿って前記点灯手段を点灯させる場合には、決められた第1時間以上の時間にわたって該点灯手段を点灯させ、
    前記パターンに沿って前記点灯手段を連続して消灯させる場合には、該点灯手段を消灯させてから次に点灯させるまでの期間が決められた第2時間を超えないように該点灯手段を消灯させ、
    前記第2プロセッサは、
    前記点灯装置を周期的に撮像した複数の画像のうち、点灯している前記点灯装置が撮像された第1画像及び第2画像を取得し、
    前記第1画像が示す前記点灯装置の位置から、前記第2画像が示す前記点灯装置の位置までの距離が、該第1画像の撮像時から該第2画像の撮像時までの期間に応じた範囲内である場合、該第1画像及び該第2画像がそれぞれ示す前記点灯装置を同一視し、該点灯装置による前記パターンを特定する、
    情報処理システム。
JP2019207798A 2019-11-18 2019-11-18 情報処理装置、点灯装置、プログラム、及び情報処理システム Pending JP2021082907A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019207798A JP2021082907A (ja) 2019-11-18 2019-11-18 情報処理装置、点灯装置、プログラム、及び情報処理システム
CN202010468860.3A CN112822411A (zh) 2019-11-18 2020-05-28 信息处理装置与其系统及方法、点亮装置、及记录介质
US16/885,292 US11877098B2 (en) 2019-11-18 2020-05-28 Information processing apparatus, lighting device, and non-transitory computer readable medium storing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019207798A JP2021082907A (ja) 2019-11-18 2019-11-18 情報処理装置、点灯装置、プログラム、及び情報処理システム

Publications (1)

Publication Number Publication Date
JP2021082907A true JP2021082907A (ja) 2021-05-27

Family

ID=75853042

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019207798A Pending JP2021082907A (ja) 2019-11-18 2019-11-18 情報処理装置、点灯装置、プログラム、及び情報処理システム

Country Status (3)

Country Link
US (1) US11877098B2 (ja)
JP (1) JP2021082907A (ja)
CN (1) CN112822411A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021131234A (ja) * 2020-02-18 2021-09-09 富士フイルムビジネスイノベーション株式会社 発光装置およびプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4322145B2 (ja) * 2004-03-01 2009-08-26 株式会社国際電気通信基礎技術研究所 光学タグシステム
JP4418935B2 (ja) * 2004-07-15 2010-02-24 株式会社国際電気通信基礎技術研究所 光学マーカシステム
JP4793059B2 (ja) * 2006-04-03 2011-10-12 セイコーエプソン株式会社 撮像装置及び撮像システム
JP5389274B2 (ja) * 2010-11-30 2014-01-15 富士フイルム株式会社 画像処理装置、撮影装置、画像処理方法及びホワイトバランス調整方法
JP5132832B1 (ja) * 2011-07-11 2013-01-30 キヤノン株式会社 計測装置および情報処理装置
JP5896277B2 (ja) * 2012-01-16 2016-03-30 いすゞ自動車株式会社 路車間通信システム及び車両位置検出装置
JP6059012B2 (ja) * 2012-12-28 2017-01-11 日立マクセル株式会社 光通信装置、光通信方法および肌撮像システム
JP6011569B2 (ja) 2014-03-13 2016-10-19 カシオ計算機株式会社 撮像装置、被写体追尾方法及びプログラム
JP2016143960A (ja) * 2015-01-30 2016-08-08 カシオ計算機株式会社 情報通信システム、情報送信装置、情報送信方法、及び、プログラム
JP2017028673A (ja) * 2015-11-19 2017-02-02 ビーコア株式会社 画像処理システム、発光装置、画像処理装置、画像処理方法、発光方法及びプログラム
JP2018011681A (ja) * 2016-07-20 2018-01-25 富士通株式会社 視線検出装置、視線検出プログラムおよび視線検出方法
JP6982930B2 (ja) * 2017-01-31 2021-12-17 三井住友建設株式会社 情報処理システム及び情報処理方法
CN107241546B (zh) * 2017-05-26 2020-06-26 清华大学 灯阵闪烁系统、摄像机时间检测设定系统和方法

Also Published As

Publication number Publication date
US11877098B2 (en) 2024-01-16
CN112822411A (zh) 2021-05-18
US20210150864A1 (en) 2021-05-20

Similar Documents

Publication Publication Date Title
US11122210B2 (en) Intelligent object tracking using object-identifying code
US9122917B2 (en) Recognizing gestures captured by video
JP2019114280A (ja) 物体追跡装置、物体追跡システム、物体追跡方法、表示制御装置、物体検出装置、プログラムおよび記録媒体
CN105809620A (zh) 用于线性全景图像拼接的预览图像获取用户界面
US10474857B2 (en) Gesture controllable machine-readable symbol reader systems and methods, with head worn interface
KR102579904B1 (ko) 비전 검사 관리 방법 및 비전 검사 시스템
US20180245923A1 (en) Electronic machine equipment
US11354885B1 (en) Image data and simulated illumination maps
KR101794148B1 (ko) 효율적인 자유 공간 손가락 인식
JP4303087B2 (ja) データ信号の送信方法と受信方法及びその装置、システム、プログラム並びに記録媒体
US20170344104A1 (en) Object tracking for device input
US20230386081A1 (en) Camera auto-calibration system
JP2021082907A (ja) 情報処理装置、点灯装置、プログラム、及び情報処理システム
US20220086482A1 (en) Automated film-making using image-based object tracking
KR20240031988A (ko) 바코드 판독 시스템
GB2605948A (en) Warehouse monitoring system
JP2021007055A (ja) 識別器学習装置、識別器学習方法およびコンピュータプログラム
RU2602829C2 (ru) Оценка признаков управления от устройства дистанционного управления с камерой
US11900616B2 (en) Determining region-of-interest of an object using image-based object tracking
JP4322145B2 (ja) 光学タグシステム
WO2017013811A1 (ja) 画像処理システム、発光装置、画像処理装置、画像処理方法、発光方法及びプログラム
JP2015018823A (ja) 照明制御装置、人感センサ、および照明制御方法
US10664962B1 (en) Determining direction of illumination
JP2021131234A (ja) 発光装置およびプログラム
JP2017028673A (ja) 画像処理システム、発光装置、画像処理装置、画像処理方法、発光方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221020

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231013

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231024

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240416