JP2014207661A - 撮影システム、撮像装置、発光装置、撮像方法、発光方法及びプログラム - Google Patents

撮影システム、撮像装置、発光装置、撮像方法、発光方法及びプログラム Download PDF

Info

Publication number
JP2014207661A
JP2014207661A JP2014031048A JP2014031048A JP2014207661A JP 2014207661 A JP2014207661 A JP 2014207661A JP 2014031048 A JP2014031048 A JP 2014031048A JP 2014031048 A JP2014031048 A JP 2014031048A JP 2014207661 A JP2014207661 A JP 2014207661A
Authority
JP
Japan
Prior art keywords
selection
pattern
period
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014031048A
Other languages
English (en)
Other versions
JP6307922B2 (ja
Inventor
裕紀 川上
Hironori Kawakami
裕紀 川上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2014031048A priority Critical patent/JP6307922B2/ja
Publication of JP2014207661A publication Critical patent/JP2014207661A/ja
Application granted granted Critical
Publication of JP6307922B2 publication Critical patent/JP6307922B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

【課題】良好な追尾を行う撮影システム、撮像装置、発光装置、撮像方法、発光方法及びプログラムを提供する。【解決手段】画像選択部231による画像データの選択から光パターン認識処理部234による光パターンの認識終了までに要した時間(認識処理時間)が、画像選択部231による画像データの選択周期である光タグ発光周期の1/2倍よりも長くなり、画像選択部231による次のタイミングでの画像データの選択ができなくなった場合には、画像選択部231による画像データの選択周期が光タグ発光周期と同一に変更される。変更後の画像データの選択周期で取得された画像データに基づいて候補点データがメモリ204に記憶される。【選択図】図4

Description

本発明は、撮影システム、撮像装置、発光装置、撮像方法、発光方法及びプログラムに関する。
従来より、テレビカメラ等における被写体追尾システムでは、例えば追尾対象となる被写体に赤外線を発光するマーカーを付け、これをカメラで捉え追尾する方法が考案されている(例えば特許文献1参照)。また、追尾処理においては、他の光源との弁別を容易にするため、明滅を繰り返すことで追尾をしやすくする技術も考案されている。一方、近年では、伝送するべき情報を、可視光領域を含む特定波長帯の明滅で変調し、これをカメラにて撮像(受光)させて、情報伝送を行う技術が考えられている。
このような技術においては、伝送速度がフレームレートに深く関係するため、良好な画像を取得することを前提とする場合にはフレームレートを上げることができない。このため、明滅のパターンのバリエーションを増やすことで、伝送量を上げる工夫が求められる。
特開2000−50145号公報
しかしながら、上述した特許文献1の技術を採用した上で伝送量を上げる場合、マーカーの探索や認識のための処理負担が重く、一般的なフレームレートで撮影しても、認識処理が間に合わない状況が発生することが予見される。
本発明はこのような問題点に鑑みて成されたものであり、良好な追尾を行う撮影システム、撮像装置、発光装置、撮像方法、発光方法及びプログラムを提供することを目的とする。
上記目的を達成するため、本発明に係る撮影システムは、所定回数の輝度変化からなるパターンで繰り返し発光する発光装置と、前記発光装置からの輝度変化のパターンを含んだ画像を撮像する撮像装置と、を備える撮影システムであって、前記撮像装置は、撮像を行う撮像手段と、繰り返し発光する所定回数の輝度変化からなるパターンを追尾対象として、この繰り返しのタイミングに同期させるとともに、前記撮像手段による撮像により連続的に前記パターンを含む画像を取得する画像取得手段と、前記画像取得手段により連続的に取得された前記パターンを含む画像から、前記パターンを認識すべき画像を所定の周期で選択する選択手段と、前記選択手段によって選択された前記パターンを含む画像に含まれる前記パターンを認識する認識手段と、前記認識手段による認識の状況に応じて、前記選択手段による前記パターンを含む画像の選択周期を変更する変更手段と、を備えることを特徴とする。
上記目的を達成するため、本発明に係る撮像装置は、撮像を行う撮像手段と、繰り返し発光する所定回数の輝度変化からなるパターンを追尾対象として、この繰り返しのタイミングに同期させるとともに、前記撮像手段による撮像により連続的に前記パターンを含む画像を取得する画像取得手段と、前記画像取得手段により連続的に取得された前記パターンを含む画像から、前記パターンを認識すべき画像を所定の周期で選択する選択手段と、前記選択手段によって選択された前記パターンを含む画像に含まれる前記パターンを認識する認識手段と、前記認識手段による認識の状況に応じて、前記選択手段による前記パターンを含む画像の選択周期を変更する変更手段と、を備えることを特徴とする。
上記目的を達成するため、本発明に係る発光装置は、内部に搭載された電源の電力供給により発光する発光装置であって、前記発光装置により発せられた光を撮像する撮像装置における画像の選択周期に基づいて、第1の期間継続する点灯と第2の期間継続する消灯とを周期的に繰り返すように発光を制御する発光制御手段を備えることを特徴とする。
上記目的を達成するため、本発明に係る撮像方法は、撮像装置における撮像方法であって、撮像を行う撮像ステップと、繰り返し発光する所定回数の輝度変化からなるパターンを追尾対象として、この繰り返しのタイミングに同期させるとともに、前記撮像ステップにおける撮像により連続的に前記パターンを含む画像を取得する画像取得ステップと、前記画像取得ステップにおいて連続的に取得された前記パターンを含む画像から、前記パターンを認識すべき画像を所定の周期で選択する選択ステップと、前記選択ステップにおいて選択された前記パターンを含む画像に含まれる前記パターンを認識する認識ステップと、前記選択ステップにおける前記パターンを含む画像の選択から前記認識ステップにおける認識終了までに要した認識時間を取得する時間取得ステップと、前記時間取得ステップにおいて取得された認識時間と、前記選択ステップにおける前記パターンを含む画像の選択周期とを比較する比較ステップと、前記比較ステップにおける比較の結果に基づいて、前記選択ステップにおける前記パターンを含む画像の選択周期を変更する変更ステップと、を含むことを特徴とする。
上記目的を達成するため、本発明に係る発光方法は、内部に搭載された電源の電力供給により発光する発光装置における発光方法であって、前記発光装置により発せられた光を撮像する撮像装置における画像の選択周期に基づいて、第1の期間継続する点灯と第2の期間継続する消灯とを周期的に繰り返すように発光を制御する発光制御ステップを含むことを特徴とする。
上記目的を達成するため、本発明に係るプログラムは、撮像装置を、撮像を行う撮像手段、繰り返し発光する所定回数の輝度変化からなるパターンを追尾対象として、この繰り返しのタイミングに同期させるとともに、前記撮像手段による撮像により連続的に前記パターンを含む画像を取得する画像取得手段、前記画像取得手段により連続的に取得された前記パターンを含む画像から、前記パターンを認識すべき画像を所定の周期で選択する選択手段、前記選択手段によって選択された前記パターンを含む画像に含まれる前記パターンを認識する認識手段、前記選択手段による前記パターンを含む画像の選択から前記認識手段による認識終了までに要した認識時間を取得する時間取得手段、前記時間取得手段によって取得された認識時間と、前記選択手段による前記パターンを含む画像の選択周期とを比較する比較手段、前記比較手段による比較の結果に基づいて、前記選択手段による前記パターンを含む画像の選択周期を変更する変更手段、として機能させることを特徴とする。
上記目的を達成するため、本発明に係るプログラムは、内部に搭載された電源の電力供給により発光する発光装置を、前記発光装置により発せられた光を撮像する撮像装置における画像の選択周期に基づいて、第1の期間継続する点灯と第2の期間継続する消灯とを周期的に繰り返すように発光を制御する発光制御手段、として機能させることを特徴とする。
本発明によれば、追尾を良好に行うことが可能となる。
本発明の第1〜第3の実施形態に係る追尾システムの一例を示す図である。 本発明の第1〜第3の実施形態に係る光タグの構成の一例を示す図である。 本発明の第1及び第2の実施形態に係る光タグによる発光のタイミングチャートの一例を示す図である。 本発明の第1〜第3の実施形態に係る撮像装置の構成の一例を示す図である。 通常時の画像選択及び認識処理のタイミングチャートの一例を示す図である。 本発明の第1及び第2の実施形態に係る光タグによる発光動作の一例を示すフローチャートである。 本発明の第1の実施形態に係る撮像装置による光タグ追尾動作の一例を示す第1のフローチャートである。 本発明の第1の実施形態に係る撮像装置による光タグ追尾動作の一例を示す第2のフローチャートである。 本発明の第1及び第2の実施形態に係る選択データの一例を示す図である。 本発明の第1の実施形態に係る候補点データの一例を示す図である。 本発明の第1及び第2の実施形態に係る検出光タグパターンデータの一例を示す図である。 従来の認識処理延長時の画像選択及び認識処理のタイミングチャートの一例を示す図である。 本発明の第1の実施形態に係る認識処理延長時の画像選択及び認識処理のタイミングチャートの第1の例を示す図である。 本発明の第1の実施形態に係る認識処理延長時の画像選択及び認識処理のタイミングチャートの第2の例を示す図である。 本発明の第2の実施形態に係る撮像装置による追尾動作の一例を示す第2のフローチャートである。 本発明の第2の実施形態に係る認識処理延長時の画像選択及び認識処理のタイミングチャートの一例を示す図である。 本発明の第3の実施形態に係る光タグによる発光のタイミングチャートの一例を示す図である。 本発明の第3の実施形態に係る撮像装置による追尾動作の一例を示すフローチャートである。 本発明の第3の実施形態に係る光タグによる発光と撮像装置による画像データ取得とのタイミングチャートの一例を示す図である。 本発明の第3の実施形態に係る撮像装置による光パターン認識結果の一例を示す図である。
(第1の実施形態)
以下、図面を参照して、本発明の第1の実施形態に係る追尾システムを説明する。
図1は、追尾システムの構成を示す図である。図1に示すように、追尾システム1は、ユーザ(被写体)400の手首等に装着される光タグ100と、撮像装置200とにより構成される。光タグ100は、例えば着脱可能なベルト形状の本体を有している。撮像装置200は、被写体400を撮像し、その被写体400に装着された光タグ100を追尾する機能を有する。
図2は、光タグ100の構成を示す図である。図2に示す光タグ100は、タイミングジェネレータ102、制御部104、メモリ106、発光部108及び発光窓110、バッテリ112を含む。
内部電源であるバッテリ112は、光タグ100の各部へ電力を供給する。タイミングジェネレータ102は、所定周期のクロック信号を発生し、制御部104や発光部108へ出力する。制御部104は、例えばCPU(Central Processing Unit)によって構成される。制御部104は、メモリ106に記憶されたプログラムに従ってソフトウェア処理を実行することにより、光タグ100が具備する各種機能を制御する。メモリ106は、例えばRAM(Random Access Memory)やROM(Read Only Memory)である。メモリ106は、光タグ100における制御等に用いられる各種情報(プログラム等)を記憶する。
また、メモリ106は、光パターンのデータを記憶する。光パターンデータは、赤(R)、緑(G)、青(B)の色データをこの順序で並べたものであり、後述するパターン周期及び光タグ発光周期の情報が付与されている。制御部104は、クロック信号に同期してメモリ106から光パターンデータを順次読み出し、発光部108へ出力する。発光部108は、RGBそれぞれの発光ダイオード(LED:Light Emitting Diode)を備える。発光部108は、クロック信号に同期して、制御部104からの光パターンのデータに応じて順次色が変化する光を、発光窓110を介して発する。
図3は、光タグ100による発光のタイミングチャートの一例を示す図である。図3に示すように、光タグ100は、光パターンである赤(R)、緑(G)、青(B)の光をこの順序で繰り返して発する。R、G、Bの光はそれぞれ同一時間発せられ、各発光期間の間には光が発せられない期間(消灯期間)が存在する。本実施形態では、RGBの光の繰り返し周期をパターン周期と称し、各発光期間と前後の消灯期間の1/2とからなる期間を光タグ発光周期と称する。
図4は、撮像装置200の構成を示す図である。図4に示す撮像装置200は、制御部202、メモリ204、操作部206、表示部207、レンズ212、撮像部214及び画像処理部216を含む。
制御部202は、例えばCPUによって構成される。制御部202は、メモリ204に記憶されたプログラム(例えば、後述する図7、図8、図15及び図17に示す撮像装置200の動作を実現するためのプログラム(フローチャート))に従ってソフトウェア処理を実行し、撮像装置200が具備する各種機能を実現するために、画像取得部230、画像選択部231、光タグ候補点検出処理部232、光パターン認識処理部234、比較部236、選択周期変更部238及びタイマー部240を有する。制御部202は、これらの各部により光タグ100の追尾を行う。
画像取得部230は、画像処理部216から入力される画像データを取得する。
画像選択部231は、画像取得部230により取得された画像データを所定の周期で選択する。光タグ候補点検出処理部232は、画像選択部231により画像データが選択される毎に、この選択された画像データに基づいて、画像内において光タグ100が存在すると推定される位置(候補点)を検出する。光パターン認識処理部234は、光タグ候補点検出処理部232によって検出された候補点における光パターンを認識する。画像選択部231による画像データの選択タイミングと、光タグ100によるR、G、Bの光の発光タイミングとは同期がとられており、通常時では、図5に示すように、画像データの選択タイミングは、1つのパターン周期内において等時間間隔に6回存在する。すなわち、画像選択部231による画像データの選択周期は、光タグ発光周期の1/2倍である。これら6回の画像データの選択タイミングのうち、1つ置きの3回の選択タイミングは、消灯期間の終わりのタイミングと一致し、残りの3回はR、G、Bの光の発光期間となるように設定されている。ここで、認識される光パターンは、赤(R)、緑(G)、青(B)、消灯(例えば黒)の何れかである。通常時では、図5に示すように、画像選択部231による画像データの選択から光パターンの認識処理終了までに要する時間(認識処理時間)は、画像選択部231による画像データの選択周期よりも短い時間となる。
比較部236は、認識処理時間と各種の時間との比較を行う。選択周期変更部238は、比較部236による比較の結果、換言すれば、認識処理時間に応じて画像選択部231による画像データの選択周期を変更する。タイマー部240は、時間計測を行う。画像データの選択周期が変更される場合における光タグ100の追尾の詳細については後述する。
メモリ204は、例えばRAMやROMである。メモリ204は、撮像装置200における制御等に用いられる各種情報(プログラム等)を記憶する。また、メモリ204は、光タグ100内のメモリ106に記憶された光パターンのデータと同一のデータを記憶する。
操作部206は、テンキーやファンクションキー等によって構成され、ユーザの操作内容を入力するために用いられるインタフェースである。表示部207は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、EL(Electroluminescence)ディスプレイ等によって構成される。表示部207は、制御部202から出力された画像信号に従って画像を表示する。
レンズ212は、ズームレンズ等により構成される。レンズ212は、操作部206からのズーム制御操作、及び、制御部202による合焦制御により移動する。レンズ212の移動によって撮像部214が撮像する撮像画角や光学像が制御される。
撮像部214は、受光面215に規則的に二次元配列された複数の受光素子により構成される。受光素子は、例えば、CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)等の撮像デバイスである。撮像部214は、レンズ212を介して入光された光学像を、制御部202からの制御信号に基づいて所定範囲の撮像画角で撮像(受光)し、その撮像画角内の画像信号をデジタルデータに変換してフレームの画像データを生成する。
画像処理部216は、制御部202からの制御信号に基づいて、撮像部214から出力されたフレームの画像データについて、表示部207にスルー画像として表示させるべく、画質や画像サイズを調整して出力させる。また、画像処理部216は、操作部206からの記録指示操作に基づく制御信号が入力されると、記録指示された時点の撮像部214における撮像画角内、あるいは、表示部207に表示された表示範囲内の光学像を、例えば、JPEG(Joint Photographic Experts Group)等の圧縮符号化方式にて符号化、ファイル化する機能を有する。
次に、追尾システム1の動作を説明する。
図6は、光タグ100による発光動作を示すフローチャートである。光タグ100内の制御部104は、メモリ106から光パターンデータを順次読み出す(ステップS101)。次に、制御部104は、読み出した光パターンデータを発光部108へ出力する。発光部108は、制御部104からの光パターンデータに応じて順次色が変化する光を発する(ステップS102)。
図7及び図8は、撮像装置200による、画像データの選択周期が変更される場合における光タグ100の追尾動作を示すフローチャートである。撮像装置200の制御部202内の画像選択部231は、画像取得部230により取得された現在の画像データを選択するとともに、現在時刻(第1画像データ選択時刻)を取得し、図9に示すようにメモリ204に記憶させる(ステップS201)。光パターン認識処理部234による通常時の画像データの選択周期は、光タグ発光周期の1/2倍である。
次に、制御部202内の光タグ候補点検出処理部232は、ステップS201においてメモリ204に記憶された画像データに基づいて、画像内において光タグ100が存在すると推定される位置(候補点)を検出する。制御部202内の光パターン認識処理部234は、光タグ候補点検出処理部232によって検出された候補点における光パターンを認識する。更に、光パターン認識処理部234は、光パターンの認識処理が終了した時の現在時刻(認識終了時刻)を取得する(ステップS202)。
次に、制御部202内の比較部236は、ステップS202において取得された認識終了時刻からステップS201においてメモリ204に記憶された第1画像データ選択時刻を差し引くことにより、画像選択部231による画像データの選択から光パターン認識処理部234による光パターンの認識処理の終了までに要する時間(認識処理時間)を算出する(ステップS203)。更に、比較部236は、メモリ204に記憶された光パターンデータ内の光タグ発光周期を読み出し、認識処理時間が光タグ発光周期の1/2倍より短いか否かを判定する(ステップS204)。ここで、光タグ発光周期の1/2倍は、上述したように光パターン認識処理部234による通常時の画像データの選択周期である。
認識処理時間が光タグ発光周期の1/2倍より短い場合(ステップS204;YES)には、画像選択部231による画像データの次の選択タイミングまで時間がある。この場合には、選択周期変更部238は、タイマー部240により計測された時間に基づいて、光タグ発光周期の1/2倍から認識処理時間を差し引いた時間だけ待機する(ステップS205)。待機後、画像選択部231は、再び、画像取得部230により取得された現在の画像データを選択するとともに、現在時刻(第1画像データ選択時刻)を取得し、メモリ204に記憶させる(ステップS201)。
一方、認識処理時間が光タグ発光周期の1/2倍以上である場合(ステップS204;NO)には、画像選択部231による画像データの次の選択タイミングに達してしまっている、あるいは経過してしまっており、画像選択部231は、当該次の選択タイミングで画像データを選択することができない。この場合、選択周期変更部238は、メモリ204内に設定される画像選択カウンタNを0に設定するとともに、パターン周期カウンタRを0に設定する(ステップS206)。
次に、選択周期変更部238は、タイマー部240により計測された時間に基づいて、光タグ発光周期から認識処理時間を差し引いた時間だけ待機する(ステップS207)。待機後、画像選択部231は、画像取得部230により取得された現在の画像データを選択するとともに、現在時刻(第2画像データ選択時刻)を取得し、メモリ204に記憶させる(ステップS208)。
次に、光タグ候補点検出処理部232は、ステップS208においてメモリ204に記憶された画像データに基づいて、画像内において光タグ100が存在すると推定される位置(候補点)を検出し、図10に示すように、候補点のx座標、y座標及び大きさからなる候補点データをメモリ204に記憶させる。更に、光タグ候補点検出処理部232は、候補点検出処理が終了した時の現在時刻(候補点検出終了時刻)を取得する(ステップS209)。
次に、比較部236は、ステップS209において取得された候補点検出終了時刻からステップS208においてメモリ204に記憶された第2画像データ選択時刻を差し引くことにより、画像選択部231による画像データの選択から光タグ候補点検出処理部232による候補点の検出終了までに要した時間(候補点検出処理時間)を算出する(ステップS210)。次に、選択周期変更部238は、メモリ204内に設定される画像選択カウンタNを1増加させる(ステップS211)。
その後、図8に示す動作に移行し、選択周期変更部238は、画像選択カウンタNの値が光パターン数(ここでがR,G、Bの3)であるか否かを判定する(ステップS221)。画像選択カウンタNの値が光パターン数と一致しない場合(ステップS221;NO)には、選択周期変更部238は、タイマー部240により計測された時間に基づいて、光タグ発光周期から候補点検出処理時間を差し引いた時間だけ待機する(ステップS222)。待機後、画像選択部231は、再び、画像取得部230により取得された現在の画像データを選択するとともに、現在時刻(第2画像データ選択時刻)を取得し、メモリ204に記憶させる(ステップS208)。これにより、画像選択部231による画像データの選択周期は、光タグ発光周期の1/2倍から光タグ発光周期に変更される。
一方、画像選択カウンタNの値が光パターン数と一致する場合(ステップS221;YES)には、選択周期変更部238は、パターン周期カウンタRを1増加させるとともに、画像選択カウンタNを0に設定する(ステップS223)。次に、選択周期変更部238は、パターン周期カウンタRが2であるか否かを判定する(ステップS224)。
パターン周期カウンタRが2でない場合(ステップS224;NO)には、選択周期変更部238は、タイマー部240により計測された時間に基づいて、光タグ発光周期の3/2倍又は1/2倍から候補点検出処理時間を差し引いた時間だけ待機する(ステップS225)。待機後、画像選択部231は、再び、画像取得部230により取得された現在の画像データを選択するとともに、現在時刻(第2画像データ選択時刻)を取得し、メモリ204に記憶させる(ステップS208)。
一方、パターン周期カウンタRが2である場合(ステップS224;YES)には、光パターン認識処理部234は、メモリ204に記憶している候補点データを並び替える(ステップS226)。ここで、光パターン認識処理部234は、メモリ204に記憶されている光パターンのデータに基づいて、R(赤)に対応する候補点データ、消灯に対応する候補点データ、G(緑)に対応する候補点データ、消灯に対応する候補点データ、B(青)に対応する候補点データ、消灯に対応する候補点データの順で繰り返されるように、並び替えを行う。並び替えられた候補点データは、図11に示すように検出光タグパターンデータとしてメモリ204に記憶される。
次に、選択周期変更部238は、タイマー部240により計測された時間に基づいて、光タグ発光周期の1/2倍から候補点検出処理時間を差し引いた時間だけ待機する(ステップS227)。待機後、画像選択部231は、画像取得部230により取得された現在の画像データを選択するとともに、現在時刻(第1画像データ選択時刻)を取得し、図9に示すようにメモリ204に記憶させる(ステップS201)。この場合、その後のステップS204において、認識処理時間が光タグ発光周期の1/2倍より短いと判定された場合には、ステップS205において、選択周期変更部238は、タイマー部240により計測された時間に基づいて、光タグ発光周期の1/2倍から認識処理時間を差し引いた時間だけ待機する。これにより、画像選択部231による画像データの選択周期は、光タグ発光周期から、元の光タグ発光周期の1/2倍に変更される。
第1の実施形態では、画像選択部231による画像データの選択から光パターン認識処理部234による光パターンの認識処理の終了までに要する時間(認識処理時間)が、画像選択部231による画像データの選択周期である光タグ発光周期の1/2倍よりも長くなり、画像選択部231による次のタイミングでの画像データの選択ができなくなった場合には、画像選択部231による画像データの選択周期が光タグ発光周期と同一に変更される。更に、変更後の選択周期で選択された画像データに基づいて候補点データが記憶される。その後、光タグ発光周期で選択された画像データの数が光パターン数である3になった場合には、それまでの画像データの選択周期とは光タグ発光周期の1/2倍だけずらした新たな画像データの選択周期が設定される。更に、新たな画像データの選択周期で選択された画像データに基づいて候補点データが記憶される。その後、新たな画像データの選択周期で選択された画像データの数が光パターン数である3になった場合には、それまでに記憶されている候補点データが、R(赤)に対応する候補点データ、消灯に対応する候補点データ、G(緑)に対応する候補点データ、消灯に対応する候補点データ、B(青)に対応する候補点データ、消灯に対応する候補点データの順で繰り返されるように並び替えられて、検出光タグパターンデータとしてメモリ204に記憶される。
このように、認識処理時間が、画像選択部231による画像データの選択周期よりも長くなる場合には、画像データの選択周期を長くする一方、その間に選択された画像データについても光タグ100の追尾に用いられる。
従来は、図12に示すように、認識処理時間が、画像選択部231による画像データの選択周期よりも長くなる場合には、その後に認識処理時間が、画像選択部231による画像データの選択周期よりも長くなるまでの間、認識処理部234による光パターンの認識は不能となり、その結果、光タグ100を追尾できなくなってしまう場合があった。
これに対し、図13(図8のステップS225において光タグ発光周期の3/2倍から候補点検出処理時間を差し引いた時間だけ待機された場合)、及び、図14(図8のステップS225において光タグ発光周期の1/2倍から候補点検出処理時間を差し引いた時間だけ待機された場合)に示すように、認識処理時間が、画像選択部231による画像データの選択周期よりも長くなる場合には、画像データの選択周期を認識処理時間より長くし、その変更後の画像データの選択周期で選択された画像データに基づいて候補点データが記憶されて、光タグ100の追尾に用いられる。このため、従来のように光パターン認識処理部234による光パターンの認識が不能となる期間が長期化することを防止し、光タグ100の追尾を良好に行うことが可能となる。
(第2の実施形態)
以下、図面を参照して、本発明の第2の実施形態に係る追尾システムを説明する。なお、追尾システム1、光タグ100及び撮像装置200の構成、光タグ100による発光動作、通常時における画像選択部231の画像データの選択タイミング、光タグ候補点検出処理部232による候補点の検出、光パターン認識処理部234による光パターンの認識処理は、第1実施形態と同様であるので、その説明は省略する。
図15は、撮像装置200による光タグ追尾動作を示すフローチャートである。撮像装置200の制御部202内の画像選択部231は、画像取得部230により取得された現在の画像データを選択するとともに、現在時刻(第1画像データ選択時刻)を取得し、図9に示すようにメモリ204に記憶させる(ステップS301)。
次に、制御部202内の光タグ候補点検出処理部232は、ステップS301においてメモリ204に記憶された画像データに基づいて、画像内において光タグ100が存在すると推定される位置(候補点)を検出する。制御部202内の光パターン認識処理部234は、光タグ候補点検出処理部232によって検出された候補点における光パターンを認識する。更に、光パターン認識処理部234は、光パターンの認識処理が終了した時の現在時刻(認識終了時刻)を取得する(ステップS302)。
次に、制御部202内の比較部236は、ステップS202において取得された認識終了時刻からステップS201においてメモリ204に記憶された第1画像データ選択時刻を差し引くことにより、画像選択部231による画像データの選択から光パターン認識処理部234による光パターンの認識処理の終了までに要する時間(認識処理時間)を算出する(ステップS303)。
認識処理時間が光タグ発光周期の1/2倍より短い場合(ステップS304;YES)には、画像選択部231による画像データの次の選択タイミングまで時間がある。この場合には、選択周期変更部238は、タイマー部240により計測された時間に基づいて、光タグ発光周期の1/2倍から認識処理時間を差し引いた時間だけ待機する(ステップS305)。待機後、画像選択部231は、再び、画像取得部230により取得された現在の画像データを選択するとともに、現在時刻(第1画像データ選択時刻)を取得し、メモリ204に記憶させる(ステップS301)。
一方、認識処理時間が光タグ発光周期の1/2倍以上である場合(ステップS304;NO)には、画像選択部231による画像データの次の選択タイミングに達してしまっている、あるいは経過してしまっており、画像選択部231は、当該次の選択タイミングで画像データを選択することができない。この場合、選択周期変更部238は、認識処理時間<N×パターン周期+光タグ発光周期×1/2を満たす最小の整数Nを算出する(ステップS306)。
次に、選択周期変更部238は、タイマー部240により計測された時間に基づいて、N×パターン周期+光タグ発光周期×1/2から認識処理時間を差し引いた時間だけ待機する(ステップS307)。待機後、画像選択部231は、再び、画像取得部230により取得された現在の画像データを選択するとともに、現在時刻(第1画像データ選択時刻)を取得し、メモリ204に記憶させる(ステップS301)。これにより、画像選択部231による画像データの選択周期は、光タグ発光周期の1/2倍からN×パターン周期+光タグ発光周期×1/2に変更される。この場合、その後のステップS304において、認識処理時間が光タグ発光周期の1/2倍より短いと判定された場合には、ステップS305において、選択周期変更部238は、タイマー部240により計測された時間に基づいて、光タグ発光周期の1/2倍から認識処理時間を差し引いた時間だけ待機する。これにより、画像選択部231による画像データの選択周期は、N×パターン周期+光タグ発光周期×1/2から、元の光タグ発光周期の1/2倍に変更される。
第2の実施形態では、画像選択部231による画像データの選択から光パターンの認識処理終了までに要する時間(認識処理時間)が、画像選択部231による画像データの選択周期である光タグ発光周期の1/2倍よりも長くなり、画像選択部231による次のタイミングでの画像データの選択ができなくなった場合には、画像選択部231による画像データの選択周期がN×パターン周期+光タグ発光周期×1/2に変更される。
このように、認識処理時間が、画像選択部231による画像データの選択周期よりも長くなる場合には、画像データの選択周期を長くする一方、その間に選択された画像データについても光タグ100の追尾に用いられる。
具体的には、図16に示すように、認識処理時間が、画像選択部231による画像データの選択周期よりも長くなる場合には、画像データの選択周期を認識処理時間より長くし、その変更後の選択周期で選択された画像データに基づいて認識処理が行われて光タグ100の追尾に用いられる。このため、従来のように光パターン認識処理部234による光パターンの認識が不能となる期間が長期化することを防止し、光タグ100の追尾を良好に行うことが可能となる。
(第3の実施形態)
ところで、光タグ100内の発光部108は、バッテリ112から供給される電力により発光する。このため、バッテリ112の消耗を抑制するように発光部108による発光を制御することが望ましい。以下、図面を参照して、本発明の第3の実施形態に係る追尾システムを説明する。なお、追尾システム1、光タグ100及び撮像装置200の構成は、第1実施形態と同様であり、追尾システム1は図1、光タグ100は図2、撮像装置200は図4にそれぞれ示される。
光タグ100内の制御部104は、光パターンである赤(R)、緑(G)、青(B)の光をこの順序で繰り返して発するように発光部108による発光を制御する。R、G、Bの光はそれぞれ同一時間発せられ、各発光期間の間には光が発せられない期間が存在する。本実施形態では、RGBの光の繰り返し周期をパターン周期と称し、各発光期間と前後の光が発せられない期間の1/2とからなる期間を光タグ発光周期と称する。
また、制御部104は、第1の期間継続する点灯期間と第2の期間継続する消灯期間とが交互に生じるように発光部108による発光を制御する。この際、制御部104は、各点灯期間における最初の光がR、G、Bの順序で繰り返されるように発光部108による発光を制御する。また、制御部104は、点灯期間が、光タグ発光周期の整数倍の期間であって、予め定められている撮像装置200の制御部202内の画像選択部231による画像データの選択周期以上の期間のうち、最短の期間となり、消灯期間が、光タグ発光周期の整数倍の期間であって、画像選択部231による画像データの選択周期以下の期間のうち、最長の期間となるように発光部108による発光を制御する。例えば、画像選択部231による画像データの選択周期の情報は、予めメモリ106に記憶されている。
発光部108は、制御部104による上述した制御に応じた発光を行う。図17は、光タグ100による発光のタイミングチャートの一例を示す図である。図17では、画像選択部231による画像データの選択周期は、光タグ発光周期の6.5倍である。光タグ100は、光タグ発光周期の整数倍の期間であって、画像選択部231による画像データの選択周期以上の期間のうち、最短の期間である、光タグ発光周期の7倍の点灯期間において、R、G、Bの光を繰り返して発光する。また、光タグ100は、光タグ発光周期の整数倍の期間であって、画像選択部231による画像データの選択周期以下の期間のうち、最長の期間である、光タグ発光周期の6倍の消灯期間において発光を停止する。ここでは、点灯期間は、画像選択部231による画像データの選択周期よりも光タグ発光周期の1/2だけ長い期間であり、消灯期間は、画像選択部231による画像データの選択周期よりも光タグ発光周期の1/2だけ短い期間である。更に、光タグ100は、各点灯期間の最初の光がR、G、Bの順序で繰り返されるように発光する。
撮像装置200の制御部202は、撮像部214による撮像周期(フレームレート)を制御する。また、制御部202内の画像取得部230は、撮像部214による撮像により得られた画像データを画像処理部216から取得する。画像選択部231は、画像取得部230により取得された画像データを所定の周期で選択し、メモリ204に記憶させる。光タグ候補点検出処理部232は、記憶された画像データに基づいて、画像内において光タグ100が存在すると推定される位置(候補点)を検出する。光パターン認識処理部234は、光タグ候補点検出処理部232によって検出された候補点における光パターンを認識する。また、画像選択部231は、光パターン認識処理部234による光パターンの認識結果に応じて、画像データの選択タイミング(画像データの選択周期の先頭のタイミング)を変更する。本実施形態における光タグ100の追尾の詳細については後述する。
図18は、光タグ100が点灯期間での点灯と消灯期間での消灯とを繰り返す場合における、撮像装置200による光タグ100の追尾動作を示すフローチャートである。撮像装置200の制御部202は、メモリ204内に設定されるカウンタFを0に設定する(ステップS401)。次に、制御部202は、カウンタFが0であるか否かを判定する(ステップS402)。
カウンタFが0でない場合(ステップS402;NO)、制御部202は、撮像部214のフレームレートを光タグ100における光タグ発光周期の1/2に設定する(ステップS403)。光タグ100における光タグ発光周期の情報は、例えば、予めメモリ204に記憶されている。一方、カウンタFが0である場合(ステップS402;YES)、制御部202は、撮像部214のフレームレートを表示部207による画像の出力周期(例えば1/30秒)に設定する(ステップS404)。
ステップS403又はステップS404におけるフレームレートの設定後、制御部202内の画像選択部231は、画像取得部230により取得された画像データを、予め設定されている画像データ選択周期で選択してメモリ204に記憶させる(ステップS405)。
次に、制御部202は、カウンタFが0であるか否かを判定する(ステップS406)。
カウンタFが0である場合(ステップS406;YES)、制御部202は、カウンタFを1に設定する(ステップS407)。更に、制御部202は、ステップS405において取得された画像データに基づく画像を表示部207に表示させる制御を行う(ステップS408)。その後は、ステップS402以降の動作が繰り返される。
一方、カウンタFが0でない場合(ステップS406;NO)、制御部202は、カウンタFを0に設定する(ステップS409)。次に、制御部202内の光タグ候補点検出処理部232は、ステップS405においてメモリ204に記憶された画像データに基づいて、画像内において光タグ100が存在すると推定される位置(候補点)を検出し、候補点のx座標、y座標及び大きさからなる候補点データをメモリ204に記憶させる(ステップS410)。
次に、光パターン認識処理部234は、記憶済みの連続する候補点データに基づいて光パターンを認識し、その認識結果である光パターンが基準の光パターンと一致するか否かを判定する(ステップS411)。例えば、画像選択部231により、図19のAのタイミングで画像データが選択される場合と、Bのタイミングで画像データが選択される場合を考える。図19のAのタイミングで画像データが選択される場合には、認識結果の光パターンは、図20(a)に示すように、R、消灯、G、消灯、B、消灯の順序で繰り返されるものとなり、この場合には、基準の光パターンと一致する。一方、図19のBのタイミングで画像データが選択される場合には、認識結果の光パターンは、図20(b)に示すように、消灯のみが繰り返されるものとなり、この場合には、基準の光パターンと一致しない。
認識結果のパターンが基準の光パターンと一致する場合(ステップS411;YES)、制御部202は、光タグ100の追尾が成功したことを示す画像を表示部207に表示させる制御を行う(ステップS412)。その後、ステップS402以降の動作が繰り返される。
一方、認識結果のパターンが基準の光パターンと一致しない場合(ステップS411;NO)、画像選択部231は、画像データの選択タイミング(画像データの選択周期の先頭のタイミング)を変更する(ステップS413)。具体的には、画像選択部231は、画像データの選択タイミングを、光タグ発光周期より短い期間(例えば、光タグ発光周期の1/2)だけずらす。その後、ステップS402以降の動作が繰り返される。
第3の実施形態では、光タグ100は、第1の期間継続する点灯期間と第2の期間継続する消灯期間とが交互に生じるように発光する。消灯期間が設けられることにより、バッテリ112の消耗を抑制し、稼働時間を延ばすことができる。
また、発光部108による点灯期間が、光タグ発光周期の整数倍の期間であって、予め定められている撮像装置200の制御部202内の画像選択部231による画像データの選択周期以上の期間のうち、最短の期間となり、消灯期間が、光タグ発光周期の整数倍の期間であって、画像選択部231による画像データの選択周期以下の期間のうち、最長の期間となるようにすることで、撮像装置200による光タグ100の追尾が可能な範囲で消灯時間をできるだけ長くすることができる。また、各点灯期間における最初の光がR、G、Bの順序で繰り返されることにより、撮像装置200において、画像選択部231による画像データの選択タイミングをできるだけ変更することなく、光タグ100の追尾を可能とすることができる。
なお、本発明は、上記実施形態の説明及び図面によって限定されるものではなく、上記実施形態及び図面に適宜変更等を加えることは可能である。例えば、上述した実施形態では、光タグ候補点検出処理部232が、画像選択部231により選択された画像データに基づいて候補点を検出し、光パターン認識処理部234が、光タグ候補点検出処理部232によって検出された候補点における光パターンを認識したが、光タグ候補点検出処理部232を設けずに、光パターン認識処理部234が、候補点の検出と、その候補点における光パターンの認識との双方を行うようにしてもよい。
また、例えば、コンピュータがプログラムを実行することで、撮像装置200の機能を実現してもよい。また、撮像装置200の機能を実現するためのプログラムは、CD−ROM等の記憶媒体に記憶されてもよいし、ネットワークを介してコンピュータにダウンロードされてもよい。
以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
(付記1)
所定回数の輝度変化からなるパターンで繰り返し発光する発光装置と、
前記発光装置からの輝度変化のパターンを含んだ画像を撮像する撮像装置と、
を備える撮影システムであって、
前記撮像装置は、
撮像を行う撮像手段と、
繰り返し発光する所定回数の輝度変化からなるパターンを追尾対象として、この繰り返しのタイミングに同期させるとともに、前記撮像手段による撮像により連続的に前記パターンを含む画像を取得する画像取得手段と、
前記画像取得手段により連続的に取得された前記パターンを含む画像から、前記パターンを認識すべき画像を所定の周期で選択する選択手段と、
前記選択手段によって選択された前記パターンを含む画像に含まれる前記パターンを認識する認識手段と、
前記認識手段による認識の状況に応じて、前記選択手段による前記パターンを含む画像の選択周期を変更する変更手段と、
を備えることを特徴とする撮影システム。
(付記2)
前記撮像装置は、
前記選択手段による前記パターンを含む画像の選択から前記認識手段による認識終了までに要した認識時間を取得する時間取得手段と、
前記時間取得手段によって取得された認識時間と、前記選択手段による前記パターンを含む画像の選択周期とを比較する比較手段と、
を更に備え、
前記変更手段は、前記比較手段による比較の結果に基づいて、前記選択手段による前記パターンを含む画像の選択周期を変更することを特徴とする付記1に記載の撮影システム。
(付記3)
前記選択手段による前記パターンを含む画像の選択周期は前記パターンにおける一度の発光時間よりも短い第1の選択周期であり、
前記変更手段は、前記比較手段による比較の結果、前記認識時間の方が前記第1の選択周期より長い場合、前記選択手段による前記パターンを含む画像の選択周期を前記パターンにおける一度の発光時間に略等しい第2の選択周期に変更することを特徴とする付記2に記載の撮影システム。
(付記4)
前記変更手段は、前記選択手段により前記第2の選択周期で選択された前記パターンを含む画像について前記認識手段による認識が終了した場合、前記選択手段による前記パターンを含む画像の選択周期を、前記第1の選択周期、及び、前記パターンにおける一度の発光時間よりも長い第3の選択周期の何れかに変更することを特徴とする付記3に記載の撮影システム。
(付記5)
前記選択手段による前記パターンを含む画像の選択周期は前記パターンにおける一度の発光時間よりも短い第4の選択周期であり、
前記変更手段は、前記比較手段による比較の結果、前記認識時間の方が前記第4の選択周期より長い場合、前記選択手段による前記パターンを含む画像の選択周期を、前記パターン所定数分の時間に前記パターンにおける一度の発光時間よりも短い時間を加算した第5の選択周期に変更することを特徴とする付記2に記載の撮影システム。
(付記6)
前記パターンは所定数の色の変化からなることを特徴とする付記1〜5の何れか1つに記載の撮影システム。
(付記7)
前記発光装置は、
内部に搭載された電源の電力供給により発光し、
前記撮像装置における前記選択手段による画像の選択周期に基づいて、第1の期間継続する点灯と第2の期間継続する消灯とを周期的に繰り返すように発光を制御する発光制御手段を備えることを特徴とする付記1に記載の撮影システム。
(付記8)
前記発光装置は、
前記第1の期間においては所定数の色の変化からなるパターンで周期的に発光し、
前記発光制御手段は、前記第1の期間の最初のタイミングが到来する毎に、前記所定数の色の変化からなるパターンの順序に従った色で発光するように制御することを特徴とする付記7に記載の撮影システム。
(付記9)
前記第1の期間は、前記所定数の色の1つ分の発光期間の整数倍であって、前記撮像装置における前記選択手段による画像の選択周期以上の期間のうち、最短の期間であることを特徴とする付記7又は8に記載の撮影システム。
(付記10)
前記第2の期間は、前記所定数の色の1つ分の発光期間の整数倍であって、前記撮像装置における前記選択手段による画像の選択周期以下の期間のうち、最長の期間であることを特徴とする付記7〜9の何れか1つに記載の撮影システム。
(付記11)
撮像を行う撮像手段と、
繰り返し発光する所定回数の輝度変化からなるパターンを追尾対象として、この繰り返しのタイミングに同期させるとともに、前記撮像手段による撮像により連続的に前記パターンを含む画像を取得する画像取得手段と、
前記画像取得手段により連続的に取得された前記パターンを含む画像から、前記パターンを認識すべき画像を所定の周期で選択する選択手段と、
前記選択手段によって選択された前記パターンを含む画像に含まれる前記パターンを認識する認識手段と、
前記認識手段による認識の状況に応じて、前記選択手段による前記パターンを含む画像の選択周期を変更する変更手段と、
を備えることを特徴とする撮像装置。
(付記12)
前記選択手段による前記パターンを含む画像の選択から前記認識手段による認識終了までに要した認識時間を取得する時間取得手段と、
前記時間取得手段によって取得された認識時間と、前記選択手段による前記パターンを含む画像の選択周期とを比較する比較手段と、
を更に備え、
前記変更手段は、前記比較手段による比較の結果に基づいて、前記選択手段による前記パターンを含む画像の選択周期を変更することを特徴とする付記11に記載の撮像装置。
(付記13)
前記選択手段による前記パターンを含む画像の選択周期は前記パターンにおける一度の発光時間よりも短い第1の選択周期であり、
前記変更手段は、前記比較手段による比較の結果、前記認識時間の方が前記第1の選択周期より長い場合、前記選択手段による前記パターンを含む画像の選択周期を前記パターンにおける一度の発光時間に略等しい第2の選択周期に変更することを特徴とする付記12に記載の撮像装置。
(付記14)
前記変更手段は、前記選択手段により前記第2の選択周期で選択された前記パターンを含む画像について前記認識手段による認識が終了した場合、前記選択手段による前記パターンを含む画像の選択周期を、前記第1の選択周期、及び、前記パターンにおける一度の発光時間よりも長い第3の選択周期の何れかに変更することを特徴とする付記13に記載の撮像装置。
(付記15)
前記選択手段による前記パターンを含む画像の選択周期は前記パターンにおける一度の発光時間よりも短い第4の選択周期であり、
前記変更手段は、前記比較手段による比較の結果、前記認識時間の方が前記第4の選択周期より長い場合、前記選択手段による前記パターンを含む画像の選択周期を、前記パターン所定数分の時間に前記パターンにおける一度の発光時間よりも短い時間を加算した第5の選択周期に変更することを特徴とする付記12に記載の撮像装置。
(付記16)
前記パターンは所定数の色の変化からなることを特徴とする付記11〜15の何れか1つに記載の撮像装置。
(付記17)
内部に搭載された電源の電力供給により発光する発光装置であって、
前記発光装置により発せられた光を撮像する撮像装置における画像の選択周期に基づいて、第1の期間継続する点灯と第2の期間継続する消灯とを周期的に繰り返すように発光を制御する発光制御手段を備えることを特徴とする発光装置。
(付記18)
前記第1の期間においては所定数の色の変化からなるパターンで周期的に発光し、
前記発光制御手段は、前記第1の期間の最初のタイミングが到来する毎に、前記所定数の色の変化からなるパターンの順序に従った色で発光するように制御することを特徴とする付記17に記載の発光装置。
(付記19)
前記第1の期間は、前記所定数の色の1つ分の発光期間の整数倍であって、前記撮像装置における画像の選択周期以上の期間のうち、最短の期間であることを特徴とする付記17又は18に記載の発光装置。
(付記20)
前記第2の期間は、前記所定数の色の1つ分の発光期間の整数倍であって、前記撮像装置における画像の選択周期以下の期間のうち、最長の期間であることを特徴とする付記17〜19の何れか1つに記載の発光装置。
(付記21)
撮像装置における撮像方法であって、
撮像を行う撮像ステップと、
繰り返し発光する所定回数の輝度変化からなるパターンを追尾対象として、この繰り返しのタイミングに同期させるとともに、前記撮像ステップにおける撮像により連続的に前記パターンを含む画像を取得する画像取得ステップと、
前記画像取得ステップにおいて連続的に取得された前記パターンを含む画像から、前記パターンを認識すべき画像を所定の周期で選択する選択ステップと、
前記選択ステップにおいて選択された前記パターンを含む画像に含まれる前記パターンを認識する認識ステップと、
前記選択ステップにおける前記パターンを含む画像の選択から前記認識ステップにおける認識終了までに要した認識時間を取得する時間取得ステップと、
前記時間取得ステップにおいて取得された認識時間と、前記選択ステップにおける前記パターンを含む画像の選択周期とを比較する比較ステップと、
前記比較ステップにおける比較の結果に基づいて、前記選択ステップにおける前記パターンを含む画像の選択周期を変更する変更ステップと、
を含むことを特徴とする撮像方法。
(付記22)
内部に搭載された電源の電力供給により発光する発光装置における発光方法であって、
前記発光装置により発せられた光を撮像する撮像装置における画像の選択周期に基づいて、第1の期間継続する点灯と第2の期間継続する消灯とを周期的に繰り返すように発光を制御する発光制御ステップを含むことを特徴とする発光方法。
(付記23)
撮像装置を、
撮像を行う撮像手段、
繰り返し発光する所定回数の輝度変化からなるパターンを追尾対象として、この繰り返しのタイミングに同期させるとともに、前記撮像手段による撮像により連続的に前記パターンを含む画像を取得する画像取得手段、
前記画像取得手段により連続的に取得された前記パターンを含む画像から、前記パターンを認識すべき画像を所定の周期で選択する選択手段、
前記選択手段によって選択された前記パターンを含む画像に含まれる前記パターンを認識する認識手段、
前記選択手段による前記パターンを含む画像の選択から前記認識手段による認識終了までに要した認識時間を取得する時間取得手段、
前記時間取得手段によって取得された認識時間と、前記選択手段による前記パターンを含む画像の選択周期とを比較する比較手段、
前記比較手段による比較の結果に基づいて、前記選択手段による前記パターンを含む画像の選択周期を変更する変更手段、
として機能させることを特徴とするプログラム。
(付記24)
内部に搭載された電源の電力供給により発光する発光装置を、
前記発光装置により発せられた光を撮像する撮像装置における画像の選択周期に基づいて、第1の期間継続する点灯と第2の期間継続する消灯とを周期的に繰り返すように発光を制御する発光制御手段、
として機能させることを特徴とするプログラム。
1…追尾システム、100…光タグ、102…タイミングジェネレータ、104…制御部、200…撮像装置、202…制御部、106、204…メモリ、108…発光部、110…発光窓、112…バッテリ、206…操作部、207…表示部、212…レンズ、214…撮像部、215…受光面、216…画像処理部、230…画像取得部、231…画像選択部、232…光タグ候補点検出処理部、234…光パターン認識処理部、236…比較部、238…選択周期変更部、240…タイマー部、400…ユーザ

Claims (24)

  1. 所定回数の輝度変化からなるパターンで繰り返し発光する発光装置と、
    前記発光装置からの輝度変化のパターンを含んだ画像を撮像する撮像装置と、
    を備える撮影システムであって、
    前記撮像装置は、
    撮像を行う撮像手段と、
    繰り返し発光する所定回数の輝度変化からなるパターンを追尾対象として、この繰り返しのタイミングに同期させるとともに、前記撮像手段による撮像により連続的に前記パターンを含む画像を取得する画像取得手段と、
    前記画像取得手段により連続的に取得された前記パターンを含む画像から、前記パターンを認識すべき画像を所定の周期で選択する選択手段と、
    前記選択手段によって選択された前記パターンを含む画像に含まれる前記パターンを認識する認識手段と、
    前記認識手段による認識の状況に応じて、前記選択手段による前記パターンを含む画像の選択周期を変更する変更手段と、
    を備えることを特徴とする撮影システム。
  2. 前記撮像装置は、
    前記選択手段による前記パターンを含む画像の選択から前記認識手段による認識終了までに要した認識時間を取得する時間取得手段と、
    前記時間取得手段によって取得された認識時間と、前記選択手段による前記パターンを含む画像の選択周期とを比較する比較手段と、
    を更に備え、
    前記変更手段は、前記比較手段による比較の結果に基づいて、前記選択手段による前記パターンを含む画像の選択周期を変更することを特徴とする請求項1に記載の撮影システム。
  3. 前記選択手段による前記パターンを含む画像の選択周期は前記パターンにおける一度の発光時間よりも短い第1の選択周期であり、
    前記変更手段は、前記比較手段による比較の結果、前記認識時間の方が前記第1の選択周期より長い場合、前記選択手段による前記パターンを含む画像の選択周期を前記パターンにおける一度の発光時間に略等しい第2の選択周期に変更することを特徴とする請求項2に記載の撮影システム。
  4. 前記変更手段は、前記選択手段により前記第2の選択周期で選択された前記パターンを含む画像について前記認識手段による認識が終了した場合、前記選択手段による前記パターンを含む画像の選択周期を、前記第1の選択周期、及び、前記パターンにおける一度の発光時間よりも長い第3の選択周期の何れかに変更することを特徴とする請求項3に記載の撮影システム。
  5. 前記選択手段による前記パターンを含む画像の選択周期は前記パターンにおける一度の発光時間よりも短い第4の選択周期であり、
    前記変更手段は、前記比較手段による比較の結果、前記認識時間の方が前記第4の選択周期より長い場合、前記選択手段による前記パターンを含む画像の選択周期を、前記パターン所定数分の時間に前記パターンにおける一度の発光時間よりも短い時間を加算した第5の選択周期に変更することを特徴とする請求項2に記載の撮影システム。
  6. 前記パターンは所定数の色の変化からなることを特徴とする請求項1〜5の何れか1項に記載の撮影システム。
  7. 前記発光装置は、
    内部に搭載された電源の電力供給により発光し、
    前記撮像装置における前記選択手段による画像の選択周期に基づいて、第1の期間継続する点灯と第2の期間継続する消灯とを周期的に繰り返すように発光を制御する発光制御手段を備えることを特徴とする請求項1に記載の撮影システム。
  8. 前記発光装置は、
    前記第1の期間においては所定数の色の変化からなるパターンで周期的に発光し、
    前記発光制御手段は、前記第1の期間の最初のタイミングが到来する毎に、前記所定数の色の変化からなるパターンの順序に従った色で発光するように制御することを特徴とする請求項7に記載の撮影システム。
  9. 前記第1の期間は、前記所定数の色の1つ分の発光期間の整数倍であって、前記撮像装置における前記選択手段による画像の選択周期以上の期間のうち、最短の期間であることを特徴とする請求項7又は8に記載の撮影システム。
  10. 前記第2の期間は、前記所定数の色の1つ分の発光期間の整数倍であって、前記撮像装置における前記選択手段による画像の選択周期以下の期間のうち、最長の期間であることを特徴とする請求項7〜9の何れか1項に記載の撮影システム。
  11. 撮像を行う撮像手段と、
    繰り返し発光する所定回数の輝度変化からなるパターンを追尾対象として、この繰り返しのタイミングに同期させるとともに、前記撮像手段による撮像により連続的に前記パターンを含む画像を取得する画像取得手段と、
    前記画像取得手段により連続的に取得された前記パターンを含む画像から、前記パターンを認識すべき画像を所定の周期で選択する選択手段と、
    前記選択手段によって選択された前記パターンを含む画像に含まれる前記パターンを認識する認識手段と、
    前記認識手段による認識の状況に応じて、前記選択手段による前記パターンを含む画像の選択周期を変更する変更手段と、
    を備えることを特徴とする撮像装置。
  12. 前記選択手段による前記パターンを含む画像の選択から前記認識手段による認識終了までに要した認識時間を取得する時間取得手段と、
    前記時間取得手段によって取得された認識時間と、前記選択手段による前記パターンを含む画像の選択周期とを比較する比較手段と、
    を更に備え、
    前記変更手段は、前記比較手段による比較の結果に基づいて、前記選択手段による前記パターンを含む画像の選択周期を変更することを特徴とする請求項11に記載の撮像装置。
  13. 前記選択手段による前記パターンを含む画像の選択周期は前記パターンにおける一度の発光時間よりも短い第1の選択周期であり、
    前記変更手段は、前記比較手段による比較の結果、前記認識時間の方が前記第1の選択周期より長い場合、前記選択手段による前記パターンを含む画像の選択周期を前記パターンにおける一度の発光時間に略等しい第2の選択周期に変更することを特徴とする請求項12に記載の撮像装置。
  14. 前記変更手段は、前記選択手段により前記第2の選択周期で選択された前記パターンを含む画像について前記認識手段による認識が終了した場合、前記選択手段による前記パターンを含む画像の選択周期を、前記第1の選択周期、及び、前記パターンにおける一度の発光時間よりも長い第3の選択周期の何れかに変更することを特徴とする請求項13に記載の撮像装置。
  15. 前記選択手段による前記パターンを含む画像の選択周期は前記パターンにおける一度の発光時間よりも短い第4の選択周期であり、
    前記変更手段は、前記比較手段による比較の結果、前記認識時間の方が前記第4の選択周期より長い場合、前記選択手段による前記パターンを含む画像の選択周期を、前記パターン所定数分の時間に前記パターンにおける一度の発光時間よりも短い時間を加算した第5の選択周期に変更することを特徴とする請求項12に記載の撮像装置。
  16. 前記パターンは所定数の色の変化からなることを特徴とする請求項11〜15の何れか1項に記載の撮像装置。
  17. 内部に搭載された電源の電力供給により発光する発光装置であって、
    前記発光装置により発せられた光を撮像する撮像装置における画像の選択周期に基づいて、第1の期間継続する点灯と第2の期間継続する消灯とを周期的に繰り返すように発光を制御する発光制御手段を備えることを特徴とする発光装置。
  18. 前記第1の期間においては所定数の色の変化からなるパターンで周期的に発光し、
    前記発光制御手段は、前記第1の期間の最初のタイミングが到来する毎に、前記所定数の色の変化からなるパターンの順序に従った色で発光するように制御することを特徴とする請求項17に記載の発光装置。
  19. 前記第1の期間は、前記所定数の色の1つ分の発光期間の整数倍であって、前記撮像装置における画像の選択周期以上の期間のうち、最短の期間であることを特徴とする請求項17又は18に記載の発光装置。
  20. 前記第2の期間は、前記所定数の色の1つ分の発光期間の整数倍であって、前記撮像装置における画像の選択周期以下の期間のうち、最長の期間であることを特徴とする請求項17〜19の何れか1項に記載の発光装置。
  21. 撮像装置における撮像方法であって、
    撮像を行う撮像ステップと、
    繰り返し発光する所定回数の輝度変化からなるパターンを追尾対象として、この繰り返しのタイミングに同期させるとともに、前記撮像ステップにおける撮像により連続的に前記パターンを含む画像を取得する画像取得ステップと、
    前記画像取得ステップにおいて連続的に取得された前記パターンを含む画像から、前記パターンを認識すべき画像を所定の周期で選択する選択ステップと、
    前記選択ステップにおいて選択された前記パターンを含む画像に含まれる前記パターンを認識する認識ステップと、
    前記選択ステップにおける前記パターンを含む画像の選択から前記認識ステップにおける認識終了までに要した認識時間を取得する時間取得ステップと、
    前記時間取得ステップにおいて取得された認識時間と、前記選択ステップにおける前記パターンを含む画像の選択周期とを比較する比較ステップと、
    前記比較ステップにおける比較の結果に基づいて、前記選択ステップにおける前記パターンを含む画像の選択周期を変更する変更ステップと、
    を含むことを特徴とする撮像方法。
  22. 内部に搭載された電源の電力供給により発光する発光装置における発光方法であって、
    前記発光装置により発せられた光を撮像する撮像装置における画像の選択周期に基づいて、第1の期間継続する点灯と第2の期間継続する消灯とを周期的に繰り返すように発光を制御する発光制御ステップを含むことを特徴とする発光方法。
  23. 撮像装置を、
    撮像を行う撮像手段、
    繰り返し発光する所定回数の輝度変化からなるパターンを追尾対象として、この繰り返しのタイミングに同期させるとともに、前記撮像手段による撮像により連続的に前記パターンを含む画像を取得する画像取得手段、
    前記画像取得手段により連続的に取得された前記パターンを含む画像から、前記パターンを認識すべき画像を所定の周期で選択する選択手段、
    前記選択手段によって選択された前記パターンを含む画像に含まれる前記パターンを認識する認識手段、
    前記選択手段による前記パターンを含む画像の選択から前記認識手段による認識終了までに要した認識時間を取得する時間取得手段、
    前記時間取得手段によって取得された認識時間と、前記選択手段による前記パターンを含む画像の選択周期とを比較する比較手段、
    前記比較手段による比較の結果に基づいて、前記選択手段による前記パターンを含む画像の選択周期を変更する変更手段、
    として機能させることを特徴とするプログラム。
  24. 内部に搭載された電源の電力供給により発光する発光装置を、
    前記発光装置により発せられた光を撮像する撮像装置における画像の選択周期に基づいて、第1の期間継続する点灯と第2の期間継続する消灯とを周期的に繰り返すように発光を制御する発光制御手段、
    として機能させることを特徴とするプログラム。
JP2014031048A 2013-03-21 2014-02-20 撮影システム、撮像装置、発光装置、撮像方法、発光方法及びプログラム Active JP6307922B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014031048A JP6307922B2 (ja) 2013-03-21 2014-02-20 撮影システム、撮像装置、発光装置、撮像方法、発光方法及びプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013058658 2013-03-21
JP2013058658 2013-03-21
JP2014031048A JP6307922B2 (ja) 2013-03-21 2014-02-20 撮影システム、撮像装置、発光装置、撮像方法、発光方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2014207661A true JP2014207661A (ja) 2014-10-30
JP6307922B2 JP6307922B2 (ja) 2018-04-11

Family

ID=52120868

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014031048A Active JP6307922B2 (ja) 2013-03-21 2014-02-20 撮影システム、撮像装置、発光装置、撮像方法、発光方法及びプログラム

Country Status (1)

Country Link
JP (1) JP6307922B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000050145A (ja) * 1998-05-26 2000-02-18 Matsushita Electric Works Ltd 自動追尾装置
JP2004101616A (ja) * 2002-09-05 2004-04-02 Sony Corp 移動撮影システム、移動撮影方法、移動体、及び信号発生装置
JP2004221924A (ja) * 2003-01-15 2004-08-05 Sharp Corp 携帯端末装置及びデータ転送方式
JP2007272511A (ja) * 2006-03-31 2007-10-18 Casio Comput Co Ltd 情報伝送システム、撮像装置、情報出力方法、及び、情報出力プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000050145A (ja) * 1998-05-26 2000-02-18 Matsushita Electric Works Ltd 自動追尾装置
JP2004101616A (ja) * 2002-09-05 2004-04-02 Sony Corp 移動撮影システム、移動撮影方法、移動体、及び信号発生装置
JP2004221924A (ja) * 2003-01-15 2004-08-05 Sharp Corp 携帯端末装置及びデータ転送方式
JP2007272511A (ja) * 2006-03-31 2007-10-18 Casio Comput Co Ltd 情報伝送システム、撮像装置、情報出力方法、及び、情報出力プログラム

Also Published As

Publication number Publication date
JP6307922B2 (ja) 2018-04-11

Similar Documents

Publication Publication Date Title
JP7550467B2 (ja) 可視光通信システム
EP2924992B1 (en) Method and apparatus for obtaining 3d image
CN107079565B (zh) 照明设备
KR101379604B1 (ko) 정보 전송 시스템, 정보 송신 장치, 정보 수신 장치, 정보 전송 방법, 정보 송신 방법, 정보 수신 방법 및 그 프로그램을 기록한 기록 매체
JP5767403B2 (ja) 双方向ディスプレイおよびその制御方法
US8628198B2 (en) Lighting techniques for wirelessly controlling lighting elements
US11831993B2 (en) Information processing apparatus, information processing system, device for position and posture acquisition, and device information acquisition method
JP2006277085A (ja) 光学式ポインティング制御装置及び該装置を用いたポインティングシステム
WO2016031359A1 (ja) 制御装置、制御方法、及びプログラム
JP2014131237A (ja) 光通信装置、光通信方法および肌撮像システム
CN108306682B (zh) 发光装置、信息传送系统、信息传送方法
JP5366026B2 (ja) 情報伝送システム、情報送信装置、情報受信装置、情報伝送方法、情報送信方法、情報受信方法、及び、プログラム
JP6307922B2 (ja) 撮影システム、撮像装置、発光装置、撮像方法、発光方法及びプログラム
JP2012524375A (ja) 照明要素を無線制御する照明技法
JP7052696B2 (ja) 送信装置、送信方法及びプログラム
JP4576625B2 (ja) 情報伝送システム、撮像装置、及び、受光制御方法
CN113450406B (zh) 信息处理装置、信息处理方法以及记录介质
US10649547B2 (en) Image projection system, pointing element, and method for controlling image projection system
JP6508730B2 (ja) 発光マーカ装置、マーカ検出装置、伝送システム、マーカ発光方法、マーカ検出方法、及びプログラム
JP5924577B2 (ja) 位置検出装置
US8730344B2 (en) Digital photographing apparatus and method of controlling the same for setting a white balance
JP7024186B2 (ja) 表示装置、情報処理システム、情報処理方法及びプログラム
KR20140043976A (ko) 감시 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180226

R150 Certificate of patent or registration of utility model

Ref document number: 6307922

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150