JP2017112504A - Imaging apparatus, visible light communication identification information registration method, and program - Google Patents

Imaging apparatus, visible light communication identification information registration method, and program Download PDF

Info

Publication number
JP2017112504A
JP2017112504A JP2015245826A JP2015245826A JP2017112504A JP 2017112504 A JP2017112504 A JP 2017112504A JP 2015245826 A JP2015245826 A JP 2015245826A JP 2015245826 A JP2015245826 A JP 2015245826A JP 2017112504 A JP2017112504 A JP 2017112504A
Authority
JP
Japan
Prior art keywords
identification information
visible light
light emitting
information
emitting unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015245826A
Other languages
Japanese (ja)
Other versions
JP2017112504A5 (en
JP6604509B2 (en
Inventor
林 哲也
Tetsuya Hayashi
林  哲也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2015245826A priority Critical patent/JP6604509B2/en
Publication of JP2017112504A publication Critical patent/JP2017112504A/en
Publication of JP2017112504A5 publication Critical patent/JP2017112504A5/en
Application granted granted Critical
Publication of JP6604509B2 publication Critical patent/JP6604509B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To track a subject with high accuracy even when an optical tag cannot be recognized.SOLUTION: A light-emitting tag 10 is mounted on the wrist of a user or the like. In the light-emitting tag 10, a CPU 13 emits a visible light including a color pattern corresponding to first identification information 11a from a light-emitting part 14. In an imaging apparatus 20, a CPU 27 receives, by an imaging part 22, the visible light that is emitted from the light-emitting part 14 of the optical tag 10, acquires the first identification information included in the visible light, and registers the acquired first identification information and second identification information 24a that is different from the first identification information 11a and is information for image recognition, while associating them with each other. When photographing a moving picture, a position of a subject is identified based on the first identification information 11a and/or the second identification information 24a, and the moving picture is photographed while tracking the subject.SELECTED DRAWING: Figure 2

Description

本発明は、撮像装置、可視光通信識別情報登録方法、及びプログラムに関する。   The present invention relates to an imaging apparatus, a visible light communication identification information registration method, and a program.

従来、デジタルカメラにおける可視光通信による追跡システムでは、追跡する光タグを登録する必要がある。基本的に登録した光タグを認識してそれを追尾することで被写体を追跡することになる(例えば特許文献1、2、3、4参照)。   Conventionally, in a tracking system using visible light communication in a digital camera, it is necessary to register an optical tag to be tracked. Basically, the subject is tracked by recognizing and tracking the registered optical tag (see, for example, Patent Documents 1, 2, 3, and 4).

特開2015−50697号公報JP2015-50697A 特開2010−147762号公報JP 2010-147762 A 特開2010−44516号公報JP 2010-44516 A 特開2001−34764号公報JP 2001-34764 A

しかしながら、上述した従来技術による撮像装置では、光タグが隠れてしまったり、他のものを誤認識した場合、光タグを正しく追跡できなくなるという問題があった。   However, the above-described conventional imaging apparatus has a problem in that the optical tag cannot be correctly tracked when the optical tag is hidden or when another object is erroneously recognized.

そこで本発明は、光タグが認識できなくなった場合でも、高精度で被写体を追尾することを目的とする。   Accordingly, an object of the present invention is to track a subject with high accuracy even when an optical tag cannot be recognized.

この発明に係る撮像装置は、発光ユニットが発光する任意の情報を含む可視光を撮像手段で受光し、当該可視光に含まれる情報を取得する撮像装置であって、可視光通信に先立って、第1の識別情報と前記第1の識別情報に関連付いた前記第1の識別情報とは異なる第2の識別情報が記録されている記録手段を備え、前記第1の識別情報は、前記可視光に含まれている前記発光ユニット自体を示す情報であり、前記第2の識別情報は、前記可視光通信とは異なる画像認識のための情報である、ことを特徴とする。   An imaging apparatus according to the present invention is an imaging apparatus that receives visible light including arbitrary information emitted by a light emitting unit with an imaging unit, and acquires information included in the visible light, prior to visible light communication, Recording means for recording second identification information different from the first identification information associated with the first identification information and the first identification information, wherein the first identification information is the visible information It is information indicating the light emitting unit itself contained in light, and the second identification information is information for image recognition different from the visible light communication.

この発明に係る可視光通信識別情報登録方法は可視光通信に先立って、発光ユニットが発光する可視光に含まれる前記発光ユニット自体を示す第1の識別情報と、前記可視光通信とは異なる画像認識のための情報である第2の識別情報と、を関連付けて登録することを特徴とする。   In the visible light communication identification information registration method according to the present invention, prior to visible light communication, the first identification information indicating the light emitting unit itself included in the visible light emitted from the light emitting unit and an image different from the visible light communication The second identification information, which is information for recognition, is registered in association with each other.

この発明に係るプログラムは、可視光通信に先立って、第1の識別情報と前記第1の識別情報に関連付いた前記第1の識別情報とは異なる第2の識別情報が記録されている記録手段を備え、発光ユニットが発光する可視光に含まれる情報を取得する撮像装置のコンピュータを、前記第1の識別情報に関連する情報を含む可視光の位置を検出する第1の検出手段、前記第2の識別情報に基づいて、前記発光ユニットを装着した被写体の位置を検出する第2の検出手段、として機能させることを特徴とするプログラムであって、前記第1の識別情報は、前記可視光に含まれている前記発光ユニット自体を示す情報であり、前記第2の識別情報は、前記可視光通信とは異なる画像認識のための情報である。   Prior to visible light communication, the program according to the present invention records first identification information and second identification information different from the first identification information associated with the first identification information. First detection means for detecting a position of visible light including information relating to the first identification information, a computer of an imaging device that includes means for acquiring information included in visible light emitted by the light emitting unit, A program that functions as second detection means for detecting a position of a subject on which the light emitting unit is mounted based on second identification information, wherein the first identification information is the visible information It is information indicating the light emitting unit itself contained in light, and the second identification information is information for image recognition different from the visible light communication.

この発明によれば、光タグが認識できなくなった場合でも、高精度で被写体を追尾することができる。   According to the present invention, the subject can be tracked with high accuracy even when the optical tag cannot be recognized.

本発明の実施形態による撮影システム1の構成を示すブロック図である。1 is a block diagram illustrating a configuration of an imaging system 1 according to an embodiment of the present invention. 本実施形態による光タグ10、及び撮像装置20の構成を示すブロック図である。It is a block diagram which shows the structure of the optical tag 10 by this embodiment, and the imaging device 20. FIG. 本実施形態による光タグ10が発光する色パターンの一例を示す概念図である。It is a conceptual diagram which shows an example of the color pattern which the optical tag 10 by this embodiment light-emits. 本実施形態による光タグ10の動作を説明するためのフローチャートである。It is a flowchart for demonstrating operation | movement of the optical tag 10 by this embodiment. 本実施形態による撮像装置20の動作(登録処理)を説明するためのフローチャートである。It is a flowchart for demonstrating operation | movement (registration process) of the imaging device 20 by this embodiment. 本実施形態による撮像装置20の動作(登録処理)を説明するための概念図である。It is a conceptual diagram for demonstrating operation | movement (registration process) of the imaging device 20 by this embodiment. 本実施形態による撮像装置20の動作(撮影処理)を説明するためのフローチャートである。5 is a flowchart for explaining an operation (imaging process) of the imaging apparatus 20 according to the present embodiment. 本実施形態による撮影システム1の動作を説明するための概念図であり、(a)は第1の識別情報(光タグ10)を用いた追尾動作、(b)は第2の識別情報(服の色)を用いた追尾動作を示す。It is a conceptual diagram for demonstrating operation | movement of the imaging | photography system 1 by this embodiment, (a) is a tracking operation | movement using 1st identification information (optical tag 10), (b) is 2nd identification information (clothing). The tracking operation using (color) is shown.

以下、本発明の実施の形態を、図面を参照して説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

A.実施形態の構成
図1は、本発明の実施形態による撮影システム1の構成を示すブロック図である。図1において、撮影システム1は、ユーザー(被写体)の手首などに装着する光タグ10と、被写体を撮影する撮像装置20とからなる。光タグ10は、図1に示すように、着脱可能なベルト形状の本体を有しており、例えば、図示するようにユーザー(被写体)の手首などに装着可能になっている。
A. Configuration of Embodiment FIG. 1 is a block diagram showing a configuration of an imaging system 1 according to an embodiment of the present invention. In FIG. 1, a photographing system 1 includes an optical tag 10 attached to a user's (subject) wrist or the like, and an imaging device 20 for photographing the subject. As shown in FIG. 1, the optical tag 10 has a removable belt-shaped main body, and can be attached to, for example, the wrist of a user (subject) as shown.

手首以外も、遊具(テニスならラケット、ゴルフならゴルフクラブなど)に装着してもよい。あるいは首から下げる、肩や胸部分に貼り付けるような構造であってもよい。光タグ10の外周面には、外部へ光を照射するように発光部14や発光窓15と、装着したユーザーが操作できるように電源スイッチ16とが設けられている。   In addition to the wrist, it may be attached to play equipment (a racket for tennis, a golf club for golf, etc.). Alternatively, it may be a structure that is attached to the shoulder or chest part that is lowered from the neck. On the outer peripheral surface of the optical tag 10, a light emitting unit 14 and a light emitting window 15 are provided so as to irradiate light to the outside, and a power switch 16 is provided so that the attached user can operate.

撮像装置20は、図1に示すように、光学レンズ部21や撮像部22が設けられている筐体20aと、表示部25が設けられている筐体20bとから構成されている。筐体20aには、金網などに引っ掛けて固定できるようにハンドル部20cが設けられている。   As illustrated in FIG. 1, the imaging device 20 includes a housing 20 a in which an optical lens unit 21 and an imaging unit 22 are provided, and a housing 20 b in which a display unit 25 is provided. The housing 20a is provided with a handle portion 20c so that it can be hooked and fixed on a wire mesh or the like.

図2(a)、(b)は、本実施形態による光タグ10、及び撮像装置20の構成を示すブロック図である。また、図3は、本実施形態による光タグ10が発光する色パターンの一例を示す概念図である。図2(a)において、光タグ10は、メモリ11、タイミングジェネレータ12、CPU13、発光部14、及び発光窓15を備えている。メモリ11は、予め設定された色パターンPに応じた第1の識別情報11aを記憶する。該色パターンPとしては、赤(R)、緑(G)、青(B)を時系列に並べたもので、本実施形態では、例えば、図3に示すように、赤(R)→緑(G)→赤(R)→青(B)→…としている。このように可視光通信として、色成分RGBからなる色パターンPを用いることで、ユーザーによる視認性に優れるとともに、撮像装置20においても、撮影画像の中から容易に検出することができる。   2A and 2B are block diagrams illustrating configurations of the optical tag 10 and the imaging device 20 according to the present embodiment. FIG. 3 is a conceptual diagram showing an example of a color pattern emitted by the optical tag 10 according to the present embodiment. In FIG. 2A, the optical tag 10 includes a memory 11, a timing generator 12, a CPU 13, a light emitting unit 14, and a light emitting window 15. The memory 11 stores first identification information 11a corresponding to a preset color pattern P. As the color pattern P, red (R), green (G), and blue (B) are arranged in time series. In this embodiment, for example, as shown in FIG. 3, red (R) → green (G) → Red (R) → Blue (B) →... As described above, by using the color pattern P made up of the color components RGB as visible light communication, it is excellent in visibility by the user, and the imaging device 20 can easily detect it from the captured image.

タイミングジェネレータ12は、所定周期の安定したクロック信号CKを発生する。CPU13は、タイミングジェネレータ12からのクロック信号CKに同期して、メモリ11から第1の識別情報11aを順次に取り出し、データ送出を示すヘッダ情報に続けて取り出した第1の識別情報11aを、後述の発光部14に供給する。   The timing generator 12 generates a stable clock signal CK having a predetermined period. The CPU 13 sequentially extracts the first identification information 11a from the memory 11 in synchronization with the clock signal CK from the timing generator 12, and extracts the first identification information 11a extracted after the header information indicating data transmission. Is supplied to the light emitting unit 14.

発光部14は、RGBそれぞれの発光素子(LED;Light Emitting Diode)を備えている。該発光部14は、タイミングジェネレータ12からのクロック信号CKに同期して、第1の識別情報11aに従って、時間的に色が変化する色パターンPを、発光窓18を介して出力する。なお、本実施形態では、図3に示すように、各色の発光時間は、0.1秒としている。後述の撮像装置20は、上記時間的に色が変化する色パターンPを受光することで、当該光タグ10を認識するようになっている。   The light-emitting unit 14 includes RGB light-emitting elements (LEDs: Light Emitting Diodes). The light emitting unit 14 outputs a color pattern P whose color changes with time in accordance with the first identification information 11 a through the light emission window 18 in synchronization with the clock signal CK from the timing generator 12. In this embodiment, as shown in FIG. 3, the light emission time of each color is set to 0.1 second. The imaging device 20 described later recognizes the optical tag 10 by receiving the color pattern P whose color changes with time.

図2(b)において、撮像装置20は、光学レンズ部21、撮像部22、フラッシュメモリ23、メモリ24、表示部25、キー入力部26、及びCPU27を備えている。撮像部22は、例えば、CCD(Charge−Coupled Devices)やCMOS(Complementary Metal−Oxide Semiconductor)などの二次元イメージセンサで構成されている。   2B, the imaging device 20 includes an optical lens unit 21, an imaging unit 22, a flash memory 23, a memory 24, a display unit 25, a key input unit 26, and a CPU 27. The imaging unit 22 is configured by a two-dimensional image sensor such as a charge-coupled devices (CCD) or a complementary metal-oxide semiconductor (CMOS), for example.

撮像部22は、所定のフレームレートで光学レンズ部21を介して取り込まれた画像を電気的なフレーム画像信号に変換し、フラッシュメモリ23に順次保存する。特に、本実施形態では、撮像装置20は、光学レンズ部21を介して取り込まれた画像から、任意サイズの部分読み出し(トリミング)を行うことが可能となっている。フラッシュメモリ23は、撮像部22からのフレーム(画像)を時系列に格納したり、任意サイズの部分読み出し(トリミング)したフレーム(画像)を時系列に格納したりする。メモリ24は、プログラムなどを記憶するROM(Read Only Memory)や、後述するCPU27のワーキングメモリとして利用されるRAM(Random Access Memory)などからなる。   The imaging unit 22 converts an image captured through the optical lens unit 21 at a predetermined frame rate into an electrical frame image signal and sequentially stores it in the flash memory 23. In particular, in the present embodiment, the imaging device 20 can perform partial reading (trimming) of an arbitrary size from an image captured via the optical lens unit 21. The flash memory 23 stores frames (images) from the imaging unit 22 in time series, or stores frames (images) that have been partially read (trimmed) of an arbitrary size in time series. The memory 24 includes a ROM (Read Only Memory) that stores programs and the like, and a RAM (Random Access Memory) that is used as a working memory of the CPU 27 described later.

特に、本実施形態では、メモリ24は、光タグ10を装着した被写体を追尾するために、光タグ10を識別するための第1の識別情報(色パターンに応じたデータ)11aと、当該光タグ10を装着している被写体の画像情報から取得した第2の識別情報24aとを紐付けて記憶する。なお、第2の識別情報24aとしては、被写体のサイズ(身長、体格など)、被写体の顔の特徴(目鼻口の位置関係、髪の色、ヘアスタイルなど)、被写体のサイズと被写体の中での発光タグ10の位置、被写体が身に着けている代表的な色(例えば、服の色など)、被写体の顔から発光タグ10までの距離、被写体が装着している発光タグの数などがある。   In particular, in the present embodiment, the memory 24 includes first identification information (data corresponding to a color pattern) 11a for identifying the optical tag 10 and the light to track the subject on which the optical tag 10 is mounted. The second identification information 24a acquired from the image information of the subject wearing the tag 10 is associated and stored. The second identification information 24a includes the size of the subject (height, physique, etc.), the characteristics of the face of the subject (position of the eyes, nose and mouth, hair color, hairstyle, etc.), the size of the subject, The position of the light emitting tag 10, the representative color worn by the subject (for example, the color of clothes), the distance from the subject's face to the light emitting tag 10, the number of light emitting tags attached to the subject, etc. is there.

表示部25は、液晶表示器や有機EL表示器などからなり、光学レンズ部21を介して撮像部22により取り込まれる撮影画像を表示するとともに、撮影した動画の再生時に動画を表示する。キー入力部26は、撮影ボタンや各種設定キーなどからなり、当該撮像装置20の動作を制御するためのユーザーにより指示操作を入力する。また、キー入力部26は、表示部25に重畳されたタッチパネルを供えてもよい。   The display unit 25 includes a liquid crystal display, an organic EL display, and the like. The display unit 25 displays a captured image captured by the imaging unit 22 via the optical lens unit 21 and displays a moving image when the captured moving image is reproduced. The key input unit 26 includes a photographing button, various setting keys, and the like, and inputs an instruction operation by a user for controlling the operation of the imaging apparatus 20. The key input unit 26 may include a touch panel superimposed on the display unit 25.

CPU27は、所定のプログラムを実行することにより上述した各部の動作を制御する。具体的には、CPU27は、光タグ10の第1の識別情報11aと被写体の画像情報から取得した第2の識別情報24aとを関連付けて登録する登録処理と、撮影時に光タグ10の第1の識別情報11aと被写体の画像情報から取得した第2の識別情報24aとに基づいて、当該被写体を追尾しながら撮影を行う撮影処理とを実行する。   The CPU 27 controls the operation of each unit described above by executing a predetermined program. Specifically, the CPU 27 associates and registers the first identification information 11a of the optical tag 10 and the second identification information 24a acquired from the image information of the subject, and the first tag of the optical tag 10 at the time of shooting. Based on the identification information 11a and the second identification information 24a acquired from the image information of the subject, a photographing process for performing photographing while tracking the subject is executed.

特に、登録処理において、CPU27は、撮像部22により取り込まれる画像の中から、光タグ10が発する上記所定の色パターンを検出すると、当該色パターンをデコードして得られる第1の識別情報11aをメモリ24に保存する。このとき、CPU27は、撮像部22により取り込まれる撮影画像を解析して被写体(例えば、人物やペットなど)の顔の輪郭や顔を形成するバーツ(目、口、鼻、額など)の形や位置関係などを総合的に判断して被写体を検出し、光タグ10を装着している被写体を特定する。   In particular, in the registration process, when the CPU 27 detects the predetermined color pattern emitted from the optical tag 10 from the image captured by the imaging unit 22, the CPU 27 obtains the first identification information 11a obtained by decoding the color pattern. Save in the memory 24. At this time, the CPU 27 analyzes the captured image captured by the imaging unit 22 and forms the outline of the face of a subject (for example, a person or a pet) or the shape of a baht (eyes, mouth, nose, forehead, etc.) The subject is detected by comprehensively judging the positional relationship and the like, and the subject wearing the optical tag 10 is specified.

更に、CPU27は、被写体の服の色や、被写体の顔(の重心)と光タグ10との距離などから第2の識別情報24aを取得し、上記第1の識別情報11aと対応付けてメモリ24に保存する。これにより、光タグ10と該光タグ10を装着している被写体とを対応付けることが可能となる。なお、顔検出を含む被写体認識機能は、撮像装置において一般的に用いられている技術であり、本実施形態ではその周知技術を利用するようにしているため、その具体的な説明については省略する。   Further, the CPU 27 acquires the second identification information 24a from the color of the clothes of the subject, the distance between the face (the center of gravity) of the subject and the optical tag 10, and the like and stores the second identification information 24a in association with the first identification information 11a. 24. As a result, the optical tag 10 and a subject wearing the optical tag 10 can be associated with each other. Note that the subject recognition function including face detection is a technique that is generally used in an imaging apparatus, and since the well-known technique is used in the present embodiment, a specific description thereof is omitted. .

また、撮影処理において、CPU27は、撮像部22により取り込まれる画像の中から、第1の識別情報11aに一致する色パターンを探索し、探索した結果得られる光タグ10を装着する被写体(の位置)を特定し、光タグ10の動きを追尾しながら動画撮影を行う。   In the photographing process, the CPU 27 searches the image captured by the imaging unit 22 for a color pattern that matches the first identification information 11a, and the position of the subject (the position of the subject to which the optical tag 10 is obtained as a result of the search is obtained. ) Is specified, and moving image shooting is performed while tracking the movement of the optical tag 10.

また、撮影処理において、光タグ10が隠れてしまうなどして見失った場合には、撮像部22により取り込まれる画像の中から、当該光タグ10の第1の識別情報11aに対応付けて保存されている第2の識別情報24aに一致する画像情報(例えば、服の色など)を探索し、探索した結果得られる特定の画像情報(例えば、服の色など)の位置から被写体の位置を特定し、該被写体を追尾しながら動画撮影を行う。   Further, in the shooting process, when the optical tag 10 is lost due to hiding or the like, it is stored in association with the first identification information 11a of the optical tag 10 from the image captured by the imaging unit 22. The image information (for example, clothes color) matching the second identification information 24a is searched, and the position of the subject is specified from the position of the specific image information (for example, clothes color) obtained as a result of the search. Then, moving image shooting is performed while tracking the subject.

このように、光タグ10が隠れてしまうなどして見失った場合であっても、光タグ10の第1の識別情報11aに対応付けて保存されている第2の識別情報24aに一致する画像情報(例えば、服の色など)から被写体(の位置)を特定することで、高精度で被写体を追尾することができる。   Thus, even if the optical tag 10 is hidden or lost, the image matches the second identification information 24a stored in association with the first identification information 11a of the optical tag 10. By specifying the subject (position) from information (for example, the color of clothes), the subject can be tracked with high accuracy.

B.実施形態の動作
次に、上述した実施形態による光タグ10、及び撮像装置20の動作を説明する。
図4は、本実施形態による光タグ10の動作を説明するためのフローチャートである。ユーザーは、まず、手首などに光タグ10を装着し、スポーツなどのプレー開始に先だって、光タグ10の電源を投入する。電源が投入されると、光タグ10のCPU13は、イニシャライズ処理を行い(ステップS10)、タイミングジェネレータ12からのクロック信号CKに同期して、メモリ11から色パターンに対応する第1の識別情報11aを順次読み出し(ステップS12)、データ送出を示すヘッダ情報に続けて、取り出した第1の識別情報11aを、発光部14に供給する。
B. Next, operations of the optical tag 10 and the imaging apparatus 20 according to the above-described embodiment will be described.
FIG. 4 is a flowchart for explaining the operation of the optical tag 10 according to the present embodiment. First, the user attaches the optical tag 10 to the wrist or the like, and turns on the optical tag 10 before starting sports or the like. When the power is turned on, the CPU 13 of the optical tag 10 performs an initialization process (step S10), and in synchronization with the clock signal CK from the timing generator 12, the first identification information 11a corresponding to the color pattern is stored from the memory 11. Are sequentially read (step S12), and the extracted first identification information 11a is supplied to the light emitting unit 14 following the header information indicating data transmission.

発光部14は、タイミングジェネレータ12からのクロック信号CKに同期して、第1の識別情報11aに基づいて、時間的に変化する色パターンPを持つ光を、発光窓18を介して発光させる(ステップS14)。次に、CPU13は、電源オフ操作があったか否かを判断し(ステップS16)、電源オフ操作がない場合には(ステップS16のNO)、ステップS14に戻り、第1の識別情報11aに応じた色パターンの発光を繰り返す。一方、電源オフ操作があった場合には(ステップS16のYES)、当該処理を終了する。   The light emitting unit 14 emits light having a color pattern P that changes with time based on the first identification information 11 a through the light emission window 18 in synchronization with the clock signal CK from the timing generator 12 ( Step S14). Next, the CPU 13 determines whether or not there has been a power-off operation (step S16). If there is no power-off operation (NO in step S16), the CPU 13 returns to step S14 and corresponds to the first identification information 11a. Repeated emission of color pattern. On the other hand, if there is a power-off operation (YES in step S16), the process ends.

図5は、本実施形態による撮像装置20の動作(登録処理)を説明するためのフローチャートである。また、図6は、本実施形態による撮像装置20の動作(登録処理)を説明するための概念図である。   FIG. 5 is a flowchart for explaining the operation (registration process) of the imaging apparatus 20 according to the present embodiment. FIG. 6 is a conceptual diagram for explaining the operation (registration process) of the imaging apparatus 20 according to the present embodiment.

ユーザーは、光タグ10を準備した後、ハンドル部20cを金網などに引っ掛けて固定し、キー入力部26などから撮像装置20の電源を投入する。電源が投入されると、撮像装置20のCPU27は、イニシャライズ処理を行い(ステップS20)、撮像部22にライブビューの開始を指示する(ステップS22)。撮像部22は、該指示を受け、光学レンズ部21を介して取り込んだ画像を表示部25に表示するライブビューを開始する(該画像は保存されない)。   After preparing the optical tag 10, the user hooks and fixes the handle portion 20 c on a wire mesh or the like, and turns on the power of the imaging device 20 from the key input portion 26 or the like. When the power is turned on, the CPU 27 of the imaging device 20 performs an initialization process (step S20), and instructs the imaging unit 22 to start a live view (step S22). In response to the instruction, the imaging unit 22 starts a live view in which the image captured via the optical lens unit 21 is displayed on the display unit 25 (the image is not stored).

次に、CPU27は、ライブビュー画像を解析して被写体の顔の輪郭や、顔を形成するバーツ(目、口、鼻、額など)の形や位置関係などのパターン認識を行うことで総合的に判断して、図6に示すように、被写体Aを認識する被写体認識処理を実行する(ステップS24)。次に、認識した被写体A枠内における光タグ10の検出を行い(ステップS26)、光タグ10が発する色パターンを検出したか否かを判定する(ステップS28)。そして、光タグ10が発する色パターンが検出されない場合には(ステップS28のNO)、ステップS26に戻り、光タグ10の検出、すなわち色パターンの検出を繰り返す。   Next, the CPU 27 analyzes the live view image and performs pattern recognition such as the outline of the face of the subject and the shape and positional relationship of the baht (eyes, mouth, nose, forehead, etc.) forming the face. As shown in FIG. 6, subject recognition processing for recognizing subject A is executed (step S24). Next, the optical tag 10 within the recognized subject A frame is detected (step S26), and it is determined whether or not a color pattern emitted from the optical tag 10 has been detected (step S28). When the color pattern emitted from the optical tag 10 is not detected (NO in step S28), the process returns to step S26, and the detection of the optical tag 10, that is, the detection of the color pattern is repeated.

一方、ライブビュー画像中における被写体A枠内に光タグ10が発する色パターンが検出された場合には(ステップS28のYES)、検出した色パターンから第1の識別情報11aを取得してメモリ24に保存する(ステップS30)。次に、CPU27は、ライブビュー画像中から第2の識別情報24aを取得し(ステップS34)、上記第1の識別情報11aと対応付けてメモリ24に保存する(ステップS36)。これにより、光タグ10を示す第1の識別情報11aと該光タグ10を装着している被写体を示す第2の識別情報24aとが対応付けられる。   On the other hand, when the color pattern emitted by the optical tag 10 is detected in the subject A frame in the live view image (YES in step S28), the first identification information 11a is acquired from the detected color pattern and the memory 24 is obtained. (Step S30). Next, the CPU 27 acquires the second identification information 24a from the live view image (step S34), and stores it in the memory 24 in association with the first identification information 11a (step S36). Thus, the first identification information 11a indicating the optical tag 10 and the second identification information 24a indicating the subject wearing the optical tag 10 are associated with each other.

図7は、本実施形態による撮像装置20の動作(撮影処理)を説明するためのフローチャートである。また、図8(a)、(b)は、本実施形態による撮像装置20の動作(撮影処理)を説明するための概念図である。なお、以下の説明では、動画撮影中に光タグ10が隠れてしまうなどして見失った場合の動作について説明する。したがって、この場合には、第2の識別情報24aとして、被写体のサイズ(身長、体格など)、被写体の顔の特徴点(目鼻口の位置関係、髪の色、ヘアスタイルなど)、被写体が身に着けている代表的な色(例えば、服の色など)を用いるのが好ましい。   FIG. 7 is a flowchart for explaining the operation (imaging process) of the imaging apparatus 20 according to the present embodiment. FIGS. 8A and 8B are conceptual diagrams for explaining the operation (imaging process) of the imaging apparatus 20 according to the present embodiment. In the following description, an operation in the case where the optical tag 10 is hidden during moving image shooting or the like will be described. Therefore, in this case, as the second identification information 24a, the size of the subject (height, physique, etc.), the feature points of the face of the subject (positional relationship of eyes, nose and mouth, hair color, hairstyle, etc.), the subject It is preferable to use a representative color worn on the wearer (for example, the color of clothes).

上述した登録処理の終了後、ユーザー(撮影者=光タグ10を装着した本人でもよい)は、キー入力部26からシャッターボタンを押下するなどして動画撮影開始を指示する(ステップS40)。CPU27は、撮像部22から所定のフレームレートで光学レンズ部21を介して画像データ(フレームデータ)を取り込み、フラッシュメモリ23に一時保存(バッファリング)する(ステップS42)。   After completion of the registration process described above, the user (the photographer = may be the person wearing the optical tag 10) instructs the start of moving image shooting by pressing the shutter button from the key input unit 26 (step S40). The CPU 27 captures image data (frame data) from the imaging unit 22 through the optical lens unit 21 at a predetermined frame rate, and temporarily stores (buffers) it in the flash memory 23 (step S42).

次に、CPU27は、動画撮影中において、一時保存した画像データ内に第1の識別情報11a、すなわち光タグ10が発する色パターンを検出したか否かを判断する(ステップS44)。そして、第1の識別情報11a(光タグ10が発する色パターン)を検出した場合には(ステップS44のYES)、CPU27は、動画撮影中であるか否かを判断する(ステップS50)。そして、動画撮影中である場合には(ステップS50のYES)、CPU27は、検出した第1の識別情報11aを含む可視光を発する光タグ10の位置に基づいて、図8(a)に示すように、一時保存した画像データから、光タグ10を装着している被写体Aが画角内に入るように所定の範囲Bでトリミングして動画として保存する(ステップS54)。なお、撮像部22は、該被写体Aに対してフォーカスや露出が適切になるように調整する。   Next, the CPU 27 determines whether or not the first identification information 11a, that is, the color pattern emitted from the optical tag 10 is detected in the temporarily stored image data during moving image shooting (step S44). When the first identification information 11a (color pattern emitted by the optical tag 10) is detected (YES in step S44), the CPU 27 determines whether or not moving image shooting is in progress (step S50). When the moving image is being shot (YES in step S50), the CPU 27 shows the position of the optical tag 10 that emits visible light including the detected first identification information 11a as shown in FIG. As described above, from the temporarily stored image data, the subject A wearing the optical tag 10 is trimmed within a predetermined range B so as to fall within the angle of view and stored as a moving image (step S54). The imaging unit 22 adjusts the subject A so that focus and exposure are appropriate.

次に、CPU27は、キー入力部26などから撮影停止指示があったか否かを判断する(ステップS56)。そして、撮影停止指示がない場合には(ステップS56のNO)、CPU27は、ステップS42に戻り、上述した処理を繰り返す。   Next, the CPU 27 determines whether or not a photographing stop instruction has been issued from the key input unit 26 or the like (step S56). If there is no shooting stop instruction (NO in step S56), the CPU 27 returns to step S42 and repeats the above-described processing.

すなわち、CPU27は、撮像部22からの画像データ内に第1の識別情報11aを含む可視光が検出されている間は、第1の識別情報11aを含む可視光を発する光タグ10の位置に基づいて、一時保存した画像データから、光タグ10を装着している被写体Aが画角内に入るように所定の範囲Bでトリミングすることによって、被写体Aを追従しながら動画を撮影する動作を継続する。   That is, while the visible light including the first identification information 11a is detected in the image data from the imaging unit 22, the CPU 27 is positioned at the position of the optical tag 10 that emits the visible light including the first identification information 11a. Based on the temporarily stored image data, an operation of shooting a moving image while following the subject A is performed by trimming the subject A wearing the optical tag 10 within a predetermined range B so that the subject A is within the angle of view. continue.

一方、撮像部22からの画像データ内に光タグ10(第1の識別情報11a)が検出されない場合には(ステップS44のNO)、CPU27は、撮像部22からの画像データ内に第2の識別情報24aを検出したか否かを判断する(ステップS46)。   On the other hand, when the optical tag 10 (first identification information 11a) is not detected in the image data from the imaging unit 22 (NO in step S44), the CPU 27 stores the second tag in the image data from the imaging unit 22. It is determined whether or not the identification information 24a has been detected (step S46).

そして、第2の識別情報24aを検出した場合には(ステップS46のYES)、CPU27は、動画撮影中であるか否かを判断する(ステップS50)。そして、動画撮影中である場合には(ステップS50のYES)、CPU27は、図8(b)に示すように、第2の識別情報24aが検出された位置に基づいて、一時保存した画像データから、第2の識別情報24aによって特定される被写体Aが画角内に入るように所定の範囲Bでトリミングして動画として保存する(ステップS54)。なお、撮像部22は、該被写体Aに対してフォーカスや露出が適切になるように調整する。   When the second identification information 24a is detected (YES in step S46), the CPU 27 determines whether or not moving image shooting is in progress (step S50). If the moving image is being shot (YES in step S50), the CPU 27 temporarily stores the image data based on the position where the second identification information 24a is detected, as shown in FIG. 8B. Then, the subject A specified by the second identification information 24a is trimmed within a predetermined range B so as to fall within the angle of view and stored as a moving image (step S54). The imaging unit 22 adjusts the subject A so that focus and exposure are appropriate.

次に、CPU27は、キー入力部26などから撮影停止指示があったか否かを判断する(ステップS56)。そして、撮影停止指示がない場合には(ステップS56のNO)、ステップS42に戻り、上述した処理を繰り返す。   Next, the CPU 27 determines whether or not a photographing stop instruction has been issued from the key input unit 26 or the like (step S56). If there is no shooting stop instruction (NO in step S56), the process returns to step S42 and the above-described processing is repeated.

すなわち、CPU27は、撮像部22からの画像データ内に第1の識別情報11aを含む可視光を発する光タグ10が検出されない場合には、撮像部22からの画像データ内に検出される第2の識別情報24aの位置に基づいて、一時保存した画像データから、第2の識別情報24aによって特定される被写体Aが画角内に入るように所定の範囲Bでトリミングすることによって、被写体Aを追従しながら動画を撮影する動作を継続する。   That is, if the optical tag 10 that emits visible light including the first identification information 11a is not detected in the image data from the imaging unit 22, the CPU 27 detects the second detected in the image data from the imaging unit 22. Based on the position of the identification information 24a, the subject A is trimmed within a predetermined range B so that the subject A specified by the second identification information 24a falls within the angle of view from the temporarily stored image data. Continue to take video while following.

また、動画撮影中に、第1の識別情報11aを含む可視光、及び第2の識別情報24aの双方が検出されない場合には(ステップS44のNO、S46のNO)、CPU27は、撮像部22に対して動画撮影の一時停止を指示する(ステップS48)。これにより、撮像部22は、動画撮影を一旦停止する。なお、第1の識別情報11aを含む可視光、及び第2の識別情報24aの双方が検出されなくなった場合にすぐに動画撮影を一時停止するのではなく、所定の時間(例えば、20秒とか、30秒程度)だけタイムラグを設け、該所定の時間が経過しても、第1の識別情報11aを含む可視光、又は第2の識別情報24aが再度検出されない場合に動画撮影を一時停止するようにしてもよい。   In addition, when both the visible light including the first identification information 11a and the second identification information 24a are not detected during moving image shooting (NO in step S44, NO in S46), the CPU 27 causes the imaging unit 22 to perform detection. Is instructed to pause moving image shooting (step S48). Thereby, the imaging unit 22 temporarily stops moving image shooting. In addition, when both the visible light including the first identification information 11a and the second identification information 24a are not detected, the moving image shooting is not paused immediately, but for a predetermined time (for example, 20 seconds). , About 30 seconds), and even if the predetermined time elapses, when the visible light including the first identification information 11a or the second identification information 24a is not detected again, the video shooting is paused. You may do it.

次に、CPU27は、キー入力部26などから撮影停止指示があったか否かを判断し(ステップS56)、撮影停止指示がない場合には(ステップS56のNO)、ステップS42に戻り、第1の識別情報11aを含む可視光、又は第2の識別情報24aの検出を繰り返す。したがって、何らかの原因で、第1の識別情報11aを含む可視光、及び第2の識別情報24aの双方が検出できない場合には、動画撮影の一時停止を継続することになる。但し、動画撮影を一時停止している間も、撮像部22による画像の取り込みは継続している。   Next, the CPU 27 determines whether or not a shooting stop instruction has been issued from the key input unit 26 or the like (step S56). If there is no shooting stop instruction (NO in step S56), the CPU 27 returns to step S42 and returns to the first step. The detection of visible light including the identification information 11a or the second identification information 24a is repeated. Therefore, if for some reason both the visible light including the first identification information 11a and the second identification information 24a cannot be detected, the moving image shooting is temporarily stopped. However, while the moving image shooting is temporarily stopped, the image capturing by the imaging unit 22 continues.

一方、動画撮影の一時停止中に、再度、第1の識別情報11aを含む可視光、又は第2の識別情報24aのいずれかを検出した場合には(ステップS44のYES、又はステップS46のYES)、動画撮影中であるか否かを判断する(ステップS50)。この場合、動画撮影は一時停止中であるので(ステップS50のNO)、CPU27は、撮像部22に対して動画撮影の再開を指示する(ステップS52)。これにより、撮像部22は、第1の識別情報11aを含む可視光、又は第2の識別情報24aのいずれかに基づいて、一時保存した画像データから、第1の識別情報11aを含む可視光を発する光タグ10の位置、又は第2の識別情報24aの位置によって特定される被写体Aが画角内に入るように所定の範囲Bでトリミングすることによって、被写体Aを追従しながら動画を撮影する動作を再開する。   On the other hand, when either the visible light including the first identification information 11a or the second identification information 24a is detected again during the suspension of moving image shooting (YES in step S44 or YES in step S46). ) It is determined whether or not moving image shooting is in progress (step S50). In this case, since moving image shooting is paused (NO in step S50), the CPU 27 instructs the imaging unit 22 to resume moving image shooting (step S52). As a result, the imaging unit 22 uses the visible light including the first identification information 11a or the visible light including the first identification information 11a from the temporarily stored image data based on the second identification information 24a. A moving image is captured while following the subject A by trimming within a predetermined range B so that the subject A specified by the position of the optical tag 10 that emits or the position of the second identification information 24a falls within the angle of view. Resume the operation.

次に、CPU27は、キー入力部26などから撮影停止指示があったか否かを判断し(ステップS56)、撮影停止指示がない場合には(ステップS56のNO)、ステップS42に戻り、第1の識別情報11aを含む可視光、又は第2の識別情報24aに基づいて被写体Aを追尾しながら動画撮影を継続する。   Next, the CPU 27 determines whether or not a shooting stop instruction has been issued from the key input unit 26 or the like (step S56). If there is no shooting stop instruction (NO in step S56), the CPU 27 returns to step S42 and returns to the first step. The moving image shooting is continued while tracking the subject A based on the visible light including the identification information 11a or the second identification information 24a.

そして、キー入力部26などから撮影停止指示があった場合には(ステップS56のYES)、CPU27は、撮像部22に対して動画撮影の停止を指示する(ステップS58)。これにより、撮像部22は、動画撮影を停止することになる。その後、CPU27は、当該処理を終了する。   If there is a shooting stop instruction from the key input unit 26 or the like (YES in step S56), the CPU 27 instructs the imaging unit 22 to stop moving image shooting (step S58). Thereby, the imaging unit 22 stops moving image shooting. Thereafter, the CPU 27 ends the process.

上述した実施形態によれば、第1の識別情報11aを含む可視光を発する光タグ10が検出される場合には、光タグ10の位置に基づいて被写体Aを追従しながら動画を撮影し、撮影中に、第1の識別情報11aを含む可視光を発する光タグ10が検出されない場合には、第1の識別情報11aに対応付けて登録した、可視光通信とは異なる画像認識のための情報である第2の識別情報の位置に基づいて、被写体Aを追従しながら動画を撮影するようにしたので、光タグ10が認識できなくなった場合でも、高精度で被写体を追尾することができる。   According to the above-described embodiment, when the optical tag 10 that emits visible light including the first identification information 11a is detected, a video is shot while following the subject A based on the position of the optical tag 10, If an optical tag 10 that emits visible light including the first identification information 11a is not detected during shooting, the image tag is registered in association with the first identification information 11a for image recognition different from visible light communication. Based on the position of the second identification information, which is information, the moving image is shot while following the subject A, so that even when the optical tag 10 cannot be recognized, the subject can be tracked with high accuracy. .

なお、上述した実施形態では、第1の識別情報11aを含む可視光を発する光タグ10が検出されない場合の動作について説明したが、第1の識別情報11aを含む可視光を発する光タグ10の位置と、第1の識別情報11aに対応付けて保存されている第2の識別情報24aに一致する画像情報の位置と、の両方に基づいて被写体の追尾するようにしてもよい。   In the above-described embodiment, the operation when the optical tag 10 that emits visible light including the first identification information 11a is not detected has been described. However, the optical tag 10 that emits visible light including the first identification information 11a is described. The subject may be tracked based on both the position and the position of the image information that matches the second identification information 24a stored in association with the first identification information 11a.

この場合、第2の識別情報24aとしては、被写体のサイズ(身長、体格など)、被写体の顔の特徴点(目鼻口の位置関係、髪の色、ヘアスタイルなど)、被写体のサイズと被写体の中での発光タグ10の位置、被写体が身に着けている代表的な色(例えば、服の色など)、被写体の顔から発光タグ10までの距離、被写体が装着している発光タグの数などが好ましい。   In this case, the second identification information 24a includes the size of the subject (height, physique, etc.), feature points of the face of the subject (positional relationship of eyes, nose and mouth, hair color, hairstyle, etc.), the size of the subject and the subject's size. The position of the light emitting tag 10 inside, the representative color worn by the subject (for example, the color of clothes), the distance from the subject's face to the light emitting tag 10, and the number of light emitting tags attached to the subject Etc. are preferable.

この場合、第1の識別情報11aを含む可視光を発する光タグ10の位置に加えて、第2の識別情報24aで示される可視光通信とは異なる画像認識のための情報によって被写体の位置を特定するため、何らかの原因で誤認識してしまうことを防ぐことができ、高精度で被写体を追尾することができる。   In this case, in addition to the position of the optical tag 10 that emits visible light including the first identification information 11a, the position of the subject is determined by information for image recognition different from the visible light communication indicated by the second identification information 24a. Therefore, it is possible to prevent erroneous recognition for some reason, and to track the subject with high accuracy.

また、図7のフローチャートには記載されていないが、第2の識別情報24aを検出できず、第1の識別情報11aを含む可視光を発する光タグ10の位置だけに基づいて被写体の追尾を行なうことができるのはもちろんである。   Although not described in the flowchart of FIG. 7, the second identification information 24a cannot be detected, and the subject is tracked based only on the position of the optical tag 10 that emits visible light including the first identification information 11a. Of course it can be done.

なお、上述した実施形態では、撮像装置20は、特定された被写体Aを所定の範囲Bでトリミングしたが、トリミングせずに被写体Aを追従しながら動画を撮影してもよい。
また、動画の撮影ではなく、特定のタイミングで静止画を撮影してもよい。
In the above-described embodiment, the imaging device 20 trims the identified subject A within the predetermined range B, but may capture a moving image while following the subject A without trimming.
Moreover, you may image | photograph a still image at the specific timing instead of imaging | photography of a moving image.

また、上述した実施形態では、ユーザーの操作により、光タグ10を装着した被写体を追尾するために、光タグ10を識別するための第1の識別情報11aと、当該光タグ10を装着している被写体の画像情報から取得した第2の識別情報24aとを紐付けてメモリ24に記憶したが、第2の識別情報24aによる追尾を、例えば、単なる人物追尾に限定して、第2の識別情報24aを人物を検出するという情報とし、光タグ10と撮像装置20の工場出荷時に、第1の識別情報11aと第2の識別情報24aとを前もってメモリ24に記憶しておいてもよい。   In the above-described embodiment, the first identification information 11a for identifying the optical tag 10 and the optical tag 10 are mounted in order to track the subject to which the optical tag 10 is mounted by the user's operation. The second identification information 24a acquired from the image information of the subject is linked and stored in the memory 24. The tracking by the second identification information 24a is limited to simple person tracking, for example. The information 24a may be information for detecting a person, and the first identification information 11a and the second identification information 24a may be stored in the memory 24 in advance when the optical tag 10 and the imaging device 20 are shipped from the factory.

以上、この発明のいくつかの実施形態について説明したが、この発明は、これらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下に、本願出願の特許請求の範囲に記載された発明を付記する。
As mentioned above, although several embodiment of this invention was described, this invention is not limited to these, The invention described in the claim, and its equal range are included.
Below, the invention described in the claims of the present application is appended.

(付記1)
付記1に記載の発明は、発光ユニットが発光する任意の情報を含む可視光を撮像手段で受光し、当該可視光に含まれる情報を取得する撮像装置であって、可視光通信に先立って、第1の識別情報と前記第1の識別情報に関連付いた前記第1の識別情報とは異なる第2の識別情報が記録されている記録手段を備え、前記第1の識別情報は、前記可視光に含まれている前記発光ユニット自体を示す情報であり、前記第2の識別情報は、前記可視光通信とは異なる画像認識のための情報である、ことを特徴とする撮像装置である。
(Appendix 1)
The invention according to appendix 1 is an imaging device that receives visible light including arbitrary information emitted by a light emitting unit with an imaging unit and acquires information included in the visible light, and prior to visible light communication, Recording means for recording second identification information different from the first identification information associated with the first identification information and the first identification information, wherein the first identification information is the visible information It is information indicating the light emitting unit itself contained in light, and the second identification information is information for image recognition different from the visible light communication.

(付記2)
付記2に記載の発明は、前記第1の識別情報に関連する情報を含む可視光の位置を検出する第1の検出手段と、前記第2の識別情報に基づいて、前記発光ユニットを装着した被写体の位置を検出する第2の検出手段と、を更に備えることを特徴とする付記1に記載の撮像装置である。
(Appendix 2)
According to the second aspect of the present invention, the light emitting unit is mounted on the basis of first detection means for detecting a position of visible light including information related to the first identification information, and the second identification information. The imaging apparatus according to appendix 1, further comprising: a second detection unit that detects the position of the subject.

(付記3)
付記3に記載の発明は、可視光を発光する発光ユニットが発光する可視光を撮像手段で受光し、当該可視光に含まれる前記第1の識別情報に関連する情報を取得する取得手段を更に備え、前記第1の検出手段は、前記取得手段により取得された前記第1の識別情報に関連する情報に基づいて、前記第1の識別情報に関連する情報を含む可視光の位置を検出することを特徴とする付記2に記載の撮像装置である。
(Appendix 3)
The invention according to attachment 3 further includes an acquisition unit that receives visible light emitted from the light emitting unit that emits visible light by the imaging unit, and acquires information related to the first identification information included in the visible light. The first detection means detects a position of visible light including information related to the first identification information based on information related to the first identification information acquired by the acquisition means. The imaging apparatus according to Supplementary Note 2, wherein the imaging apparatus is characterized in that

(付記4)
付記4に記載の発明は、前記第1の検出手段の検出結果と前記第2の検出手段の検出結果とに基づいて前記発光ユニットを装着した被写体を追尾する追尾手段、を更に備えることを特徴とする付記3に記載の撮像装置である。
(Appendix 4)
The invention according to appendix 4 further includes tracking means for tracking the subject attached with the light emitting unit based on the detection result of the first detection means and the detection result of the second detection means. It is an imaging device given in appendix 3.

(付記5)
付記5に記載の発明は、前記追尾手段は、前記第1の検出手段が前記第1の識別情報と同じ情報を含む可視光の位置を検出できない場合、前記第2の検出手段の検出結果に基づいて前記発光ユニットを装着した被写体を追尾することを特徴とする付記4に記載の撮像装置である。
(Appendix 5)
The invention according to appendix 5 is directed to the detection result of the second detection means, when the tracking means cannot detect the position of visible light including the same information as the first identification information. The imaging apparatus according to appendix 4, wherein the subject on which the light emitting unit is mounted is tracked based on the tracking.

(付記6)
付記6に記載の発明は、前記第2の識別情報は、前記発光ユニットを装着している被写体のサイズと当該被写体の中での前記発光ユニットの位置であることを特徴とする付記1乃至4の何れか一つに記載の撮像装置である。
(Appendix 6)
The invention according to appendix 6, wherein the second identification information is a size of a subject wearing the light emitting unit and a position of the light emitting unit in the subject. The imaging apparatus according to any one of the above.

(付記7)
付記7に記載の発明は、前記第2の識別情報は、前記発光ユニットを装着している被写体の顔から前記発光ユニットまでの距離であることを特徴とする付記1乃至4の何れか一つに記載の撮像装置である。
(Appendix 7)
The invention according to appendix 7, in which the second identification information is a distance from the face of the subject wearing the light emitting unit to the light emitting unit. It is an imaging device as described in above.

(付記8)
付記8に記載の発明は、前記第2の識別情報は、前記発光ユニットを装着している被写体が装着している前記発光ユニットの数であることを特徴とする付記1乃至4の何れか一つに記載の撮像装置である。
(Appendix 8)
The invention according to appendix 8, wherein the second identification information is the number of the light emitting units attached to the subject wearing the light emitting unit. It is an imaging device described in one.

(付記9)
付記9に記載の発明は、前記第2の識別情報は、前記発光ユニットを装着している被写体のサイズであることを特徴とする付記1乃至5の何れか一つに記載の撮像装置である。
(Appendix 9)
The invention according to appendix 9 is the imaging apparatus according to any one of appendices 1 to 5, wherein the second identification information is a size of a subject wearing the light emitting unit. .

(付記10)
付記10に記載の発明は、前記第2の識別情報は、前記発光ユニットを装着している被写体の顔の特徴であることを特徴とする付記1乃至5の何れか一つに記載の撮像装置である。
(Appendix 10)
The imaging device according to any one of appendices 1 to 5, wherein the second identification information is a feature of a face of a subject wearing the light emitting unit. It is.

(付記11)
付記11に記載の発明は、前記第2の識別情報は、前記発光ユニットを装着している被写体が身に着けている代表的な色であることを特徴とする付記1乃至5の何れか一つに記載の撮像装置である。
(Appendix 11)
The invention according to appendix 11, wherein the second identification information is a representative color worn by a subject wearing the light emitting unit. It is an imaging device described in one.

(付記12)
付記12に記載の発明は、前記第1の識別情報と前記第1の識別情報に関連付いた第2の識別情報を前記記録手段に登録する登録手段、を更に備えることを特徴とする付記1乃至11の何れか一つに記載の撮像装置。
(Appendix 12)
The invention according to attachment 12 further includes registration means for registering the first identification information and the second identification information associated with the first identification information in the recording means. The imaging device as described in any one of thru | or 11.

(付記13)
付記13に記載の発明は、可視光通信に先立って、発光ユニットが発光する可視光に含まれる前記発光ユニット自体を示す第1の識別情報と、前記可視光通信とは異なる画像認識のための情報である第2の識別情報と、を関連付けて登録することを特徴とする可視光通信識別情報登録方法である。
(Appendix 13)
The invention described in appendix 13 includes first identification information indicating the light emitting unit itself included in visible light emitted from the light emitting unit prior to visible light communication, and image recognition different from the visible light communication. It is a visible light communication identification information registration method characterized by registering the second identification information as information in association with each other.

(付記14)
付記14に記載の発明は、可視光通信に先立って、第1の識別情報と前記第1の識別情報に関連付いた前記第1の識別情報とは異なる第2の識別情報が記録されている記録手段を備え、発光ユニットが発光する可視光に含まれる情報を取得する撮像装置のコンピュータを、前記第1の識別情報に関連する情報を含む可視光の位置を検出する第1の検出手段、前記第2の識別情報に基づいて、前記発光ユニットを装着した被写体の位置を検出する第2の検出手段、として機能させることを特徴とするプログラムであって、前記第1の識別情報は、前記可視光に含まれている前記発光ユニット自体を示す情報であり、前記第2の識別情報は、前記可視光通信とは異なる画像認識のための情報である。
(Appendix 14)
In the invention according to appendix 14, the first identification information and the second identification information different from the first identification information associated with the first identification information are recorded prior to visible light communication. A first detection means for detecting a position of visible light including information relating to the first identification information; and a computer of an imaging apparatus that includes recording means and acquires information included in visible light emitted by the light emitting unit; On the basis of the second identification information, the program functions as second detection means for detecting the position of the subject on which the light emitting unit is mounted, wherein the first identification information is It is information indicating the light emitting unit itself contained in visible light, and the second identification information is information for image recognition different from the visible light communication.

1 撮影システム
10 光タグ
11 メモリ
11a 第1の識別情報
12 タイミングジェネレータ
13 CPU
14 発光部
15 発光窓
20 撮像装置
21 光学レンズ部
22 撮像部
23 フラッシュメモリ
24 メモリ
24a 第2の識別情報
25 表示部
26 キー入力部
27 CPU
A 被写体
B 所定の範囲
P 色パターン
1 photographing system 10 optical tag 11 memory 11a first identification information 12 timing generator 13 CPU
DESCRIPTION OF SYMBOLS 14 Light emission part 15 Light emission window 20 Imaging device 21 Optical lens part 22 Imaging part 23 Flash memory 24 Memory 24a 2nd identification information 25 Display part 26 Key input part 27 CPU
A Subject B Predetermined range P Color pattern

Claims (14)

発光ユニットが発光する任意の情報を含む可視光を撮像手段で受光し、当該可視光に含まれる情報を取得する撮像装置であって、
可視光通信に先立って、第1の識別情報と前記第1の識別情報に関連付いた前記第1の識別情報とは異なる第2の識別情報が記録されている記録手段を備え、
前記第1の識別情報は、前記可視光に含まれている前記発光ユニット自体を示す情報であり、
前記第2の識別情報は、前記可視光通信とは異なる画像認識のための情報である、
ことを特徴とする撮像装置。
An imaging device that receives visible light including arbitrary information emitted by a light emitting unit with an imaging unit, and acquires information included in the visible light,
Prior to visible light communication, comprising: a recording means in which first identification information and second identification information different from the first identification information associated with the first identification information are recorded;
The first identification information is information indicating the light emitting unit itself included in the visible light,
The second identification information is information for image recognition different from the visible light communication.
An imaging apparatus characterized by that.
前記第1の識別情報に関連する情報を含む可視光の位置を検出する第1の検出手段と、
前記第2の識別情報に基づいて、前記発光ユニットを装着した被写体の位置を検出する第2の検出手段と、
を更に備えることを特徴とする請求項1に記載の撮像装置。
First detection means for detecting a position of visible light including information related to the first identification information;
Based on the second identification information, second detection means for detecting the position of the subject on which the light emitting unit is mounted;
The imaging apparatus according to claim 1, further comprising:
可視光を発光する発光ユニットが発光する可視光を撮像手段で受光し、当該可視光に含まれる前記第1の識別情報に関連する情報を取得する取得手段を更に備え、
前記第1の検出手段は、前記取得手段により取得された前記第1の識別情報に関連する情報に基づいて、前記第1の識別情報に関連する情報を含む可視光の位置を検出することを特徴とする請求項2に記載の撮像装置。
Receiving means for receiving visible light emitted by a light emitting unit that emits visible light with an imaging means, and obtaining information related to the first identification information included in the visible light;
The first detection means detects a position of visible light including information related to the first identification information based on information related to the first identification information acquired by the acquisition means. The imaging apparatus according to claim 2, characterized in that:
前記第1の検出手段の検出結果と前記第2の検出手段の検出結果とに基づいて前記発光ユニットを装着した被写体を追尾する追尾手段、
を更に備えることを特徴とする請求項3に記載の撮像装置。
Tracking means for tracking the subject on which the light emitting unit is mounted based on the detection result of the first detection means and the detection result of the second detection means;
The imaging apparatus according to claim 3, further comprising:
前記追尾手段は、前記第1の検出手段が前記第1の識別情報と同じ情報を含む可視光の位置を検出できない場合、前記第2の検出手段の検出結果に基づいて前記発光ユニットを装着した被写体を追尾することを特徴とする請求項4に記載の撮像装置。   When the first detection unit cannot detect the position of visible light including the same information as the first identification information, the tracking unit is mounted with the light emitting unit based on the detection result of the second detection unit. The imaging apparatus according to claim 4, wherein the subject is tracked. 前記第2の識別情報は、前記発光ユニットを装着している被写体のサイズと当該被写体の中での前記発光ユニットの位置であることを特徴とする請求項1乃至4の何れか一項に記載の撮像装置。   The said 2nd identification information is the size of the to-be-photographed object to which the said light emission unit is mounted | worn, and the position of the said light emission unit in the said object, The Claim 1 thru | or 4 characterized by the above-mentioned. Imaging device. 前記第2の識別情報は、前記発光ユニットを装着している被写体の顔から前記発光ユニットまでの距離であることを特徴とする請求項1乃至4の何れか一項に記載の撮像装置。   5. The image pickup apparatus according to claim 1, wherein the second identification information is a distance from a face of a subject wearing the light emitting unit to the light emitting unit. 前記第2の識別情報は、前記発光ユニットを装着している被写体が装着している前記発光ユニットの数であることを特徴とする請求項1乃至4の何れか一項に記載の撮像装置。   5. The imaging apparatus according to claim 1, wherein the second identification information is a number of the light emitting units attached to a subject wearing the light emitting unit. 前記第2の識別情報は、前記発光ユニットを装着している被写体のサイズであることを特徴とする請求項1乃至5の何れか一項に記載の撮像装置。   The imaging apparatus according to any one of claims 1 to 5, wherein the second identification information is a size of a subject wearing the light emitting unit. 前記第2の識別情報は、前記発光ユニットを装着している被写体の顔の特徴であることを特徴とする請求項1乃至5の何れか一項に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the second identification information is a feature of a face of a subject wearing the light emitting unit. 前記第2の識別情報は、前記発光ユニットを装着している被写体が身に着けている代表的な色であることを特徴とする請求項1乃至5の何れか一項に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the second identification information is a representative color worn by a subject wearing the light emitting unit. 前記第1の識別情報と前記第1の識別情報に関連付いた第2の識別情報を前記記録手段に登録する登録手段、
を更に備えることを特徴とする請求項1乃至11の何れか一項に記載の撮像装置。
Registration means for registering the first identification information and second identification information associated with the first identification information in the recording means;
The imaging apparatus according to claim 1, further comprising:
可視光通信に先立って、発光ユニットが発光する可視光に含まれる前記発光ユニット自体を示す第1の識別情報と、
前記可視光通信とは異なる画像認識のための情報である第2の識別情報と、
を関連付けて登録することを特徴とする可視光通信識別情報登録方法。
Prior to visible light communication, first identification information indicating the light emitting unit itself included in visible light emitted by the light emitting unit;
Second identification information which is information for image recognition different from the visible light communication;
A method for registering visible light communication identification information, wherein the information is registered in association with each other.
可視光通信に先立って、第1の識別情報と前記第1の識別情報に関連付いた前記第1の識別情報とは異なる第2の識別情報が記録されている記録手段を備え、発光ユニットが発光する可視光に含まれる情報を取得する撮像装置のコンピュータを、
前記第1の識別情報に関連する情報を含む可視光の位置を検出する第1の検出手段、
前記第2の識別情報に基づいて、前記発光ユニットを装着した被写体の位置を検出する第2の検出手段、
として機能させることを特徴とするプログラムであって、
前記第1の識別情報は、前記可視光に含まれている前記発光ユニット自体を示す情報であり、前記第2の識別情報は、前記可視光通信とは異なる画像認識のための情報である。
Prior to visible light communication, the light-emitting unit includes recording means for recording first identification information and second identification information different from the first identification information associated with the first identification information. A computer of an imaging device that acquires information contained in visible light that emits light,
First detection means for detecting a position of visible light including information related to the first identification information;
Second detection means for detecting a position of a subject on which the light emitting unit is mounted based on the second identification information;
A program characterized by functioning as:
The first identification information is information indicating the light emitting unit itself included in the visible light, and the second identification information is information for image recognition different from the visible light communication.
JP2015245826A 2015-12-17 2015-12-17 Imaging apparatus, subject tracking method, and program Active JP6604509B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015245826A JP6604509B2 (en) 2015-12-17 2015-12-17 Imaging apparatus, subject tracking method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015245826A JP6604509B2 (en) 2015-12-17 2015-12-17 Imaging apparatus, subject tracking method, and program

Publications (3)

Publication Number Publication Date
JP2017112504A true JP2017112504A (en) 2017-06-22
JP2017112504A5 JP2017112504A5 (en) 2018-11-29
JP6604509B2 JP6604509B2 (en) 2019-11-13

Family

ID=59081370

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015245826A Active JP6604509B2 (en) 2015-12-17 2015-12-17 Imaging apparatus, subject tracking method, and program

Country Status (1)

Country Link
JP (1) JP6604509B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020526853A (en) * 2017-07-18 2020-08-31 ハンジョウ タロ ポジショニング テクノロジー カンパニー リミテッドHangzhou Taro Positioning Technology Co.,Ltd. Intelligent object tracking
JPWO2021124524A1 (en) * 2019-12-19 2021-06-24
US11364637B2 (en) 2017-07-18 2022-06-21 Hangzhou Taro Positioning Technology Co., Ltd. Intelligent object tracking

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006050280A (en) * 2004-08-05 2006-02-16 Sony Corp Image pickup unit and image pickup method
JP2006279568A (en) * 2005-03-29 2006-10-12 Fujitsu Ltd Image-pickup device
JP2013012941A (en) * 2011-06-29 2013-01-17 Olympus Imaging Corp Tracking apparatus, tracking method, and tracking program
US20140092266A1 (en) * 2012-09-28 2014-04-03 Casio Computer Co., Ltd. Photographing system, photographing method, light emitting apparatus, photographing apparatus, and computer-readable storage medium
JP2014075635A (en) * 2012-10-02 2014-04-24 Casio Comput Co Ltd Imaging system, imaging method, light-emitting device, imaging apparatus, and program
US20150262379A1 (en) * 2014-03-13 2015-09-17 Casio Computer Co., Ltd. Imaging apparatus and a method of tracking a subject in the imaging apparatus

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006050280A (en) * 2004-08-05 2006-02-16 Sony Corp Image pickup unit and image pickup method
JP2006279568A (en) * 2005-03-29 2006-10-12 Fujitsu Ltd Image-pickup device
JP2013012941A (en) * 2011-06-29 2013-01-17 Olympus Imaging Corp Tracking apparatus, tracking method, and tracking program
US20140092266A1 (en) * 2012-09-28 2014-04-03 Casio Computer Co., Ltd. Photographing system, photographing method, light emitting apparatus, photographing apparatus, and computer-readable storage medium
JP2014075635A (en) * 2012-10-02 2014-04-24 Casio Comput Co Ltd Imaging system, imaging method, light-emitting device, imaging apparatus, and program
US20150262379A1 (en) * 2014-03-13 2015-09-17 Casio Computer Co., Ltd. Imaging apparatus and a method of tracking a subject in the imaging apparatus
JP2015177262A (en) * 2014-03-13 2015-10-05 カシオ計算機株式会社 Imaging apparatus, subject tracking method, and program

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020526853A (en) * 2017-07-18 2020-08-31 ハンジョウ タロ ポジショニング テクノロジー カンパニー リミテッドHangzhou Taro Positioning Technology Co.,Ltd. Intelligent object tracking
US11364637B2 (en) 2017-07-18 2022-06-21 Hangzhou Taro Positioning Technology Co., Ltd. Intelligent object tracking
JPWO2021124524A1 (en) * 2019-12-19 2021-06-24
WO2021124524A1 (en) * 2019-12-19 2021-06-24 三菱電機株式会社 Target-tracking device and target-tracking method

Also Published As

Publication number Publication date
JP6604509B2 (en) 2019-11-13

Similar Documents

Publication Publication Date Title
JP6025690B2 (en) Information processing apparatus and information processing method
JP5648866B2 (en) Imaging system, imaging method, imaging apparatus, and program
JP5959923B2 (en) Detection device, control method thereof, control program, imaging device and display device
US20100053419A1 (en) Image pick-up apparatus and tracking method therefor
CN104519278B (en) Image processing apparatus, image processing method and recording medium
JP6564271B2 (en) Imaging apparatus, image processing method, program, and storage medium
JP6265640B2 (en) Image processing apparatus, imaging apparatus, image processing method, and program
JPWO2016016984A1 (en) Imaging device and subject tracking method thereof
US10013632B2 (en) Object tracking apparatus, control method therefor and storage medium
JP2015088096A (en) Information processor and information processing method
JP2015088095A (en) Information processor and information processing method
JP6604509B2 (en) Imaging apparatus, subject tracking method, and program
CN103716531B (en) Camera chain, method for imaging, light-emitting device, photographic attachment
JP7241309B2 (en) PRESENTATION SYSTEM, PRESENTATION DEVICE, AND PRESENTATION METHOD
JP2008027086A (en) Facial expression inducing device, facial expression inducing method, and facial expression inducing system
JP2015088098A (en) Information processor and information processing method
JP2010165012A (en) Imaging apparatus, image retrieval method, and program
JP2020526735A (en) Pupil distance measurement method, wearable eye device and storage medium
JP6624167B2 (en) Imaging control device, imaging control method, and imaging control program
JP5963525B2 (en) Recognition device, control method thereof, control program, imaging device and display device
JP5880135B2 (en) Detection apparatus, detection method, and program
JP2009117975A (en) Image pickup apparatus and method
JP2014033265A (en) Imaging device, imaging method, and program
JP5448868B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
JP2016081095A (en) Subject tracking device, control method thereof, image-capturing device, display device, and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181016

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181016

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190807

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190910

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191002

R150 Certificate of patent or registration of utility model

Ref document number: 6604509

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150