JP2018125637A - Information processing system and information processing method - Google Patents

Information processing system and information processing method Download PDF

Info

Publication number
JP2018125637A
JP2018125637A JP2017015113A JP2017015113A JP2018125637A JP 2018125637 A JP2018125637 A JP 2018125637A JP 2017015113 A JP2017015113 A JP 2017015113A JP 2017015113 A JP2017015113 A JP 2017015113A JP 2018125637 A JP2018125637 A JP 2018125637A
Authority
JP
Japan
Prior art keywords
light source
feature point
information
pattern
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017015113A
Other languages
Japanese (ja)
Other versions
JP6982930B2 (en
Inventor
健太郎 戸倉
Kentaro Tokura
健太郎 戸倉
永元　直樹
Naoki Nagamoto
直樹 永元
孝夫 掛橋
Takao Kakehashi
孝夫 掛橋
基博 池原
Motohiro Ikehara
基博 池原
英昭 内山
Hideaki Uchiyama
英昭 内山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyushu University NUC
Sumitomo Mitsui Construction Co Ltd
Original Assignee
Kyushu University NUC
Sumitomo Mitsui Construction Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyushu University NUC, Sumitomo Mitsui Construction Co Ltd filed Critical Kyushu University NUC
Priority to JP2017015113A priority Critical patent/JP6982930B2/en
Publication of JP2018125637A publication Critical patent/JP2018125637A/en
Application granted granted Critical
Publication of JP6982930B2 publication Critical patent/JP6982930B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Optical Communication System (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an information processing system and an information processing method that can accurately obtain information transmitted by blinking of each light source even in the case where a user photographs while moving a camera.SOLUTION: A plurality of light sources 2 transmitting information by a blinking pattern are photographed with a moving camera 3. A feature point is extracted from a captured image by feature point extraction means 4. Feature point tracking means 5 tracks the feature point in subsequent captured images. Light source position estimation means 6 estimates positions of light sources that are turned off on the basis of the position of the tracked feature point. Light source identification means 7 identifies light sources that are turned on and the light sources that are turned off, and pattern acquisition means 8 acquires a blinking pattern. Information acquisition means 9 acquires information on the basis of the blinking pattern.SELECTED DRAWING: Figure 1

Description

本発明は、所定の点滅パターンで点滅する光源を使った情報処理システム及び情報処理方法に関する。   The present invention relates to an information processing system and an information processing method using a light source that blinks in a predetermined blinking pattern.

従来、光源を点滅させると共にその点滅のパターンで情報をやり取りする情報処理システムや情報処理方法については種々のタイプのものが提案されている（例えば、特許文献１及び２参照）。   Conventionally, various types of information processing systems and information processing methods have been proposed for blinking a light source and exchanging information with the blink pattern (see, for example, Patent Documents 1 and 2).

図５は、情報処理システムの従来構成の一例を示す模式図であって、図中の符号１０は、所定の点滅パターンでそれぞれ点滅して所定の情報を発信する光源を示し、符号１０３は、該光源１０２の点滅パターンを撮影するカメラを示し、符号１０５は、該カメラ１０３を搭載して移動する自動車を示している。このようなシステムにおいては、前記光源１０２の点滅パターンを撮影して解析することにより、各光源１０２が発信する情報を取得するように構成されていた。   FIG. 5 is a schematic diagram illustrating an example of a conventional configuration of the information processing system. In FIG. 5, reference numeral 10 denotes a light source that flashes in a predetermined flashing pattern and transmits predetermined information, and reference numeral 103 denotes A camera that captures the blinking pattern of the light source 102 is shown. Reference numeral 105 denotes an automobile that is mounted with the camera 103 and moves. Such a system is configured to acquire information transmitted from each light source 102 by photographing and analyzing the blinking pattern of the light source 102.

特許第４４７８８８５号公報Japanese Patent No. 4478885 特許第５６９８７６４号公報Japanese Patent No. 5698764

ところで、上述のように光源１０２の点滅パターンを解析するためには、前記カメラ１０３で撮影した撮影画像における各光源１０２の位置を把握する必要がある。しかしながら、図６（ａ）に示すようにカメラ１０３を移動させて光源１０２を撮影する場合には、同図（ｂ）〜（ｄ）に例示するように、撮影される画像中を該光源１０２が移動することとなる。かかる場合、点灯状態にある光源１０２ｏｎは画像中の位置を明確に認識できるが、消灯状態にある光源１０２ｏｆｆは（撮影する条件によっては）画像中の位置を認識できないこともあり、そのような場合には、その光源１０２の点滅パターンを解析できず、ひいては、該光源１０２が発信する情報も取得できないというおそれがあった。 By the way, in order to analyze the blinking pattern of the light source 102 as described above, it is necessary to grasp the position of each light source 102 in a photographed image photographed by the camera 103. However, when the light source 102 is photographed by moving the camera 103 as shown in FIG. 6A, the light source 102 is captured in the photographed image as illustrated in FIGS. Will move. In such a case, the light source 102 on in the lit state can clearly recognize the position in the image, but the light source 102 off in the unlit state may not recognize the position in the image (depending on the shooting conditions). In such a case, the blinking pattern of the light source 102 cannot be analyzed, and as a result, information transmitted by the light source 102 may not be acquired.

本発明は、上述の問題を解消することのできる情報処理システム及び情報処理方法を提供することを目的とするものである。   An object of the present invention is to provide an information processing system and an information processing method capable of solving the above-described problems.

本発明の第１の観点は、図１に符号１で例示するものであって、所定の点滅パターンでそれぞれ点滅して所定の情報を発信する複数の光源（２）と、
該点滅する複数の光源（２）を所定のフレームレートで撮影するカメラ（３）と、
該カメラ（３）によって撮影された撮影画像（図２（ａ）の符号Ｐｉ参照）から特徴点（同図の符号ＣＰ１，…参照）を抽出する特徴点抽出手段（４）と、
該特徴点（ＣＰ１，…）を抽出した撮影画像（Ｐｉ）の後に撮影される後続撮影画像（図２（ｂ）（ｃ）の符号Ｐｉ＋１，Ｐｉ＋２参照）において前記特徴点（ＣＰ１，…）を追跡する特徴点追跡手段（５）と、
該特徴点追跡手段（５）によって追跡された前記特徴点（ＣＰ１，…）の位置に基づいて消灯している消灯光源（２ｏｆｆ）の前記後続撮影画像（Ｐｉ＋１，Ｐｉ＋２）上での位置を推定する光源位置推定手段（６）と、
該後続撮影画像（Ｐｉ＋１，Ｐｉ＋２）において点灯している点灯光源（２ｏｎ）が前記複数の光源（２）のどの光源であるかを特定すると共に、前記光源位置推定手段（６）によって位置が推定された前記消灯光源（２ｏｆｆ）が前記複数の光源（２）のどの光源であるかを特定する光源特定手段（７）と、
該光源特定手段（７）が取得したデータに基づき各光源（２）の点滅パターンを取得するパターン取得手段（８）と、
該パターン取得手段（８）による取得データに基づき前記各光源（２）が発信する情報を取得する情報取得手段（９）と、
を備えたことを特徴とする情報処理システムに関する。 A first aspect of the present invention is illustrated by reference numeral 1 in FIG. 1, and includes a plurality of light sources (2) each of which flashes in a predetermined flashing pattern and transmits predetermined information.
A camera (3) for photographing the plurality of flashing light sources (2) at a predetermined frame rate;
Feature point extraction means (4) for extracting feature points (see reference numerals CP1,... In the figure) from a photographed image (see reference numeral Pi in FIG. 2A) photographed by the camera (3);
The feature points (CP1,...) In the subsequent captured images (see symbols Pi + 1, Pi + 2 in FIGS. 2B and 2C) captured after the captured image (Pi) from which the feature points (CP1,...) Are extracted. A feature point tracking means (5) for tracking;
Based on the position of the feature points (CP1,...) Tracked by the feature point tracking means (5), the position of the extinguished light source (2 off ) on the subsequent captured image (Pi + 1, Pi + 2) is determined. Light source position estimating means (6) for estimating;
The lighting light source (2 on ) that is turned on in the subsequent captured image (Pi + 1, Pi + 2) specifies which light source of the plurality of light sources (2), and the position is determined by the light source position estimating means (6). Light source specifying means (7) for specifying which of the plurality of light sources (2) is the estimated extinguishing light source (2 off );
Pattern acquisition means (8) for acquiring a blinking pattern of each light source (2) based on the data acquired by the light source identification means (7);
Information acquisition means (9) for acquiring information transmitted from each light source (2) based on the acquisition data by the pattern acquisition means (8);
It is related with the information processing system characterized by having provided.

本発明の第２の観点は、前記特徴点追跡手段（５）が、順次撮影される複数の後続撮影画像（Ｐｉ＋１，Ｐｉ＋２）の間でオプティカルフロー法を用いて前記特徴点（ＣＰ１，…）を追跡していくことを特徴とする。   According to a second aspect of the present invention, the feature point tracking means (5) uses the optical flow method between a plurality of subsequent photographed images (Pi + 1, Pi + 2) that are sequentially photographed. It is characterized by tracking.

本発明の第３の観点は、前記特徴点抽出手段（４）が、前記カメラ（３）によって撮影された撮影画像（Ｐｉ）に交差する線（図３の符号ＧＬ参照）を追加すると共に該交差する線（ＧＬ）の交点を前記特徴点（ＣＰ１，…）として抽出することを特徴とする。   According to a third aspect of the present invention, the feature point extraction unit (4) adds a line (see reference numeral GL in FIG. 3) that intersects a captured image (Pi) captured by the camera (3). An intersection of intersecting lines (GL) is extracted as the feature point (CP1,...).

本発明の第４の観点は、前記各光源（２）が、その点滅パターンにより自身の位置情報を発信し、
前記情報取得手段（９）は、前記各光源（２）の位置情報を取得することを特徴とする。 According to a fourth aspect of the present invention, each of the light sources (2) transmits its position information by its blinking pattern,
The information acquisition means (9) acquires position information of each light source (2).

本発明の第５の観点は、前記各光源（２）のＩＤと位置情報とを対応づけて記憶するデータベース（１０）、
を備え、
前記各光源（２）は、その点滅パターンにより自身のＩＤ情報を発信し、
前記情報取得手段（９）は、前記パターン取得手段（８）が取得した各光源（２）のＩＤ情報と前記データベース（１０）に記憶されているデータとに基づいて該各光源（２）の位置を算出することを特徴とする。 According to a fifth aspect of the present invention, there is provided a database (10) for storing the ID and position information of each light source (2) in association with each other,
With
Each light source (2) transmits its own ID information by its blinking pattern,
The information acquisition unit (9) is configured to store the light sources (2) based on the ID information of the light sources (2) acquired by the pattern acquisition unit (8) and the data stored in the database (10). The position is calculated.

本発明の第６の観点は、図１及び図４に例示するものであって、所定の点滅パターンでそれぞれ点滅して所定の情報を発信する複数の光源（２）を所定のフレームレートで撮影する撮影工程（Ｓ１）と、
該撮影された撮影画像（Ｐｉ）から特徴点（ＣＰ１，…）を抽出する特徴点抽出工程（Ｓ２）と、
該特徴点（ＣＰ１，…）を抽出した撮影画像（Ｐｉ）の後に撮影される後続撮影画像（Ｐｉ＋１，Ｐｉ＋２）において前記特徴点（ＣＰ１，…）を追跡する特徴点追跡工程（Ｓ３）と、
該追跡された前記特徴点（ＣＰ１，…）の位置に基づいて消灯している消灯光源（２ｏｆｆ）の前記後続撮影画像（Ｐｉ＋１，Ｐｉ＋２）上での位置を推定する光源位置推定工程（Ｓ４）と、
該後続撮影画像（Ｐｉ＋１，Ｐｉ＋２）において点灯している点灯光源（２ｏｎ）が前記複数の光源（２）のどの光源であるかを特定すると共に、前記位置が推定された前記消灯光源（２ｏｆｆ）が前記複数の光源（２）のどの光源であるかを特定する光源特定工程（Ｓ５）と、
該光源特定工程（Ｓ５）にて取得したデータに基づき各光源（２）の点滅パターンを取得するパターン取得工程（Ｓ６）と、
該パターン取得工程（Ｓ６）にて取得した取得データに基づき前記各光源（２）が発信する情報を取得する情報取得工程（Ｓ７）と、
を備えたことを特徴とする情報処理方法に関する。 The sixth aspect of the present invention is illustrated in FIGS. 1 and 4 and shoots a plurality of light sources (2) each flashing in a predetermined flashing pattern and transmitting predetermined information at a predetermined frame rate. Photographing step (S1) to be performed;
A feature point extraction step (S2) for extracting feature points (CP1,...) From the photographed captured image (Pi);
A feature point tracking step (S3) for tracking the feature points (CP1,...) In subsequent captured images (Pi + 1, Pi + 2) captured after the captured image (Pi) from which the feature points (CP1,...) Are extracted;
A light source position estimating step (S4) for estimating the position of the extinguished light source (2 off ) on the subsequent captured image (Pi + 1, Pi + 2) based on the tracked position of the feature points (CP1,...) )When,
The turn-on light source (2 on ) that is turned on in the subsequent captured image (Pi + 1, Pi + 2) identifies which light source (2) of the plurality of light sources (2), and the extinguished light source (2 off )) which identifies which light source of the plurality of light sources (2) is specified (S5);
A pattern acquisition step (S6) for acquiring a blinking pattern of each light source (2) based on the data acquired in the light source identification step (S5);
An information acquisition step (S7) for acquiring information transmitted from each light source (2) based on the acquisition data acquired in the pattern acquisition step (S6);
It is related with the information processing method characterized by comprising.

なお、括弧内の番号などは、図面における対応する要素を示す便宜的なものであり、従って、本記述は図面上の記載に限定拘束されるものではない。   Note that the numbers in parentheses are for the sake of convenience indicating the corresponding elements in the drawings, and therefore the present description is not limited to the descriptions on the drawings.

上記した第１、２及び６の観点によれば、前記カメラを移動させながら撮影する場合においても各光源が発信する情報を適確に取得することができる。   According to the first, second, and sixth aspects described above, it is possible to accurately acquire information transmitted from each light source even when shooting while moving the camera.

上記した第３の観点によれば、前記撮影画像の全体に亘ってほぼ均一に特徴点を抽出（設定）することができ（つまり、該特徴点が画像の一部に偏在するような事態を防止でき）、前記光源位置推定手段による前記消灯光源の位置の推定を正確に行うことができる。   According to the third aspect described above, feature points can be extracted (set) almost uniformly over the entire photographed image (that is, the feature points are unevenly distributed in a part of the image). The position of the extinguished light source can be accurately estimated by the light source position estimating means.

上記した第４及び５の観点によれば、カメラを移動させながら撮影する場合であっても、各光源の位置情報を適確に取得することができる。   According to the fourth and fifth aspects described above, the position information of each light source can be accurately acquired even when shooting while moving the camera.

図１は、本発明に係る情報処理システムの構成の一例を示すブロック図である。FIG. 1 is a block diagram showing an example of the configuration of an information processing system according to the present invention. 図２（ａ）〜（ｃ）は、所定のフレームレートで光源や景色等を撮影した一連の撮影画像の一例を示す模式図である。2A to 2C are schematic diagrams illustrating an example of a series of captured images obtained by capturing a light source, a landscape, and the like at a predetermined frame rate. 図３は、撮影画像において特徴点を抽出する様子の一例を示す模式図である。FIG. 3 is a schematic diagram illustrating an example of how feature points are extracted from a captured image. 図４は、本発明に係る情報処理方法の一例を示すフローチャート図である。FIG. 4 is a flowchart showing an example of the information processing method according to the present invention. 図５は、情報処理システムの従来構成の一例を示す模式図である。FIG. 5 is a schematic diagram illustrating an example of a conventional configuration of an information processing system. 図６は、従来の問題点を説明するための模式図であり、同図（ａ）は、カメラを移動させて撮影する様子を示す模式図、同図（ｂ）〜（ｄ）は、点滅する光源を所定のフレームレートで撮影した一連の撮影画像の一例を示す模式図である。FIG. 6 is a schematic diagram for explaining a conventional problem. FIG. 6A is a schematic diagram showing a state in which a camera is moved, and FIGS. 6B to 6D are blinking. It is a schematic diagram which shows an example of a series of picked-up images which image | photographed the light source to perform at a predetermined | prescribed frame rate.

以下、図１乃至図４に沿って、本発明の実施の形態について説明する。   Hereinafter, an embodiment of the present invention will be described with reference to FIGS.

本発明に係る情報処理システムは、図１に符号１で例示するものであって、
・ 所定の点滅パターンでそれぞれ点滅して所定の情報を発信する複数の光源２と、
・ 該点滅する複数の光源２を所定のフレームレートで撮影するカメラ３と、
を備えている。ここで、本発明に用いる光源２は、可視光を発するもの（例えば、ＬＥＤ光源や白熱球など）に限るものではなく、赤外光を発するものも含む概念である。そして、前記カメラ３には、該光源２が発する光を撮影できるものを用いると良い。また、該カメラ３の撮影タイミングは、該光源２の点滅に同期するように設定しておくと良い。つまり、各光源２は一定の周波数（点滅周波数）で点灯状態又は消灯状態を切り換えるが、前記カメラ３のフレームレートをその点滅周波数に一致させておくと良い。さらに、該光源２がその点滅パターンによって発信する所定の情報としては、
・ 各光源自身の位置情報や、
・ 各光源自身のＩＤ情報
などを挙げることができる。 An information processing system according to the present invention is illustrated by reference numeral 1 in FIG.
A plurality of light sources 2 each flashing in a predetermined flashing pattern and transmitting predetermined information;
A camera 3 for photographing the flashing light sources 2 at a predetermined frame rate;
It has. Here, the light source 2 used in the present invention is not limited to one that emits visible light (for example, an LED light source or an incandescent bulb), but is a concept that includes one that emits infrared light. The camera 3 may be a camera that can capture light emitted from the light source 2. The shooting timing of the camera 3 is preferably set so as to be synchronized with the flashing of the light source 2. That is, each light source 2 switches between a lighting state and a light-off state at a constant frequency (flashing frequency), but it is preferable to match the frame rate of the camera 3 with the flashing frequency. Further, as the predetermined information transmitted by the light source 2 by the blinking pattern,
・ Position information of each light source
-ID information of each light source can be listed.

一方、本発明に係る情報処理システム１は、前記カメラ３によって撮影された撮影画像（図2（ａ）の符号Ｐｉ参照。以下、“抽出用撮影画像”とする）から特徴点（実空間では３次元点）ＣＰ１，…を抽出する特徴点抽出手段４を備えている。この特徴点ＣＰ１，…は複数抽出することが好ましく、該抽出用撮影画像Ｐｉに映っている背景（つまり、前記光源２以外のものであって、しかも、移動しないもの）に抽出するようにすると良い。   On the other hand, the information processing system 1 according to the present invention uses a feature point (in real space) from a photographed image photographed by the camera 3 (see symbol Pi in FIG. 2A). Feature point extraction means 4 for extracting three-dimensional points CP1,. It is preferable to extract a plurality of feature points CP1,..., And to extract them in the background (that is, other than the light source 2 and does not move) reflected in the extracted photographed image Pi. good.

また、本発明に係る情報処理システム１は、前記特徴点ＣＰ１，…を抽出した抽出用撮影画像Ｐｉの後に撮影される後続撮影画像（図２（ｂ）（ｃ）の符号Ｐｉ＋１，Ｐｉ＋２参照）において前記特徴点ＣＰ１，…を追跡する特徴点追跡手段５を備えている。この場合の特徴点ＣＰ１，…の追跡は、順次撮影される複数の後続撮影画像Ｐｉ＋１，Ｐｉ＋２の間でオプティカルフロー法を用いて行うようにすると良い。   In addition, the information processing system 1 according to the present invention is a succeeding photographed image photographed after the extraction photographed image Pi from which the feature points CP1,... Have been extracted (see symbols Pi + 1 and Pi + 2 in FIGS. Are provided with characteristic point tracking means 5 for tracking the characteristic points CP1,. In this case, the tracking of the feature points CP1,... Is preferably performed using the optical flow method between a plurality of subsequent captured images Pi + 1 and Pi + 2 that are sequentially captured.

さらに、本発明に係る情報処理システム１は、前記特徴点追跡手段５によって追跡された前記特徴点ＣＰ１，…の位置に基づいて消灯している光源（つまり、消灯状態にある光源を言い、本明細書においては“消灯光源“とする）２ｏｆｆの前記後続撮影画像Ｐｉ＋１，Ｐｉ＋２上での位置を推定する光源位置推定手段６を備えている。この光源位置推定手段６は、前記特徴点ＣＰ１，…の追跡結果から平面射影行列を算出することで、図２（ａ）に示す撮影画像Ｐｉの画素が図２（ｂ）や（ｃ）に示す後続撮影画像Ｐｉ＋１，Ｐｉ＋２のどの画素に対応するかを算出し、それによって、前記消灯光源２ｏｆｆの位置を推定するように構成されている。 Further, the information processing system 1 according to the present invention refers to a light source that is turned off based on the position of the feature points CP1,... Tracked by the feature point tracking means 5 (that is, a light source that is turned off, In the specification, it is provided with light source position estimating means 6 for estimating the position of 2 off on the subsequent captured images Pi + 1 and Pi + 2. The light source position estimating means 6 calculates a planar projection matrix from the tracking result of the feature points CP1,... So that the pixels of the photographed image Pi shown in FIG. 2 (a) are shown in FIG. 2 (b) and (c). It is configured to calculate which pixel of the subsequent captured images Pi + 1 and Pi + 2 to be shown, thereby estimating the position of the extinguishing light source 2 off .

またさらに、本発明に係る情報処理システム１は光源特定手段７を備えており、該光源特定手段７は、
・ 前記後続撮影画像Ｐｉ＋１，Ｐｉ＋２において点灯している光源（つまり、点灯状態にある光源を言い、本明細書においては“点灯光源”とする）２ｏｎが前記複数の光源２のどの光源であるかを特定すると共に、
・ 前記光源位置推定手段６によって位置が推定された前記消灯光源２ｏｆｆが前記複数の光源２のどの光源であるかを特定する、
ように構成されている。 Furthermore, the information processing system 1 according to the present invention includes a light source specifying unit 7,
A light source that is lit in the subsequent captured images Pi + 1 and Pi + 2 (that is, a light source that is in a lit state and is referred to as a “lighting light source” in this specification) 2 on is any light source of the plurality of light sources 2 As well as
-The light source position estimating means 6 identifies which light source 2 of the plurality of light sources 2 is the extinguished light source 2 off ,
It is configured as follows.

また、本発明に係る情報処理システム１は、前記光源特定手段７が取得したデータに基づき各光源２の点滅パターンを取得するパターン取得手段８を備えている。   In addition, the information processing system 1 according to the present invention includes a pattern acquisition unit 8 that acquires a blinking pattern of each light source 2 based on the data acquired by the light source identification unit 7.

さらに、本発明に係る情報処理システム１は、前記パターン取得手段８による取得データに基づき前記各光源２が発信する情報を取得する情報取得手段９を備えている。なお、前記各光源２がその点滅パターンにより発信する情報が自身の位置情報である場合には、該情報取得手段９は、該点滅パターンから該各光源２の位置情報を取得することとなる。また、前記各光源２がその点滅パターンにより発信する情報が自身のＩＤ情報である場合には、該各光源２のＩＤと位置情報とを対応づけて記憶するデータベース１０を設けておき、前記情報取得手段９は、前記パターン取得手段８が取得した各光源２のＩＤ情報と前記データベース１０に記憶されているデータとに基づいて該各光源２の位置を算出するようにすると良い。さらに、該算出した各光源２の位置に基づいてカメラ３の位置や姿勢を算出するようにしても良い。   Furthermore, the information processing system 1 according to the present invention includes information acquisition means 9 that acquires information transmitted from the light sources 2 based on the data acquired by the pattern acquisition means 8. In addition, when the information transmitted by each light source 2 by the blink pattern is its own position information, the information acquisition unit 9 obtains the position information of each light source 2 from the blink pattern. When the information transmitted by each light source 2 by its blinking pattern is its own ID information, a database 10 is provided for storing the ID and position information of each light source 2 in association with each other. The acquisition unit 9 may calculate the position of each light source 2 based on the ID information of each light source 2 acquired by the pattern acquisition unit 8 and the data stored in the database 10. Further, the position and orientation of the camera 3 may be calculated based on the calculated position of each light source 2.

本発明によれば、各光源２の画像上での位置は該画像に写っている光源自身のみによって求められるのではなく前記特徴点ＣＰ１，…を使って推定されるので、前記カメラ３を固定している場合だけでなく該カメラ３を移動させながら撮影する場合においても各光源２が発信する情報を適確に取得することができる。   According to the present invention, the position of each light source 2 on the image is not obtained only by the light source itself shown in the image but is estimated using the feature points CP1,. The information transmitted from each light source 2 can be accurately acquired not only when shooting, but also when shooting while moving the camera 3.

ところで、上述した特徴点抽出手段４は、図３に例示するように、前記カメラ３によって撮影された抽出用撮影画像Ｐｉに交差する線（いわゆるグリッド線）ＧＬを追加すると共に該交差する線ＧＬの交点を前記特徴点ＣＰ１，…として抽出するようにすると良い。そのようにした場合には、前記抽出用撮影画像Ｐｉの全体に亘ってほぼ均一に特徴点ＣＰ１，…を抽出（設定）することができ（つまり、該特徴点が画像の一部に偏在するような事態を防止でき）、前記光源位置推定手段６による前記消灯光源２ｏｆｆの位置の推定を正確に行うことができる。 By the way, the feature point extracting means 4 described above adds a line (so-called grid line) GL that intersects the extraction photographed image Pi photographed by the camera 3 as illustrated in FIG. Are preferably extracted as the feature points CP1,. In such a case, the feature points CP1,... Can be extracted (set) almost uniformly over the whole of the extraction photographed image Pi (that is, the feature points are unevenly distributed in part of the image). Such a situation can be prevented), and the position of the extinguishing light source 2 off by the light source position estimating means 6 can be accurately estimated.

一方、本発明に係る情報処理方法は、図４等に例示するものであって、
・ 所定の点滅パターンでそれぞれ点滅して所定の情報を発信する複数の光源２を所定のフレームレートで撮影する撮影工程Ｓ１と、
・ 該撮影された抽出用撮影画像Ｐｉから特徴点ＣＰ１，…を抽出する特徴点抽出工程Ｓ２と、
・ 該特徴点ＣＰ１，…を抽出した抽出用撮影画像Ｐｉの後に撮影される後続撮影画像Ｐｉ＋１，Ｐｉ＋２において前記特徴点ＣＰ１，…を追跡する特徴点追跡工程Ｓ３と、
・ 該追跡された前記特徴点ＣＰ１，…の位置に基づいて消灯している消灯光源２ｏｆｆの前記後続撮影画像Ｐｉ＋１，Ｐｉ＋２上での位置を推定する光源位置推定工程Ｓ４と、
・ 該後続撮影画像Ｐｉ＋１，Ｐｉ＋２において点灯している点灯光源２ｏｎが前記複数の光源２のどの光源であるかを特定すると共に、前記位置が推定された前記消灯光源２ｏｆｆが前記複数の光源２のどの光源であるかを特定する光源特定工程Ｓ５と、
・ 該光源特定工程Ｓ５にて取得したデータに基づき各光源２の点滅パターンを取得するパターン取得工程Ｓ６と、
・ 該パターン取得工程Ｓ６にて取得した取得データに基づき前記各光源２が発信する情報を取得する情報取得工程Ｓ７と、
を備えたことを特徴とする。 On the other hand, the information processing method according to the present invention is illustrated in FIG.
A photographing step S1 for photographing a plurality of light sources 2 each blinking with a predetermined blinking pattern and transmitting predetermined information at a predetermined frame rate;
A feature point extraction step S2 for extracting feature points CP1,... From the photographed image for extraction Pi,
A feature point tracking step S3 for tracking the feature points CP1,... In the subsequent captured images Pi + 1, Pi + 2 photographed after the extraction photographed image Pi from which the feature points CP1,.
A light source position estimation step S4 for estimating the position of the extinguished light source 2 off on the subsequent captured images Pi + 1, Pi + 2 based on the tracked positions of the feature points CP1,.
The lighting light source 2 on that is turned on in the subsequent captured images Pi + 1 and Pi + 2 identifies which light source of the plurality of light sources 2, and the extinguishing light source 2 off whose position is estimated is the plurality of light sources. A light source specifying step S5 for specifying which light source of 2;
A pattern acquisition step S6 for acquiring a blinking pattern of each light source 2 based on the data acquired in the light source identification step S5;
An information acquisition step S7 for acquiring information transmitted from each light source 2 based on the acquisition data acquired in the pattern acquisition step S6;
It is provided with.

本発明によれば、各光源２の画像上での位置は該画像に写っている光源自身のみによって求められるのではなく前記特徴点ＣＰ１，…を使って推定されるので、前記カメラ３を固定している場合だけでなく該カメラ３を移動させながら撮影する場合においても各光源２が発信する情報を適確に取得することができる。   According to the present invention, the position of each light source 2 on the image is not obtained only by the light source itself shown in the image but is estimated using the feature points CP1,. The information transmitted from each light source 2 can be accurately acquired not only when shooting, but also when shooting while moving the camera 3.

１ 情報処理システム
２ 光源
２ｏｆｆ 消灯光源
２ｏｎ 点灯光源
３ カメラ
４ 特徴点抽出手段
５ 特徴点追跡手段
６ 光源位置推定手段
７ 光源特定手段
８ パターン取得手段
９ 情報取得手段
１０ データベース
ＣＰ１，… 特徴点
ＧＬ 交差する線
Ｐｉ 撮影画像
Ｐｉ＋１，Ｐｉ＋２ 後続撮影画像 1 an information processing system 2 light source 2 off off the light source 2 on the lighting source 3 camera 4 feature point extraction unit 5 feature point tracking means 6 the light source position estimation means 7 the light source specifying means 8 pattern acquisition unit 9 information acquiring unit 10 database CP1, ... minutiae GL Intersecting line Pi photographed image Pi + 1, Pi + 2 Subsequent photographed image

Claims (6)

所定の点滅パターンでそれぞれ点滅して所定の情報を発信する複数の光源と、
該点滅する複数の光源を所定のフレームレートで撮影するカメラと、
該カメラによって撮影された撮影画像から特徴点を抽出する特徴点抽出手段と、
該特徴点を抽出した撮影画像の後に撮影される後続撮影画像において前記特徴点を追跡する特徴点追跡手段と、
該特徴点追跡手段によって追跡された前記特徴点の位置に基づいて消灯している消灯光源の前記後続撮影画像上での位置を推定する光源位置推定手段と、
該後続撮影画像において点灯している点灯光源が前記複数の光源のどの光源であるかを特定すると共に、前記光源位置推定手段によって位置が推定された前記消灯光源が前記複数の光源のどの光源であるかを特定する光源特定手段と、
該光源特定手段が取得したデータに基づき各光源の点滅パターンを取得するパターン取得手段と、
該パターン取得手段による取得データに基づき前記各光源が発信する情報を取得する情報取得手段と、
を備えたことを特徴とする情報処理システム。 A plurality of light sources each flashing in a predetermined flashing pattern and transmitting predetermined information;
A camera that captures the plurality of flashing light sources at a predetermined frame rate;
Feature point extraction means for extracting feature points from a photographed image photographed by the camera;
Feature point tracking means for tracking the feature point in a subsequent captured image captured after the captured image from which the feature point has been extracted;
Light source position estimating means for estimating the position of the extinguished light source that is turned off based on the position of the feature point tracked by the feature point tracking means on the subsequent captured image;
The light source that is turned on in the subsequent captured image is identified as which light source of the plurality of light sources, and the light source that is estimated by the light source position estimating means is the light source of the plurality of light sources. A light source identification means for identifying whether there is,
Pattern acquisition means for acquiring a blinking pattern of each light source based on the data acquired by the light source identification means;
Information acquisition means for acquiring information transmitted from each light source based on the acquisition data by the pattern acquisition means;
An information processing system comprising: 前記特徴点追跡手段は、順次撮影される複数の後続撮影画像の間でオプティカルフロー法を用いて前記特徴点を追跡していく、
ことを特徴とする請求項１に記載の情報処理システム。 The feature point tracking means tracks the feature points using an optical flow method between a plurality of subsequent captured images that are sequentially captured.
The information processing system according to claim 1. 前記特徴点抽出手段は、前記カメラによって撮影された撮影画像に交差する線を追加すると共に該交差する線の交点を前記特徴点として抽出する、
ことを特徴とする請求項１又は２に記載の情報処理システム。 The feature point extraction means adds a line that intersects the captured image captured by the camera and extracts the intersection of the intersecting lines as the feature point.
The information processing system according to claim 1 or 2. 前記各光源は、その点滅パターンにより自身の位置情報を発信し、
前記情報取得手段は、前記各光源の位置情報を取得する、
ことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理システム。 Each light source transmits its position information by its blinking pattern,
The information acquisition means acquires position information of each light source;
The information processing system according to any one of claims 1 to 3. 前記各光源のＩＤと位置情報とを対応づけて記憶するデータベース、
を備え、
前記各光源は、その点滅パターンにより自身のＩＤ情報を発信し、
前記情報取得手段は、前記パターン取得手段が取得した各光源のＩＤ情報と前記データベースに記憶されているデータとに基づいて該各光源の位置を算出する、
ことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理システム。 A database for storing the ID and position information of each light source in association with each other;
With
Each light source transmits its ID information by its blinking pattern,
The information acquisition unit calculates the position of each light source based on the ID information of each light source acquired by the pattern acquisition unit and the data stored in the database.
The information processing system according to any one of claims 1 to 3. 所定の点滅パターンでそれぞれ点滅して所定の情報を発信する複数の光源を所定のフレームレートで撮影する撮影工程と、
該撮影された撮影画像から特徴点を抽出する特徴点抽出工程と、
該特徴点を抽出した撮影画像の後に撮影される後続撮影画像において前記特徴点を追跡する特徴点追跡工程と、
該追跡された前記特徴点の位置に基づいて消灯している消灯光源の前記後続撮影画像上での位置を推定する光源位置推定工程と、
該後続撮影画像において点灯している点灯光源が前記複数の光源のどの光源であるかを特定すると共に、前記位置が推定された前記消灯光源が前記複数の光源のどの光源であるかを特定する光源特定工程と、
該光源特定工程にて取得したデータに基づき各光源の点滅パターンを取得するパターン取得工程と、
該パターン取得工程にて取得した取得データに基づき前記各光源が発信する情報を取得する情報取得工程と、
を備えたことを特徴とする情報処理方法。 A photographing step of photographing a plurality of light sources each blinking with a predetermined blinking pattern and transmitting predetermined information at a predetermined frame rate;
A feature point extraction step of extracting feature points from the photographed captured image;
A feature point tracking step of tracking the feature point in a subsequent captured image captured after the captured image from which the feature point has been extracted;
A light source position estimating step of estimating a position of the extinguished light source that is extinguished based on the tracked position of the feature point on the subsequent captured image;
Identifying which light source of the plurality of light sources is a lit light source that is lit in the subsequent captured image, and identifying which light source of the plurality of light sources is the extinguished light source whose position is estimated A light source identification process;
A pattern acquisition step of acquiring a blinking pattern of each light source based on the data acquired in the light source identification step;
An information acquisition step of acquiring information transmitted from each light source based on the acquisition data acquired in the pattern acquisition step;
An information processing method characterized by comprising:
JP2017015113A 2017-01-31 2017-01-31 Information processing system and information processing method Active JP6982930B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017015113A JP6982930B2 (en) 2017-01-31 2017-01-31 Information processing system and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017015113A JP6982930B2 (en) 2017-01-31 2017-01-31 Information processing system and information processing method

Publications (2)

Publication Number Publication Date
JP2018125637A true JP2018125637A (en) 2018-08-09
JP6982930B2 JP6982930B2 (en) 2021-12-17

Family

ID=63111640

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017015113A Active JP6982930B2 (en) 2017-01-31 2017-01-31 Information processing system and information processing method

Country Status (1)

Country Link
JP (1) JP6982930B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112822411A (en) * 2019-11-18 2021-05-18 富士施乐株式会社 Information processing apparatus, system and method thereof, lighting apparatus, and recording medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007272511A (en) * 2006-03-31 2007-10-18 Casio Comput Co Ltd Information transmission system, imaging device, information output method, and information output program
JP2010151448A (en) * 2008-12-24 2010-07-08 Toshiba Corp Visible light communication device and method for adjusting optical axis
JP2012054689A (en) * 2010-08-31 2012-03-15 Toshiba Corp Visible light data processing device, visible light communication system, visible light data processing method, and program thereof
JP2015012537A (en) * 2013-07-01 2015-01-19 パナソニック株式会社 Visible light communication system
JP2016063347A (en) * 2014-09-17 2016-04-25 富士通株式会社 Signal transmitter, signal transmission method and signal transmission program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007272511A (en) * 2006-03-31 2007-10-18 Casio Comput Co Ltd Information transmission system, imaging device, information output method, and information output program
JP2010151448A (en) * 2008-12-24 2010-07-08 Toshiba Corp Visible light communication device and method for adjusting optical axis
JP2012054689A (en) * 2010-08-31 2012-03-15 Toshiba Corp Visible light data processing device, visible light communication system, visible light data processing method, and program thereof
JP2015012537A (en) * 2013-07-01 2015-01-19 パナソニック株式会社 Visible light communication system
JP2016063347A (en) * 2014-09-17 2016-04-25 富士通株式会社 Signal transmitter, signal transmission method and signal transmission program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112822411A (en) * 2019-11-18 2021-05-18 富士施乐株式会社 Information processing apparatus, system and method thereof, lighting apparatus, and recording medium

Also Published As

Publication number Publication date
JP6982930B2 (en) 2021-12-17

Similar Documents

Publication Publication Date Title
US10535160B2 (en) Markerless augmented reality (AR) system
JP3779308B2 (en) Camera calibration system and three-dimensional measurement system
US9100572B2 (en) Methods and systems for confidence-based image processing
JP2017528731A5 (en)
US11514606B2 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
CN110910460B (en) Method and device for acquiring position information and calibration equipment
JP2016522889A5 (en)
EP1952354A2 (en) Determining camera motion
JP2007142527A (en) Mobile body supervisory system, mobile body feature quantity calculation apparatus, and inter-camera mobile body collation tracing apparatus
KR101850835B1 (en) Method of estimating the location of mobile robot using ray-tracing technique
JP6868061B2 (en) Person tracking methods, devices, equipment and storage media
CN111083358A (en) Target snapshot method, device and system
CN109769326B (en) Light following method, device and equipment
JP2006033329A (en) Optical marker system
JP2017027492A (en) Face collation apparatus, face collation system with same, and face collation method
WO2016011861A1 (en) Method and photographing terminal for photographing object motion trajectory
US20180006724A1 (en) Multi-transmitter vlc positioning system for rolling-shutter receivers
JP6982930B2 (en) Information processing system and information processing method
CN106599930B (en) Virtual reality space positioning feature point screening method
JP6633140B2 (en) Constant calibration system and method
KR20160073491A (en) Interactive progress monitoring system using mobile terminal and user interface of the mobile terminal
JP2019027894A (en) Positional information acquisition system, and method and program for acquiring positional information
JP6369897B2 (en) Self-position calculation device and self-position calculation method
KR101509105B1 (en) Apparatus for providing augmented reality and method thereof
JPWO2017163283A1 (en) Monitoring device and monitoring system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190925

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200626

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201104

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20201222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210730

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211119

R150 Certificate of patent or registration of utility model

Ref document number: 6982930

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250