JP2021022916A - Color estimation device, color estimation method, and program - Google Patents
Color estimation device, color estimation method, and program Download PDFInfo
- Publication number
- JP2021022916A JP2021022916A JP2020032572A JP2020032572A JP2021022916A JP 2021022916 A JP2021022916 A JP 2021022916A JP 2020032572 A JP2020032572 A JP 2020032572A JP 2020032572 A JP2020032572 A JP 2020032572A JP 2021022916 A JP2021022916 A JP 2021022916A
- Authority
- JP
- Japan
- Prior art keywords
- color
- light
- light receiving
- estimation
- belongs
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 9
- 238000004891 communication Methods 0.000 claims description 22
- 239000003086 colorant Substances 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 2
- 239000003550 marker Substances 0.000 abstract description 89
- 238000006243 chemical reaction Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000005401 electroluminescence Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Abstract
Description
本発明は、色推定装置、色推定方法及びプログラムに関する。 The present invention relates to a color estimation device, a color estimation method and a program.
従来より、マーカが情報を可視光の波長領域における輝度、色で変調して発光し、情報送信する技術が考えられている。また、この変調された可視光をカメラの撮像素子で同時並行受光し、イメージセンサにおける受光した位置と復調された情報とを対応付けさせる技術も存在する(例えば特許文献1参照)。 Conventionally, a technique has been considered in which a marker modulates information with brightness and color in the wavelength region of visible light to emit light, and transmits the information. There is also a technique in which the modulated visible light is simultaneously received by the image sensor of the camera in parallel, and the received position in the image sensor is associated with the demodulated information (see, for example, Patent Document 1).
しかしながら、マーカとカメラとの距離が長く、結果的に撮像素子における受光面において、マーカが発光する光の像が所定サイズ以下で撮像されるようになると、その光の像が発する色(発光色)はカラーフィルタの赤、緑、青(RGB)配列の何れかの色の影響を強く受けてしまい、発光色が正しく認識できなくなるという問題が生じる。 However, when the distance between the marker and the camera is long, and as a result, an image of the light emitted by the marker is imaged at a predetermined size or less on the light receiving surface of the imaging element, the color (emission color) emitted by the image of the light is emitted. ) Is strongly influenced by any of the colors of the red, green, and blue (RGB) arrangement of the color filter, and there arises a problem that the emitted color cannot be recognized correctly.
本願発明はこのような問題点に鑑みてなされたものであり、色の特定が困難なサイズの画像の色を正しく推定することを目的とする。 The present invention has been made in view of such problems, and an object of the present invention is to correctly estimate the color of an image having a size in which it is difficult to specify the color.
上記目的を達成するため、本発明に係る色推定装置は、
受光した位置から受光した光が属する色が特定される複数の受光素子が配列された受光手段と、
前記受光した受光素子の位置が、前記受光した光の属する色の特定が可能な位置以外である場合、前記受光した光の明るさに基づいて前記光が属する色を推定する推定手段と、
を備えることを特徴とする。
In order to achieve the above object, the color estimation device according to the present invention
A light receiving means in which a plurality of light receiving elements for which the color to which the received light belongs is specified from the light receiving position are arranged, and
When the position of the received light receiving element is other than the position where the color to which the received light belongs can be specified, the estimation means for estimating the color to which the light belongs based on the brightness of the received light, and the estimation means.
It is characterized by having.
上記目的を達成するため、本発明に係る色推定方法は、
受光した位置から受光した光が属する色が特定される複数の配列された受光素子により受光する受光ステップと、
前記受光ステップにおいて受光した受光素子の位置が、前記受光した光の属する色の特定が可能な位置以外である場合、前記受光した光の明るさに基づいて前記光が属する色を推定する推定ステップと、
を含むことを特徴とする。
In order to achieve the above object, the color estimation method according to the present invention
A light receiving step in which light is received by a plurality of arranged light receiving elements in which the color to which the received light belongs is specified from the light receiving position.
When the position of the light receiving element received in the light receiving step is other than the position where the color to which the received light belongs can be specified, the estimation step of estimating the color to which the light belongs based on the brightness of the received light. When,
It is characterized by including.
上記目的を達成するため、本発明に係るプログラムは、
コンピュータを、
受光した位置から受光した光が属する色が特定される複数の受光素子が配列された受光手段、
前記受光した受光素子の位置が、前記受光した光の属する色の特定が可能な位置以外である場合、前記受光した光の明るさに基づいて前記光が属する色を推定する推定手段、
として機能させることを特徴とする。
In order to achieve the above object, the program according to the present invention
Computer,
A light receiving means in which a plurality of light receiving elements for which the color to which the received light belongs is specified from the light receiving position are arranged.
When the position of the received light receiving element is other than the position where the color to which the received light belongs can be specified, the estimation means for estimating the color to which the light belongs based on the brightness of the received light.
It is characterized by functioning as.
本発明によれば、色の特定が困難なサイズの画像の色を正しく推定することができる。 According to the present invention, it is possible to correctly estimate the color of an image having a size for which it is difficult to specify the color.
以下、図面を参照して、本発明の実施形態に係る情報処理システムとしての可視光通信システムを説明する。 Hereinafter, a visible light communication system as an information processing system according to an embodiment of the present invention will be described with reference to the drawings.
図1は、可視光通信システムの構成を示す図である。図1に示すように、可視光通信システム1は、サーバ200と、移動機器100a、100b、100c(以下、移動機器100a、100b、100cのそれぞれを限定しない場合には、適宜「移動機器100」と称する)と、サーバ200とを含んで構成される。移動機器100aは、マーカであるLED(Light Emitting Diode)102aを含み、移動機器100bは、LED102bを含み、移動機器100cは、LED102cを含む(以下、LED102a、102b、102cのそれぞれを限定しない場合には、適宜「LED102」と称する)。サーバ200は、撮影部201を含む。
FIG. 1 is a diagram showing a configuration of a visible light communication system. As shown in FIG. 1, the visible light communication system 1 is appropriately referred to as “
本実施形態において、移動機器100内のLED102が送信対象の情報である移動機器100のID(Identification)等に対応する光を発することにより情報を送信する。一方、サーバ200では、サーバ200内の撮影部201が撮影を行い、撮影により得られた光の画像から移動機器100のIDを取得する。
In the present embodiment, the
図2は、移動機器100の構成の一例を示す図である。図2に示すように、移動機器100は、LED102、制御部103、メモリ104、通信部108、駆動部112、及び、電池150を含む。
FIG. 2 is a diagram showing an example of the configuration of the
制御部103は、例えばCPU(Central Processing Unit)によって構成される。制御部103は、メモリ104に記憶されたプログラムに従ってソフトウェア処理を実行することにより、移動機器100が具備する各種機能を制御する。
The
メモリ104は、例えばRAM(Random Access Memory)やROM(Read Only Memory)である。メモリ104は、移動機器100における制御等に用いられる各種情報(プログラム等)を記憶する。通信部108は、例えばLAN(Local Area Network)カードである。通信部108は、他の通信装置との間で通信を行う。電池150は、移動機器100の作動に必要な電力を各部に供給する。
The
制御部103には、発光制御部124が構成される。発光制御部124は、移動機器100のID等に応じて、LED102が発する色相の時間的な変化に変調された任意の情報を含む所定の光を発光する発光パターンを決定する。
The
更に、発光制御部124は、ID等に対応する発光パターンの情報を駆動部112へ出力する。駆動部112は、発光制御部124からの発光パターンの情報に応じて、LED102が発する光の色相や輝度を時間的に変化させるための駆動信号を生成する。LED102は、駆動部112から出力される駆動信号に応じて、時間的に色相や輝度が変化する光を発する。発光色は3原色であり、可視光通信における色変調に用いる波長帯の色である赤(R)、緑(G)、青(B)の何れかである。
Further, the light
図3は、サーバ200の構成の一例を示す図である。図3に示すように、サーバ200は、撮影部201、制御部202、画像処理部204、メモリ205、操作部206、表示部207及び通信部208を含む。
FIG. 3 is a diagram showing an example of the configuration of the
撮影部201は、レンズ203を含む。レンズ203は、ズームレンズ等により構成される。レンズ203は、操作部206からのズーム制御操作、及び、制御部202による合焦制御により移動する。レンズ203の移動によって撮影部201が撮影する撮影画角や光学像が制御される。
The photographing
撮影部201は、規則的に二次元配列された複数の受光素子により受光面が構成される。受光素子は、例えば、CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)等の撮影デバイスである。撮影部201は、レンズ203を介して入光された光学像を、制御部202からの制御信号に基づいて所定範囲の撮影画角で撮影(受光)し、その撮影画角内の画像信号をデジタルデータに変換してフレームを生成する。また、撮影部201は、撮影とフレームの生成とを時間的に連続して行い、連続するフレームを画像処理部204に出力する。
In the photographing
受光面には、ベイヤー配列のカラーフィルタが構成されている。図4に示すように、ベイヤー配列のカラーフィルタは、横方向に赤フィルタ302と緑フィルタ304とが交互に配置された第1の列と、横方向に青フィルタ306と緑フィルタ304とが交互に配列された第2の列とが上下方向に交互に配置されて構成される。
A Bayer-arranged color filter is formed on the light receiving surface. As shown in FIG. 4, in the Bayer array color filter, the first row in which the
画像処理部204は、制御部202からの制御信号に基づいて、撮影部201から出力されたフレーム(デジタルデータ)をそのまま制御部202へ出力するとともに、当該フレームについて、表示部207にスルー画像として表示させるべく、画質や画像サイズを調整して制御部202へ出力する。また、画像処理部204は、操作部206からの記録指示操作に基づく制御信号が入力されると、記録指示された時点の撮影部201における撮影画角内、あるいは、表示部207に表示される表示範囲内の光学像を、例えば、JPEG(Joint Photographic Experts Group)等の圧縮符号化方式にて符号化、ファイル化する機能を有する。
Based on the control signal from the
制御部202は、例えばCPUによって構成される。制御部202は、メモリ205に記憶されたプログラムに従ってソフトウェア処理を実行することにより、後述する図7〜図11に示す動作を行う等、サーバ200が具備する各種機能を制御する。
The
メモリ205は、例えばRAMやROMである。メモリ205は、サーバ200における制御等に用いられる各種情報(プログラム等)を記憶する。通信部208は、例えばLANカードである。通信部208は、外部の通信装置との間で通信を行う。
The
操作部206は、テンキーやファンクションキー等によって構成され、ユーザの操作内容を入力するために用いられるインタフェースである。表示部207は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、EL(Electro Luminescence)ディスプレイ等によって構成される。表示部207は、制御部202から出力された画像信号に従って画像を表示する。
The
制御部202には、位置特定部232、推定部234及び復号部236が構成される。位置特定部232は、受光面における、移動機器100内のLED102における発光の位置を特定する。発光の位置とは、マーカの位置を中心とした所定範囲枠からなるマーカ候補を構成する領域の位置である。
The
推定部234は、マーカ候補を構成する領域の色が赤(R)、緑(G)、青(B)の何れかであるかを推定する。制御部202は、推定した領域の色の変化に基づいて、その変化に応じて送信される、移動機器100のID等の情報を復元する。ここで、推定部234は、受光面における上記領域がカラーフィルタの赤フィルタ302、緑フィルタ304、青フィルタ306に対して十分大きい場合には、マーカの領域の色が赤(R)、緑(G)、青(B)の何れかであるかを容易に推定することができる。
The
一方、受光面におけるマーカ候補を構成する領域がデベイヤフィルタの大きさ(n×m画素)より小さい場合には、そのままでは推定部234はマーカの領域の色を正しく推定することができない場合がある。ここで、デベイヤフィルタの大きさとは、カラーフィルタの配列によって定まる、カラー画像を生成するために必要となる最小の大きさを示す。例えば、図5(a)〜(c)に示すようカラーフィルタの赤フィルタ302、緑フィルタ304、青フィルタ306の位置と、小さな領域である赤色で発光するマーカ候補の領域310が存在する場合を考える。
On the other hand, when the region constituting the marker candidate on the light receiving surface is smaller than the size of the debayer filter (n × m pixels), the
図5(a)では、マーカ候補の領域310が赤フィルタ302に含まれている。このような場合には、マーカ候補の領域310は、明度が高い赤となる。このため、推定部234は、マーカ候補の領域310が赤であると判定することができる。
In FIG. 5A, the
一方、図5(b)、(c)では、マーカ候補の領域310が緑フィルタ304や青フィルタ306に重なっている。このような場合には、マーカ候補の領域310は、明度が低くなったり、緑フィルタ304や青フィルタ306によって緑や青が混ざった色となる。特にベイヤー配列は緑フィルタ304の比率が高いため、図4に示すような緑フィルタ304の影響を受けやすい。
On the other hand, in FIGS. 5B and 5C, the
そこで、本実施形態では、推定部234は、図6(a)に示す色相環、及び、図6(b)に示す色平面に応じて、マーカ候補の領域の色推定を行う。図6(a)に示すように、色は、HSV色空間では、色相(Hue)、明度(Value)、彩度(Saturation)によって特定され、円柱の色空間上の位置で特定される。図6(a)の色相環においては、円周方向が色相(H)を示し(0〜360)、高さ方向(垂直方向)が明度(V)を示し、半径方向が彩度(S)を示す。また、図6(a)の色相環、及び、図6(b)の色平面に示すように、赤(R)、緑(G)、青(B)は色相値によって区分される。色相値は0〜360の値の何れかとなる。本実施形態では、色相値が105〜180は緑と判定される領域、色相値が180〜255は青と判定される領域、色相値が330〜30は赤と判定される領域である。
Therefore, in the present embodiment, the
復号部236は、推定部234により推定された赤(R)、緑(G)、青(B)の各色に対応するビットデータ列を復号するよう制御し、可視光通信における通信対象の情報である移動機器100のID等を取得する。
The
以下、フローチャートを参照しつつ、色推定の動作を説明する。図7は、サーバ200による色推定の動作の一例を示すフローチャートである。
Hereinafter, the operation of color estimation will be described with reference to the flowchart. FIG. 7 is a flowchart showing an example of the color estimation operation by the
制御部202内の位置特定部232は、受光面における、移動機器100内のLED102における発光の位置とみなしうる所定明度以上の領域をマーカ候補として構成されている領域として検出する(ステップS101)。
The
次に、推定部234は、マーカ候補の領域がデベイヤフィルタの大きさ以下であるか否かを判定する(ステップS102)。本実施形態では、マーカ候補の領域がデベイヤフィルタの大きさ以下である場合には、マーカ候補の領域の色がカラーフィルタの赤フィルタ302、緑フィルタ304、青フィルタ306の何れかに偏って特定される可能性が高いため、通常の色判定ではマーカ候補の領域の色を正確に判定することができないものとみなしている。
Next, the
マーカ候補の領域がデベイヤフィルタの大きさを超える場合(ステップS102;NO)、色推定部234は、マーカ候補の領域について通常の色推定を行う(ステップS103)。すなわち、色推定部234は、マーカ候補の領域の色について、赤(R)、緑(G)、青(B)の値(RGBの値)に基づいて、色推定を行う。
When the marker candidate region exceeds the size of the debayer filter (step S102; NO), the
一方、マーカ候補の領域がデベイヤフィルタの大きさ以下である場合(ステップS102;YES)、色推定部234は、受光面のカラーフィルタのベイヤー配列を考慮した色推定を行う(ステップS104)。以下、ステップS104における動作の詳細を説明する。
On the other hand, when the area of the marker candidate is equal to or smaller than the size of the debayer filter (step S102; YES), the
図8はサーバ200による色推定の詳細な第1の動作の一例、図9は第2の動作の一例、図10は第3の動作の一例、図11は第4の動作の一例をそれぞれ示すフローチャートである。
FIG. 8 shows an example of a detailed first operation of color estimation by the
まず、図8に示すように、推定部234は、マーカ候補の領域に含まれる全画素の赤(R)、緑(G)、青(B)の値の平均値(RGB平均値)を算出し、ピクセルフォーマットの変換を行うことにより、当該RGB平均値を、マーカ候補の領域に含まれる全画素の色相Hの平均値(H平均値)、彩度Sの平均値(S平均値)及び明度Vの平均値(V平均値)からなるHSV平均値に変換する(ステップS201)。
First, as shown in FIG. 8, the
次に、推定部234は、H平均値<30、又は、H平均値>330であるか否かを判定する(ステップS202)。H平均値<30、又は、H平均値>330とは赤と推定される領域をマーカ候補として抽出する趣旨である。H平均値<30、又は、H平均値>330である場合(ステップS202;YES)、推定部234は、S平均値>10であるか否かを判定する(ステップS203)。S平均値>10とは彩度Sが高い領域をマーカ候補として抽出する趣旨である。S平均値>10である場合(ステップS203;YES)、推定部234は、V平均値>10であるか否かを判定する(ステップS204)。V平均値>10とは明度Vが高い領域をマーカ候補として抽出する趣旨である。
Next, the
V平均値>10である場合(ステップS204;YES)、推定部234は、現在、色推定の対象となっている画像のフレームよりも前のフレームまでにおいて、今回と同じ箇所で赤と推定されたマーカ候補の領域があるか否かを判定する(ステップS206)。例えば、フレーム毎のマーカ候補の領域の色推定の結果である色相H、彩度S、明度V等はメモリ205に記憶されている。
When the V average value> 10 (step S204; YES), the
前のフレームまでにおいて、赤と推定されたマーカ候補の領域がある場合(ステップS206;YES)、推定部234は、明度補正値を、前のフレームまでにおいて、赤と推定されたマーカ候補の領域内の最大の明度に設定する(ステップS207)。一方、前のフレームまでにおいて、赤と推定されたマーカ候補の領域がない場合(ステップS206;NO)、推定部234は、明度補正値を32に設定する(ステップS208)。ここで、明度補正値の32とはマーカであるLED102が発光した場合に推定される値(発光輝度値)を示している。
If there is a marker candidate region estimated to be red up to the previous frame (step S206; YES), the
ステップS207又はステップS208において明度補正値が設定された後、推定部234は、マーカ候補の領域のV平均値が明度補正値未満であるか否かを判定する(ステップS209)。マーカ候補の領域のV平均値が明度補正値未満である場合(ステップS209;YES)、推定部234は、マーカ候補の領域のV平均値を、ステップS207又はステップS208において設定した明度補正値に修正する。これにより、HSV平均値のうち、V平均値がより大きくされた値に修正される。次に、推定部234は、修正後のHSV平均値をRGB平均値に変換する。更に、推定部234は、マーカ候補の領域の全画素に、RGB平均値を設定し、HSV平均値とRGB平均値とをメモリ205に記憶し、マーカ候補の領域を赤であると推定する(ステップS210)。
After the brightness correction value is set in step S207 or step S208, the
一方、マーカ候補の領域のV平均値が明度補正値未満でない場合(ステップS209;NO)、推定部234は、ピクセルフォーマットの変換を行うことにより、HSV平均値をRGB平均値に変換する。更に、推定部234は、マーカ候補の領域の全画素に、RGB平均値を設定し、HSV平均値とRGB平均値とをメモリ205に記憶し、マーカ候補の領域を赤であると推定する(ステップS211)。
On the other hand, when the V average value of the marker candidate region is not less than the brightness correction value (step S209; NO), the
また、S平均値>10でない場合(ステップS203;NO)、又は、V平均値>10でない場合(ステップS204;NO)、推定部234は、マーカ候補の領域がマーカではないと推定する(ステップS212)。また、H平均値<30又はH平均値>330ではない場合(ステップS202;NO)、図9の動作に移行する。
If the S mean value is not> 10 (step S203; NO) or the V mean value is not> 10 (step S204; NO), the
推定部234は、マーカ候補の領域に含まれる全画素(今回のケースでは最大デベイヤフィルタの大きさ)について色相Hを判別し、色相Hが180<H<255となるA領域の画素数と、色相Hが105<H≦180となるB領域の画素数とを特定する(ステップS301)。180<H<255とは青に対応する色相の値を示し、105<H≦180とは緑に対応する色相の値を示す。
The
次に、推定部234は、A領域及びB領域のそれぞれの画素数がマーカ候補の全領域の画素数の1/3以上あるか否かを判定する(ステップS302)。A領域及びB領域の画素数がそれぞれマーカ候補の領域の1/3以上ある場合(ステップS302;YES)、推定部234は、A領域及びB領域のそれぞれにおける彩度Sの平均値(S平均値)と明度Vの平均値(V平均値)を算出し、A領域においてS平均値>10、V平均値>10であり、B領域においてS平均値>10、V平均値>10であるか否かを判定する(ステップS303)。
Next, the
A領域及びB領域において彩度Sの平均値S>10、明度Vの平均値>10である場合(ステップS303;YES)、次に、推定部234は、A領域に含まれる全画素の色相Hの平均値(H平均値)、彩度Sの平均値(S平均値)及び明度Vの平均値(V平均値)からなるHSV平均値(A領域のHSV平均値)を算出する。更に、推定部234は、ピクセルフォーマットの変換を行うことにより、A領域のHSV平均値をA領域のRGB平均値に変換する(ステップS305)。
When the average value of saturation S is S> 10 and the average value of brightness V is> 10 in the A region and the B region (step S303; YES), the
更に、推定部234は、マーカ候補の領域の全画素についてA領域のRGB平均値を設定し、HSV平均値とRGB平均値とをメモリ205に記憶し、マーカ候補の領域を青であると推定する(ステップS306)。
Further, the
一方、A領域及びB領域においてS平均値>10、V平均値>10でない場合(ステップS303;NO)、推定部234は、マーカ候補の領域がマーカではないと推定する(ステップS307)。また、A領域及びB領域の何れかのマーカ候補の領域の画素数が全画素数の1/3以上でなく1/3未満である場合(ステップS302;NO)、図10の動作に移行する。
On the other hand, when the S average value> 10 and the V average value> 10 in the A region and the B region (step S303; NO), the
ステップS308の後、図10の動作に移行し、推定部234は、図8のステップS201において取得した、マーカ候補の領域についてのHSV平均値に含まれるH平均値について、180<H平均値<255であるか否かを判定する(ステップS401)。
After step S308, the operation proceeds to FIG. 10, and the
180<H平均値<255である場合(ステップS401;YES)、推定部234は、マーカ候補の領域のS平均値、V平均値について、S平均値>10、V平均値>10であるか否かを判定する(ステップS402)。
When 180 <H mean value <255 (step S401; YES), whether the
S平均値>10、V平均値>10である場合(ステップS402;YES)、次に、推定部234は、マーカ候補の領域について、ピクセルフォーマットの変換を行うことにより、HSV平均値をRGB平均値に変換する。更に、推定部234は、マーカ候補の領域の全画素に、RGB平均値を設定し、HSV平均値とRGB平均値とをメモリ205に記憶し、マーカ候補の領域を青であると推定する(ステップS404)。
When the S average value> 10 and the V average value> 10 (step S402; YES), the
一方、S平均値>10、V平均値>10でない場合(ステップS402;NO)、推定部234は、マーカ候補の領域がマーカではないと推定する(ステップS405)。また、180<H平均値<255でない場合(ステップS401;NO)、図11の動作に移行する。
On the other hand, when the S average value> 10 and the V average value> 10 are not (step S402; NO), the
推定部234は、図8のステップS201において取得した、マーカ候補の領域についてのHSV平均値に含まれるH平均値について、105<H平均値≦180であるか否かを判定する(ステップS501)。
The
105<H平均値≦180である場合(ステップS501;YES)、推定部234は、マーカ候補の領域のS平均値、V平均値について、S平均値>10、V平均値>10であるか否かを判定する(ステップS502)。
When 105 <H mean value ≤ 180 (step S501; YES), whether the
S平均値>10、V平均値>10である場合(ステップS502;YES)、次に、推定部234は、マーカ候補の領域について、ピクセルフォーマットの変換を行うことにより、HSV平均値をRGB平均値に変換する。更に、推定部234は、マーカ候補の領域の全画素に、RGB平均値を設定し、HSV平均値とRGB平均値とをメモリ205に記憶し、マーカ候補の領域を緑であると推定する(ステップS504)。
When the S average value> 10 and the V average value> 10 (step S502; YES), the
一方、105<H平均値≦180でない場合(ステップS501;NO)、又は、S平均値>10、V平均値>10でない場合(ステップS502;NO)、推定部234は、マーカ候補の領域がマーカではないと推定する(ステップS505)。
On the other hand, when 105 <H mean value ≤ 180 (step S501; NO), or when S mean value> 10 and V mean value> 10 (step S502; NO), the
このように本実施形態では、移動機器100は、自身のID等に応じて、マーカであるLED102を発光させる。一方、サーバ200は、受光面におけるマーカの領域の位置を検出し、そのマーカの領域の色を推定し、更に推定したマーカの領域の色の変化に基づいて、復号部236にて、移動機器100のID等の情報に復号する。
As described above, in the present embodiment, the
但し、受光面におけるマーカの領域がカラーフィルタにおける所定の範囲(例えば赤フィルタ302、緑フィルタ304、青フィルタ306の各フィルタ)よりも小さい場合には、そのままではマーカの領域の色を正しく推定することができない場合がある。この場合、本実施形態では、サーバ200は、通常の色推定の処理とは異なり、カラーフィルタのベイヤー配列を考慮して、マーカ候補の領域の画素の色相H、彩度S、明度Vの平均値であるHSV平均値を用いて、マーカ候補の領域の色を推定する。更に、サーバ200は、HSV平均値を適宜修正するとともに、ピクセルフォーマットの変換を行うことにより、HSV平均値をRGB平均値に変換し、そのRGB平均値をマーカの領域の全画素に設定する。これにより、マーカの領域のサイズに左右されずに正しい色を推定することができる。
However, if the marker area on the light receiving surface is smaller than the predetermined range of the color filter (for example, the
なお、本発明は、上記実施形態の説明及び図面によって限定されるものではなく、上記実施形態及び図面に適宜変更等を加えることは可能である。 The present invention is not limited to the description and drawings of the above-described embodiment, and it is possible to appropriately modify the above-described embodiments and drawings.
例えば、上述した実施形態では、図9に示すように、マーカ候補の領域に180<H<255となるA領域と105<H≦180となるB領域のそれぞれが1/3以上存在する場合、マーカ候補の領域は青であると推定された。しかし、これに限定されず、受光素子状のカラーフィルタの特性やホワイトバランス等の処理によっては、緑と判定したり、青及び緑以外と判定するようにしてもよい。 For example, in the above-described embodiment, as shown in FIG. 9, when each of the A region where 180 <H <255 and the B region where 105 <H ≦ 180 exists in the marker candidate region by 1/3 or more. The area of marker candidates was estimated to be blue. However, the present invention is not limited to this, and depending on the characteristics of the color filter of the light receiving element and the processing such as white balance, it may be determined to be green or may be determined to be other than blue and green.
例えば、上述した実施形態では、移動機器100による送信対象の情報は、当該移動機器100のIDであったが、これに限定されず、移動機器100の位置情報や移動機器100に生じた障害等の情報であってもよい。
For example, in the above-described embodiment, the information to be transmitted by the
また、上述した実施形態では、可視光である赤、緑、青の光を通信に用いる場合について説明したが、他の色の可視光を用いてもよい。また、発光は色相や輝度が時間的に変化するものに限定されず、彩度が時間的に変化するものであってもよい。 Further, in the above-described embodiment, the case where visible light of red, green, and blue is used for communication has been described, but visible light of other colors may be used. Further, the light emission is not limited to those whose hue and brightness change with time, and may be those whose saturation changes with time.
また、移動機器100内の光源はLEDに限定されない。例えば、表示装置を構成するLCD、PDP、ELディスプレイ等の一部に光源が構成されていてもよい。
Further, the light source in the
また、サーバ200は、撮影部が設けられて撮影が可能であれば、どのような装置でもよい。
Further, the
また、上記実施形態において、実行されるプログラムは、フレキシブルディスク、CD−ROM(Compact Disc Read - Only Memory)、DVD(Digital Versatile Disc)、MO(Magneto - Optical disc)等のコンピュータで読み取り可能な記録媒体に格納して配布し、そのプログラムをインストールすることにより、上述の処理を実行するシステムを構成することとしてもよい。 Further, in the above embodiment, the program to be executed is a computer-readable recording such as a flexible disc, a CD-ROM (Compact Disc Read-Only Memory), a DVD (Digital Versatile Disc), or an MO (Magneto-Optical disc). A system that executes the above-mentioned processing may be configured by storing the program in a medium, distributing the program, and installing the program.
また、プログラムをインターネット等のネットワーク上の所定のサーバが有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、ダウンロード等するようにしてもよい。 Further, the program may be stored in a disk device or the like of a predetermined server on a network such as the Internet, and may be superimposed on a carrier wave and downloaded.
なお、上述の機能を、OS(Operating System)が分担して実現する場合又はOSとアプリケーションとの協働により実現する場合等には、OS以外の部分のみを媒体に格納して配布してもよく、また、ダウンロード等してもよい。 If the above functions are shared by the OS (Operating System) or realized by collaboration between the OS and the application, only the parts other than the OS may be stored in the medium and distributed. Well, you may also download it.
以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。 Although the preferred embodiment of the present invention has been described above, the present invention is not limited to the specific embodiment, and the present invention includes the invention described in the claims and the equivalent range thereof. Is done. Hereinafter, the inventions described in the claims of the original application of the present application will be added.
(付記1)
受光した位置から受光した光が属する色が特定される複数の受光素子が配列された受光手段と、
前記受光した受光素子の位置が、前記受光した光の属する色の特定が可能な位置以外である場合、前記受光した光の明るさに基づいて前記光が属する色を推定する推定手段と、
を備えることを特徴とする色推定装置。
(Appendix 1)
A light receiving means in which a plurality of light receiving elements for which the color to which the received light belongs is specified from the light receiving position are arranged, and
When the position of the received light receiving element is other than the position where the color to which the received light belongs can be specified, the estimation means for estimating the color to which the light belongs based on the brightness of the received light, and the estimation means.
A color estimation device characterized by comprising.
(付記2)
前記推定手段による推定後の前記受光した受光素子の位置にある光の明るさを更に明るくするよう補正することで、前記受光素子の位置にある光が属する色の特定が容易になるように制御する制御手段を更に備えることを特徴とする付記1に記載の色推定装置。
(Appendix 2)
By correcting the brightness of the light at the position of the received light receiving element after the estimation by the estimation means to be further brightened, it is controlled so that the color to which the light at the position of the light receiving element belongs can be easily specified. The color estimation device according to Appendix 1, further comprising a control means for the device.
(付記3)
前記光の属する色の特定が可能な位置以外である場合とは、前記受光した受光素子が複数で且つ隣り合う位置である場合を含むことを特徴とする付記1又は2に記載の色推定装置。
(Appendix 3)
The color estimation device according to Appendix 1 or 2, wherein the case other than the position where the color to which the light belongs can be specified includes the case where the received light receiving elements are at a plurality of positions adjacent to each other. ..
(付記4)
前記受光した受光素子が複数で且つ隣り合う位置である場合、前記推定手段は前記光の属する色には複数の色が含まれるものと判断し、更に、色相環をパラメータに含む色空間の情報に基づいて前記光が属する色を推定することを特徴とする付記3に記載の色推定装置。
(Appendix 4)
When there are a plurality of light receiving elements received and the positions are adjacent to each other, the estimation means determines that the color to which the light belongs includes a plurality of colors, and further, information on a color space including a hue circle as a parameter. The color estimation device according to Appendix 3, wherein the color to which the light belongs is estimated based on the above.
(付記5)
前記配列された複数の受光素子の各位置に対応するように、三原色の各色に対応する波長帯域の光を透過する透過部材が規則的に配列されたカラーフィルタを更に備え、
前記透過部材が透過する光の波長帯域の種類に基づいて、前記光が属する色が特定されることを特徴とする付記1乃至4の何れか1つに記載の色推定装置。
(Appendix 5)
Further provided with a color filter in which transmission members that transmit light in the wavelength band corresponding to each of the three primary colors are regularly arranged so as to correspond to each position of the plurality of light receiving elements arranged.
The color estimation device according to any one of Supplementary note 1 to 4, wherein the color to which the light belongs is specified based on the type of the wavelength band of the light transmitted by the transmitting member.
(付記6)
前記推定手段によって推定された色から、情報を色に変調して通信を行う通信システムで用いられる情報へ復号する復号手段を更に備えることを特徴とする付記1乃至5の何れか1つに記載の色推定装置。
(Appendix 6)
The description according to any one of Supplementary note 1 to 5, further comprising a decoding means for decoding the color estimated by the estimation means into information used in a communication system that modulates the information into a color and performs communication. Color estimator.
(付記7)
受光した位置から受光した光が属する色が特定される複数の配列された受光素子により受光する受光ステップと、
前記受光ステップにおいて受光した受光素子の位置が、前記受光した光の属する色の特定が可能な位置以外である場合、前記受光した光の明るさに基づいて前記光が属する色を推定する推定ステップと、
を含むことを特徴とする色推定方法。
(Appendix 7)
A light receiving step in which light is received by a plurality of arranged light receiving elements in which the color to which the received light belongs is specified from the light receiving position.
When the position of the light receiving element received in the light receiving step is other than the position where the color to which the received light belongs can be specified, the estimation step of estimating the color to which the light belongs based on the brightness of the received light. When,
A color estimation method characterized by including.
(付記8)
コンピュータを、
受光した位置から受光した光が属する色が特定される複数の受光素子が配列された受光手段、
前記受光した受光素子の位置が、前記受光した光の属する色の特定が可能な位置以外である場合、前記受光した光の明るさに基づいて前記光が属する色を推定する推定手段、
として機能させることを特徴とするプログラム。
(Appendix 8)
Computer,
A light receiving means in which a plurality of light receiving elements for which the color to which the received light belongs is specified from the light receiving position are arranged.
When the position of the received light receiving element is other than the position where the color to which the received light belongs can be specified, the estimation means for estimating the color to which the light belongs based on the brightness of the received light.
A program characterized by functioning as.
1…可視光通信システム、100、100a、100b、100c…移動機器、102、102a、102b、102c…LED、103、202…制御部、104、205…メモリ、108、208…通信部、112…駆動部、124…発光制御部、150…電池、200…サーバ、201…撮影部、203…レンズ、204…画像処理部、206…操作部、207…表示部、232…位置特定部、234…推定部、236…復号部、302…赤フィルタ、304…緑フィルタ、306…青フィルタ、310…マーカ候補の領域 1 ... Visible light communication system, 100, 100a, 100b, 100c ... Mobile device, 102, 102a, 102b, 102c ... LED, 103, 202 ... Control unit, 104, 205 ... Memory, 108, 208 ... Communication unit, 112 ... Drive unit, 124 ... Light emission control unit, 150 ... Battery, 200 ... Server, 201 ... Imaging unit, 203 ... Lens, 204 ... Image processing unit, 206 ... Operation unit, 207 ... Display unit, 232 ... Position identification unit, 234 ... Estimating unit, 236 ... Decoding unit, 302 ... Red filter, 304 ... Green filter, 306 ... Blue filter, 310 ... Marker candidate area
Claims (8)
前記受光した受光素子の位置が、前記受光した光の属する色の特定が可能な位置以外である場合、前記受光した光の明るさに基づいて前記光が属する色を推定する推定手段と、
を備えることを特徴とする色推定装置。 A light receiving means in which a plurality of light receiving elements for which the color to which the received light belongs is specified from the light receiving position are arranged, and
When the position of the received light receiving element is other than the position where the color to which the received light belongs can be specified, the estimation means for estimating the color to which the light belongs based on the brightness of the received light, and the estimation means.
A color estimation device characterized by comprising.
前記透過部材が透過する光の波長帯域の種類に基づいて、前記光が属する色が特定されることを特徴とする請求項1乃至4の何れか1項に記載の色推定装置。 Further provided with a color filter in which transmission members that transmit light in the wavelength band corresponding to each of the three primary colors are regularly arranged so as to correspond to each position of the plurality of light receiving elements arranged.
The color estimation device according to any one of claims 1 to 4, wherein the color to which the light belongs is specified based on the type of the wavelength band of the light transmitted by the transmitting member.
前記受光ステップにおいて受光した受光素子の位置が、前記受光した光の属する色の特定が可能な位置以外である場合、前記受光した光の明るさに基づいて前記光が属する色を推定する推定ステップと、
を含むことを特徴とする色推定方法。 A light receiving step in which light is received by a plurality of arranged light receiving elements in which the color to which the received light belongs is specified from the light receiving position.
When the position of the light receiving element received in the light receiving step is other than the position where the color to which the received light belongs can be specified, the estimation step of estimating the color to which the light belongs based on the brightness of the received light. When,
A color estimation method characterized by including.
受光した位置から受光した光が属する色が特定される複数の受光素子が配列された受光手段、
前記受光した受光素子の位置が、前記受光した光の属する色の特定が可能な位置以外である場合、前記受光した光の明るさに基づいて前記光が属する色を推定する推定手段、
として機能させることを特徴とするプログラム。 Computer,
A light receiving means in which a plurality of light receiving elements for which the color to which the received light belongs is specified from the light receiving position are arranged.
When the position of the received light receiving element is other than the position where the color to which the received light belongs can be specified, the estimation means for estimating the color to which the light belongs based on the brightness of the received light.
A program characterized by functioning as.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202080053411.0A CN114175613A (en) | 2019-07-29 | 2020-07-27 | Color estimation device, color estimation method, and program |
PCT/JP2020/028749 WO2021020355A1 (en) | 2019-07-29 | 2020-07-27 | Color estimation device, color estimation method, and program |
US17/630,800 US20220277487A1 (en) | 2019-07-29 | 2020-07-27 | Color estimation device, color estimation method, and program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019138469 | 2019-07-29 | ||
JP2019138469 | 2019-07-29 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021022916A true JP2021022916A (en) | 2021-02-18 |
JP2021022916A5 JP2021022916A5 (en) | 2023-03-08 |
JP7472541B2 JP7472541B2 (en) | 2024-04-23 |
Family
ID=74573845
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020032572A Active JP7472541B2 (en) | 2019-07-29 | 2020-02-28 | COLOR ESTIMATION DEVICE, COLOR ESTIMATION METHOD, AND PROGRAM |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7472541B2 (en) |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5183880B2 (en) | 2006-03-14 | 2013-04-17 | ソニー株式会社 | Color filter and image sensor |
-
2020
- 2020-02-28 JP JP2020032572A patent/JP7472541B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP7472541B2 (en) | 2024-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101489051B (en) | Image processing apparatus and image processing method and image capturing apparatus | |
JP2004173010A (en) | Image pickup device, image processor, image recorder, image processing method, program and recording medium | |
WO2021020355A1 (en) | Color estimation device, color estimation method, and program | |
US10951313B2 (en) | Transmitting device, transmission method, and recording medium | |
US9729794B2 (en) | Display device, display control method, and non-transitory recording medium | |
CN108668089B (en) | Information processing apparatus, information processing method, and recording medium | |
JP2021022916A (en) | Color estimation device, color estimation method, and program | |
US20190149790A1 (en) | Illumination apparatus and method of controlling illumination apparatus | |
JP2020047186A (en) | Image processing apparatus and program | |
US10264228B2 (en) | Decoding apparatus, decoding method, and non-transitory recording medium | |
JP2018113600A (en) | Light emitting device, imaging device, information transmission system, information transmission method, and program | |
US9979474B2 (en) | Information transmission system, symbol stream generating apparatus, symbol stream decoding apparatus, symbol stream generating method, symbol stream decoding method and storage medium | |
JP2019109174A (en) | Position calculation system, position calculation device, position calculation method, and program | |
JP7052775B2 (en) | Position acquisition device, position acquisition method and program | |
CN107846252B (en) | Notification device, notification method, and recording medium | |
JP2018121169A (en) | Light-emitting device, photoreceiver, information processing system, information processing method and program | |
JP2005217618A (en) | Image processing method, image processing apparatus, and image processing program | |
JPWO2011111191A1 (en) | Image decoding apparatus, image decoding method, and computer program for image decoding | |
JP2020095005A (en) | Position information acquisition system, position information acquisition device, position information acquisition method, and program | |
JP7070530B2 (en) | Information acquisition device, information acquisition method and program | |
JP2010103820A (en) | Image processing apparatus and method, and program | |
JP2018191117A (en) | Information processing apparatus, information processing method and program | |
US11483527B2 (en) | Method of operation of a control device configured to control a plurality of projectors and control device | |
JP7024186B2 (en) | Display devices, information processing systems, information processing methods and programs | |
CN112567719B (en) | Electronic device, image correction method, and non-transitory computer-readable storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230228 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230228 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240312 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240325 |