JP2017512401A - 符号化光 - Google Patents
符号化光 Download PDFInfo
- Publication number
- JP2017512401A JP2017512401A JP2016551237A JP2016551237A JP2017512401A JP 2017512401 A JP2017512401 A JP 2017512401A JP 2016551237 A JP2016551237 A JP 2016551237A JP 2016551237 A JP2016551237 A JP 2016551237A JP 2017512401 A JP2017512401 A JP 2017512401A
- Authority
- JP
- Japan
- Prior art keywords
- message
- frame
- lines
- camera
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003287 optical effect Effects 0.000 claims abstract description 61
- 238000005096 rolling process Methods 0.000 claims abstract description 59
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000000034 method Methods 0.000 claims description 41
- 238000004590 computer program Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 description 32
- 230000008569 process Effects 0.000 description 19
- 230000000694 effects Effects 0.000 description 17
- 230000003595 spectral effect Effects 0.000 description 16
- 238000001914 filtration Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000013459 approach Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 238000009795 derivation Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000011664 signaling Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000036316 preload Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 230000005059 dormancy Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 231100000614 poison Toxicity 0.000 description 1
- 230000007096 poisonous effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
- H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
- H04B10/114—Indoor or close-range type systems
- H04B10/116—Visible light communication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
- H04B10/60—Receivers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Optical Communication System (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
- Circuit Arrangement For Electric Light Sources In General (AREA)
Abstract
Description
(i)送信機によってメッセージが周期的に繰り返される信号フォーマットの使用、及び
(ii)受信機において、各フレームで取得された部分的スナップショットから完全なメッセージを復元するために、メッセージの繰り返し時間(Tm)の知識及びフレーム持続時間(Tframe)の知識を利用することを含む。このために、本開示は、複数のフレームからデータを集め、集められたデータを再組立てする方法を提供する。
以下、「フットプリント」より長いメッセージ、及び多数のフレームにわたる持続時間を有するメッセージでさえ取り込み復号できるよう、複数のビデオフレームの情報の信頼できる結合を可能にするメッセージフォーマットを説明する。また、当該信号フォーマットは、受信機におけるカメラによって引き起こされたISIをキャンセルする非同期(ウィーナーと類似する)等化を可能にする。さらに、メッセージの周波数成分は、例えば18Hzの繰り返し周波数(非常に繊細なフリッカー周波数)を有するメッセージ長の場合であっても、視認可能なちらつき又はストロボ効果が無いようなものであり得る。
(i)送信機によってメッセージが周期的に(何度も)繰り返され、もって連続するビデオフレームからの、それぞれが部分的受信メッセージを含むフットプリントを(時間的に)再結合して完全な受信メッセージを取得することを可能にし、メッセージサイズは、周期的繰り返しによって最終的にメッセージ全体が復元され得るよう選択され得る、信号フォーマットの使用、
(ii)制御不能なカメラの露出時間設定に起因する重度なISIの存在下でイコライザーがオリジナルの送信波形を復元することを可能にするために、パケット間休止期間によって分離された比較的短いパケット(例えば、9ビット)を有するメッセージ、及び
(iii)低周波数成分の抑制をもたらし、よって低符号周波数におけるちらつきを排除する、DCフリー変調符号としての3値マンチェスタ(TM)の形式の使用、を含む。
− 相対的フットプリントα=Tfootprint/Tf=0.4
− 0<α≦1、(隠れたラインのため、実際には例えば0<α≦0.88)
TmがTfに近い場合、メッセージはほとんどローリングしない(各フレームは実質的にメッセージの同じ部分を見る)。しかし、TmがTfの約1.5倍の場合、メッセージは「スイッチ」し、1つ置きのフレームがメッセージの互い違いの部分を見るが、一部は繰り返し見過ごされる。
ちらつきを生じ得る低周波数成分の抑制のため、低ビットレートに関して好ましい変調符号は3値マンチェスタ(TM)である。低ビットレートは、2つの理由、すなわち(i)LED光源のドライバの制限された許容可能な複雑性及び最小要求効率のため、及び/又は(ii)露出時間が非常に長い場合に復元可能なシグナリング速度を得るために、避けられない可能性がある。
次に、パケット長について、パケット長は、最悪のケースの露出時間のもと、最悪のケースのデータパターンであっても復元可能であるよう選択されることが好ましい。
光源からカメラ受信機に有用な量の情報を送信するために、それぞれが独自のビット内容を有するp個のパケットの連結からなるメッセージが構築される。各パケットの間には、異なるパケット間のISIクロストークを防止するために、少なくともパケット間休止期間(IPIP)が存在する。メッセージの末尾には、余分にメッセージ間休止期間(IMIP)が存在する。p個のパケットからなるメッセージが周期的に繰り返される。
パケット間休止期間(IPIP)の目的は、カメラの露出時間(Texp)によって引き起こされる単一のパケットへのISIを制限することである。好適な実施形態では、IPIPの持続時間は、最大予測露出時間Texp_maxと等しい。これはTexp ≦ IPIP = Texp_maxである全てのTexpに関してメッセージの復元を可能にするので、ユニバーサルIPIPフォーマットを提供し得る。
メッセージ間休止期間(IMIP)は、メッセージの最後のパケットの後に続く最後のIPIPの後に付される休止期間である。IMIPはTM符号を単位とし得る。
(i)所与のフレームレートに対して、合計メッセージ持続時間が良好な「ローリング特性」を満たすこと、すなわち、連続フレームのフットプリントが可能な限り速く完全なメッセージを明らかにすることを確保すること、及び/又は
(ii)IMIPの第2の目的は、メッセージの周期的な繰り返し内のパケット及び休止期間のパターンに非対称性を与えることである。この特性は、受信機の周期的同期において利用され得る。
同期のために、信号フォーマットの2つの要素が重要な働きをする。
(i)各9ビットパケットの最初のビットの同期ビットとしての使用。好適な実施形態では、メッセージの最初のパケットの最初のビットは1であり、全ての残りのパケットの最初のビットは0である。
(ii)メッセージ間休止期間(IMIP)の使用。メッセージの最後のパケット後の合計休止時間は他のパケット間の休止時間より長いため、非ゼロIMIPの存在は、繰り返しメッセージ内の規則的な時間的パケット構造を破壊する。
上記の全ての考察に基づき、いくつかのパラメータの選択例を記す。
− fsymbol≧1kHz(ちらつき及びストロボ)、
− 想定されるパケット持続時間:
− fsymbol〜1kHz の場合、約52ms(≧49ms)、
− fsymbol〜2kHz の場合、約26ms(≧24.5ms)、
− fsymbol〜4kHzの場合、約13ms(≧12.25ms)、
− メッセージ持続時間Tmはパケット持続時間の整数倍、及び/又は
− 興味深いメッセージ持続時間:約26、52、104ms。
例えば、
− 露出時間は(1/30)s以下、シンボルレートは1kHz、パケットはパケット間休止期間を含め52ms;
− 露出時間は(1/60)s以下、シンボルレートは2kHz、パケットはパケット間休止期間を含め26ms;
− 露出時間は(1/120)s以下、シンボルレートは4kHz、パケットはパケット間休止期間を含め13ms。
− 158msの持続時間を有する3パケットフォーマット(CRC有り)@1kHzシンボルレート;158msは、33符号のIPIP及び2符号のIMIPを有する3バイトメッセージに対応する、又は
− 70符号〜35msのパケット長@2kHz;35msは、3符号のIPIP及び4符号のIMIPを有する3バイトメッセージに対応する(例えば、このフォーマットは、T_expが(1/500)s未満になるよう制御される場合に使用され得る)。
好適な実施形態では、メッセージはいくつかのパケットから構成され、各バケットが1バイトの情報を含む。CRCが使用される場合、各メッセージの最後のバイトが8ビットCRCであることが提案される。周期的に繰り返される信号フォーマットを復号する受信機によって繰り返し復号の結果が送られるため、送信メッセージの多数の具現化が取得され得る。これは、連続して復号された同じメッセージのバリエーションの復号結果を比較することにより、受信メッセージの信頼性を高めることを可能にする。
発明者は、異なるメッセージmiの連結が送信され得ることを発見した。ここで、各メッセージmiはN回繰り返され、Nは、カメラ受信機が送信光源のフットプリントに基づき完全なメッセージmiを確実に復元し得るのに十分な数である。同じメッセージmiがN回繰り返された後、光源は、単に、例えばmiの直後にメッセージmi+1のN回の繰り返しを連結することにより、同じ信号パラメータを有する全く異なるメッセージmi+1を送信することができる。受信機は、CRCを確認することにより、密着して復元されたメッセージを認識することができる。
次に、カメラが符号化光メッセージを復元するためのビデオフレームの再組立て又は「縫合」プロセスについて説明する。受信機は、上記のようにフォーマット化された信号を受信し、メッセージの部分を完全なメッセージに再組立てし、その後それをさらなる処理に供する。
(i)上記のように、フレーム毎に画像ライン毎のサンプルを確立する(図2のライン18から取得されたサンプル19を再度参照されたい)。
(ii)所与のフレームの全ての(有効な)サンプルを時系列にまとめる(それぞれが、当該ラインからのサンプルがフレーム内に配置された時間に配置される)。このシーケンスは、フレーム毎の「マージナル信号」又は「フレーム信号」を形成する。
(iii)次に、この信号をゼロで拡張し、「拡張マージナル信号」又は「拡張フレーム信号」とする。各拡張信号の持続時間はメッセージ持続時間のn倍(nは整数)であり、また、フレーム持続時間より長い。
(iv)次に、有効サンプルがタイムアライメントされ、すなわち、拡張信号によって定められる時間フレーム又はスケール内で、サンプルがライン毎にTframeだけ右側にシフトされる。これは循環的に、すなわちラップアラウンド方式で行われ、拡張フレーム信号の長さの末尾を越えるとラップアラウンドされる。このようにすることで、拡張フレームワーク内のサンプルのシフトされた位置は、再組立てを援助するものになる。
(v)次に、サンプルが折り畳まれる(すなわち、再組立てされる)。一部の実施形態では、1つの単位さらにシフトさせることにより、異なる復元結果が見つけられ得る。
(i)符号化光信号を抽出するための適切な色(R、G、又はB)又は色の線形結合の選択;
(ii)ブロブアプローチを用いて画像をセグメント化し、符号化光源を含む画像内の領域を効率的に特定する;
(iii)各ブロブ内の空間フィルタ「有効画素」を特定;
(iv)マージナルを用いた効率的な動き補正(光源毎に独立に);及び/又は
(v)ライン毎に有効画素を結合することによる信号「マージナル」の計算(図2の各ライン18に由来するサンプル19の計算)。
(i)送信クロックを推定するためにフレーム内の相関性を利用(最もうまくいくのはフットプリント>>メッセージ持続時間);
(ii)送信機によってメッセージが周期的に繰り返される上記信号フォーマットの使用を仮定し、各フレームで取得された部分的スナップショットから完全なメッセージを復元するために、メッセージの繰り返し時間(Tm)の知識及びfps(Tframe)の知識を利用する(後により詳細に説明される再組立てプロセス);
(iii)送信クロックを推定するために連続する復元された信号間の相関性を利用;
(iv)Texpに起因するISIを軽減するために、メッセージの単一の周期にロバストウィーナーフィルタリングを適用;
(v)再組立てプロセスの結果、復元に穴が残っている場合、ロバストウィーナー補間を適用;
(vi)同期テンプレートを用いた処理によるグローバル循環同期の発見;
(vii)グローバル循環同期によって与えられる最適サンプリングポイントを決定することによってビットを復号する;及び/又は
(viii)連続する復元メッセージ上のCRCをチェックする。nの連続復元メッセージ中、mがCRC=OKの場合、メッセージ受信。
(i)m×Tmのストレッチ持続時間が得られるよう(mは適宜選択された整数)、各フレームのストレッチ、すなわち図13の有効サンプル周辺の(例えば、その後に伸びる)時間領域を定める。有効サンプルの外部では、常にゼロを加え又は除去できることに留意されたい。
(ii)num_periods = ceiling( Tframe /(m*Tm) )を計算する。「ceiling」は最も近い整数への切り上げを意味する。
(iii)フレーム毎に、合計持続時間が少なくともTframeである「拡張マージナル信号」が得られるよう、各ストレッチをnum_periods回、周期的に繰り返す。拡張マージナル信号は、常にTframeより長い持続時間を有し、また、Tmの整数倍であることに留意されたい。
− 相対的フットプリントα=Tfootprint/Tf=0.4
− 0<α≦1、(隠れたラインのため、実際には例えば0<α≦0.88)
Tg=(T0−k0Tframeα)/k0=(T0−m0T0α)/k0=T0(1−m0α)/k0
− ΔT=m0|Tm−T0| [ms]
− 完全なメッセージをカバーするには、〜1+Tg/ΔTラウンドが必要
− 1+Tg/ΔTラウンドは、Nf=(1+Tg/ΔT)k0フレームに対応する
次に、一部の実施形態では、上記実装形態が著しく優れたパフォーマンスを有することを可能にし、また、デバイスがはるかに幅広いカメラに対応することを可能にする、デコーダの他の部分について説明する。
− 最良の結果が得られるまでターゲット応答を変化させることを試みる反復法(時間がかかる方法)、又は
− 最悪のケースのH(f)の特定を試み、これに対してウィーナーフィルタを最適化するミニマックス法。
Claims (17)
- 各フレームの複数のラインを順に露出することによって所与のフレームレートで所与の持続時間のフレームを取り込むローリングシャッターカメラから、符号化光信号を含む信号を受信するための入力と、
前記複数のラインのうちの一部のラインのそれぞれから前記符号化光信号のサンプルを前記入力を介して取得する、前記入力に接続された信号処理モジュールと
を含むデバイスであって、
前記一部のラインはある持続時間露出され、前記一部のラインの数は、各フレームにおいて前記カメラによって露出される前記複数のラインの数よりも著しく小さく、
前記符号化光信号は、前記一部のラインが露出される前記持続時間よりも長い持続時間を有するメッセージを含み、前記メッセージは、複数の異なるフレームのそれぞれにおいて前記カメラによって前記メッセージの異なる部分が見られるようなタイミングで複数回繰り返し受信され、
前記信号処理モジュールは、前記複数の異なるフレームからの前記メッセージの異なる部分のタイムアライメントを行い、当該タイムアライメントされた部分から前記メッセージを再組立てする、デバイス。 - 前記メッセージ全体は、前記複数のフレームにかけて見られる、請求項1に記載のデバイス。
- 前記メッセージは、1フレームよりも長い持続時間を有する、請求項1又は2に記載のデバイス。
- 前記信号処理モジュールは、前記フレーム持続時間及び前記メッセージ持続時間に基づき前記タイムアライメントを実行する、請求項1乃至3のいずれか一項に記載のデバイス。
- 前記信号処理モジュールは、前記タイムアライメントを、
前記メッセージの長さの整数倍であるタイミング基準期間を決定し、
各連続フレーム内で受信された前記メッセージの部分を、先行フレームに対してフレーム長だけオフセットし、前記タイミング基準期間の末尾を越えた部分は前記タイミング基準期間の先頭にラップアラウンドさせることによって実行する、請求項4に記載のデバイス。 - 各フレームは有効ライン及び無効ラインを含み、前記複数のラインは前記有効ラインであり、前記信号処理モジュールは、前記一部のラインを含む各フレームの前記複数の有効ラインのそれぞれからサンプルを取得し、これにより、前記フレーム持続時間を有するフレーム信号を生成し、前記オフセットは、前記タイミング基準期間の持続時間を有するよう、各フレーム信号を拡張することによって行われる、請求項5に記載のデバイス。
- 前記拡張は、ゼロを加えることによって実行される、請求項6に記載のデバイス。
- 前記信号処理モジュールは、1つ又は複数のスキップされたフレームを破棄する、請求項1乃至7のいずれか一項に記載のデバイス。
- 前記信号処理モジュールは、それぞれが前記メッセージの部分の異なる部分集合に基づく前記メッセージの複数の再組立てされたバージョンを生成し、前記メッセージの前記複数のバージョン間の相関に基づき、前記デバイスのクロックと前記符号化光信号のクロッキングとの間の同期を行う、請求項1乃至8のいずれか一項に記載のデバイス。
- 各サンプルは、対応するラインの画素値を結合することによって取得される、請求項1乃至9のいずれか一項に記載のデバイス。
- 前記一部のラインは、各フレームのラインの14%以下である、請求項1乃至10のいずれか一項に記載のデバイス。
- 前記メッセージの各部分は、前記メッセージの3%以下である、請求項1乃至11のいずれか一項に記載のデバイス。
- 前記サンプルが取得される前記一部のラインは、1つ又は複数の露出過度の画素を含むラインを除外する、請求項1乃至12のいずれか一項に記載のデバイス。
- 請求項1乃至13のいずれか一項に記載のデバイスと、前記カメラとを含む、受信機。
- 請求項14に記載の受信機と、光源とを含むシステムであって、前記カメラは、各フレームにおいて前記カメラによって露出されるよりも著しく小さい数のラインから前記サンプルが取得され、前記メッセージが前記数のラインよりも長くなるよう、前記光源に対して配置される、システム。
- 各フレームの複数のラインを順に露出することによってフレームを取得するローリングシャッターカメラから、符号化光信号を含む信号を受信するステップと、
前記複数のラインのうちの一部のラインのそれぞれから前記符号化光信号のサンプルを取得するステップと
を含む方法であって、
前記一部のラインはある持続時間露出され、前記一部のラインの数は、各フレームにおいて前記カメラによって露出される前記複数のラインの数よりも著しく小さく、
前記符号化光信号は、前記一部のラインが露出される前記持続時間よりも長い持続時間を有するメッセージを含み、前記メッセージは、複数の異なるフレームのそれぞれにおいて前記カメラによって前記メッセージの異なる部分が見られるようなタイミングで複数回繰り返され、
前記方法はさらに、前記複数の異なるフレームからの前記メッセージの異なる部分のタイムアライメントを行い、当該タイムアライメントされた部分から前記メッセージを再組立てするステップを含む、方法。 - コンピュータ記憶媒体上に具現化されたコンピュータプログラムであって、実行されたとき、
各フレームの複数のラインを順に露出することによってフレームを取得するローリングシャッターカメラから、符号化光信号を含む信号を受信する動作と、
前記複数のラインのうちの一部のラインのそれぞれから前記符号化光信号のサンプルを取得する動作と
を実行し、
前記一部のラインはある持続時間露出され、前記一部のラインの数は、各フレームにおいて前記カメラによって露出される前記複数のラインの数よりも著しく小さく、
前記符号化光信号は、前記一部のラインが露出される前記持続時間よりも長い持続時間を有するメッセージを含み、前記メッセージは、複数の異なるフレームのそれぞれにおいて前記カメラによって前記メッセージの異なる部分が見られるようなタイミングで複数回繰り返され、
前記コードはさらに、実行されたとき、前記複数の異なるフレームからの前記メッセージの異なる部分のタイムアライメントを行い、当該タイムアライメントされた部分から前記メッセージを再組立てする、コンピュータプログラム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP14155285 | 2014-02-14 | ||
EP14155269 | 2014-02-14 | ||
EP14155269.5 | 2014-02-14 | ||
EP14155285.1 | 2014-02-14 | ||
PCT/EP2015/052461 WO2015121155A1 (en) | 2014-02-14 | 2015-02-06 | Coded light |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017512401A true JP2017512401A (ja) | 2017-05-18 |
JP6198966B2 JP6198966B2 (ja) | 2017-09-20 |
Family
ID=52446358
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016551233A Expired - Fee Related JP6198965B2 (ja) | 2014-02-14 | 2015-01-27 | 符号化光 |
JP2016551237A Active JP6198966B2 (ja) | 2014-02-14 | 2015-02-06 | 符号化光 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016551233A Expired - Fee Related JP6198965B2 (ja) | 2014-02-14 | 2015-01-27 | 符号化光 |
Country Status (7)
Country | Link |
---|---|
US (2) | US10298326B2 (ja) |
EP (2) | EP3105867B1 (ja) |
JP (2) | JP6198965B2 (ja) |
CN (2) | CN106063154B (ja) |
ES (1) | ES2650071T3 (ja) |
RU (1) | RU2682427C2 (ja) |
WO (2) | WO2015121055A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018011133A (ja) * | 2016-07-11 | 2018-01-18 | 東芝ライテック株式会社 | 受信装置及びそのプログラムと、可視光通信システム |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10009099B2 (en) * | 2014-03-29 | 2018-06-26 | Intel Corporation | Techniques for communication with body-carried devices |
US10762388B2 (en) | 2015-04-22 | 2020-09-01 | Signify Holding B.V. | Lighting plan generator |
US20170139582A1 (en) * | 2015-11-13 | 2017-05-18 | General Electric Company | Method and system for controlling an illumination device and related lighting system |
TWI620420B (zh) * | 2016-12-02 | 2018-04-01 | 財團法人資訊工業策進會 | 可見光通訊系統及方法 |
EP3560113A1 (en) | 2016-12-22 | 2019-10-30 | Signify Holding B.V. | Detecting coded light |
CN110168964A (zh) * | 2017-01-16 | 2019-08-23 | 昕诺飞控股有限公司 | 检测编码光 |
WO2019048457A1 (en) | 2017-09-11 | 2019-03-14 | Signify Holding B.V. | CODED LIGHT DETECTION USING ROLLING SHUTTER CAMERAS |
EP3747186B1 (en) | 2018-01-29 | 2021-06-16 | Signify Holding B.V. | A device for image based services |
CN111684866A (zh) | 2018-02-16 | 2020-09-18 | 昕诺飞控股有限公司 | 用于编码光的发射和接收的设备和方法 |
JP6969506B2 (ja) * | 2018-06-20 | 2021-11-24 | 日本電信電話株式会社 | 光周波数多重型コヒーレントotdr、試験方法、信号処理装置、及びプログラム |
CN110121021A (zh) * | 2019-06-28 | 2019-08-13 | 四川极智朗润科技有限公司 | 一种适用于卷帘快门相机的光学快门系统及其成像方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013223047A (ja) * | 2012-04-13 | 2013-10-28 | Toshiba Corp | 伝送システム、送信装置および受信装置 |
JP5395293B1 (ja) * | 2012-05-24 | 2014-01-22 | パナソニック株式会社 | 情報通信方法および情報通信装置 |
JP2014131237A (ja) * | 2012-12-28 | 2014-07-10 | Hitachi Maxell Ltd | 光通信装置、光通信方法および肌撮像システム |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4612575A (en) * | 1984-07-24 | 1986-09-16 | E-Systems, Inc. | T.V. video image correction |
FR2714564B1 (fr) | 1993-12-28 | 1996-02-09 | Etat Francais Labo Cl Ponts Ch | Procédé de commande d'une source lumineuse, moyens pour la mise en Óoeuvre de ce procédé et dispositif équipé des dits moyens. |
IL110771A (en) * | 1994-08-25 | 1998-02-08 | Holon Holon Hanni | A priori and adaptive filtering for detection of signals corrupted by noise |
US7158668B2 (en) * | 2003-08-01 | 2007-01-02 | Microsoft Corporation | Image processing using linear light values and other image processing improvements |
JP2006270808A (ja) | 2005-03-25 | 2006-10-05 | Nec Corp | 移動体通信ネットワークシステム、携帯通信端末、認証装置及びこれらの駆動方法、駆動プログラム |
US7533819B2 (en) | 2007-01-31 | 2009-05-19 | Symbol Technologies, Inc. | Dual camera assembly for an imaging-based bar code reader |
US8275349B2 (en) | 2007-11-29 | 2012-09-25 | Rivada Networks, Llc | Method and system for providing tiered priority access to communication network resources |
US7978222B2 (en) * | 2008-03-01 | 2011-07-12 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Systems and methods for image stabilization |
JP5531483B2 (ja) | 2008-08-29 | 2014-06-25 | ソニー株式会社 | 撮像装置および映像記録再生システム |
EP2237557A1 (en) * | 2009-04-03 | 2010-10-06 | Panasonic Corporation | Coding for filter coefficients |
GB0912585D0 (en) * | 2009-07-20 | 2009-08-26 | Cambridge Silicon Radio Ltd | Interference cancellation |
US8374201B2 (en) | 2009-09-16 | 2013-02-12 | Samsung Electronics Co., Ltd. | Preamble design for supporting multiple topologies with visible light communication |
JP5424835B2 (ja) * | 2009-11-30 | 2014-02-26 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
CN102696280B (zh) | 2010-01-15 | 2016-07-06 | 皇家飞利浦电子股份有限公司 | 使用常规相机传感器针对可见光通信的数据检测 |
CN102726123B (zh) * | 2010-01-15 | 2015-02-18 | 皇家飞利浦电子股份有限公司 | 用于对局部化光贡献进行2d检测的方法和系统 |
US9356696B2 (en) | 2010-10-20 | 2016-05-31 | Koninklijke Philips N.V. | Modulation for coded light transmission |
EP2503852A1 (en) | 2011-03-22 | 2012-09-26 | Koninklijke Philips Electronics N.V. | Light detection system and method |
EP2748950B1 (en) | 2011-10-14 | 2018-11-28 | Philips Lighting Holding B.V. | Coded light detector |
JP2013152112A (ja) | 2012-01-24 | 2013-08-08 | Mitsubishi Electric Corp | 時間差方位探知装置 |
JP2013223043A (ja) * | 2012-04-13 | 2013-10-28 | Toshiba Corp | 受光装置および伝送システム |
US8861976B2 (en) * | 2012-06-29 | 2014-10-14 | Intel Corporation | Transmit and receive MIMO protocols for light array communications |
JP6111870B2 (ja) | 2013-05-31 | 2017-04-12 | セイコーエプソン株式会社 | 超音波測定装置、超音波画像装置及び超音波画像の処理方法 |
US9698908B2 (en) * | 2015-09-30 | 2017-07-04 | Osram Sylvania Inc. | Sub-sampling raster lines in rolling shutter mode for light-based communication |
-
2015
- 2015-01-27 JP JP2016551233A patent/JP6198965B2/ja not_active Expired - Fee Related
- 2015-01-27 WO PCT/EP2015/051533 patent/WO2015121055A1/en active Application Filing
- 2015-01-27 CN CN201580008534.1A patent/CN106063154B/zh not_active Expired - Fee Related
- 2015-01-27 EP EP15702427.4A patent/EP3105867B1/en not_active Not-in-force
- 2015-01-27 US US15/117,687 patent/US10298326B2/en not_active Expired - Fee Related
- 2015-02-06 WO PCT/EP2015/052461 patent/WO2015121155A1/en active Application Filing
- 2015-02-06 US US15/117,713 patent/US10313009B2/en active Active
- 2015-02-06 JP JP2016551237A patent/JP6198966B2/ja active Active
- 2015-02-06 RU RU2016136683A patent/RU2682427C2/ru active
- 2015-02-06 ES ES15702792.1T patent/ES2650071T3/es active Active
- 2015-02-06 EP EP15702792.1A patent/EP3105868B1/en active Active
- 2015-02-06 CN CN201580008565.7A patent/CN106063155B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013223047A (ja) * | 2012-04-13 | 2013-10-28 | Toshiba Corp | 伝送システム、送信装置および受信装置 |
JP5395293B1 (ja) * | 2012-05-24 | 2014-01-22 | パナソニック株式会社 | 情報通信方法および情報通信装置 |
JP2014131237A (ja) * | 2012-12-28 | 2014-07-10 | Hitachi Maxell Ltd | 光通信装置、光通信方法および肌撮像システム |
Non-Patent Citations (1)
Title |
---|
CHRISTOS DANAKIS 他: "Using a CMOS Camera Sensor for Visible Light Communication", 2012 IEEE GLOBECOM WORKSHOPS, JPN6017001974, 2012, pages 1244 - 1248, XP032341559, ISSN: 0003485478, DOI: 10.1109/GLOCOMW.2012.6477759 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018011133A (ja) * | 2016-07-11 | 2018-01-18 | 東芝ライテック株式会社 | 受信装置及びそのプログラムと、可視光通信システム |
Also Published As
Publication number | Publication date |
---|---|
US10313009B2 (en) | 2019-06-04 |
EP3105867A1 (en) | 2016-12-21 |
RU2016136683A3 (ja) | 2018-09-13 |
EP3105868B1 (en) | 2017-09-13 |
JP2017512400A (ja) | 2017-05-18 |
JP6198966B2 (ja) | 2017-09-20 |
JP6198965B2 (ja) | 2017-09-20 |
EP3105868A1 (en) | 2016-12-21 |
CN106063154B (zh) | 2019-10-25 |
US10298326B2 (en) | 2019-05-21 |
WO2015121155A1 (en) | 2015-08-20 |
US20160359559A1 (en) | 2016-12-08 |
RU2016136683A (ru) | 2018-03-19 |
RU2682427C2 (ru) | 2019-03-19 |
CN106063155B (zh) | 2019-10-25 |
EP3105867B1 (en) | 2017-10-11 |
CN106063155A (zh) | 2016-10-26 |
CN106063154A (zh) | 2016-10-26 |
US20160359561A1 (en) | 2016-12-08 |
WO2015121055A1 (en) | 2015-08-20 |
ES2650071T3 (es) | 2018-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6198966B2 (ja) | 符号化光 | |
JP6560687B2 (ja) | 符号化光 | |
EP3107225B1 (en) | Clock recovery for a coded light receiver | |
CN105704366B (zh) | 混合格式媒体传输系统和方法 | |
US20160359558A1 (en) | Signaling using idle period for coded light | |
JP3299396B2 (ja) | 直角位相映像搬送波にディジタル信号を有するntsctv信号処理装置 | |
JPH07274141A (ja) | ディジタル情報を伝送する装置及びディジタル信号受信器 | |
Nguyen et al. | Asynchronous scheme for unidirectional optical camera communications (OCC) | |
KR100983272B1 (ko) | Dtv 수신기에서의 반송파 복구 장치 | |
KR20170084708A (ko) | 디머블 다중 위상편이변조(m-psk) 기반 이미지 센서 통신 시스템 | |
TWI396444B (zh) | 調適產生時脈視窗的方法及解碼器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170428 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170724 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170822 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6198966 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |