JP2014131237A - 光通信装置、光通信方法および肌撮像システム - Google Patents

光通信装置、光通信方法および肌撮像システム Download PDF

Info

Publication number
JP2014131237A
JP2014131237A JP2012288861A JP2012288861A JP2014131237A JP 2014131237 A JP2014131237 A JP 2014131237A JP 2012288861 A JP2012288861 A JP 2012288861A JP 2012288861 A JP2012288861 A JP 2012288861A JP 2014131237 A JP2014131237 A JP 2014131237A
Authority
JP
Japan
Prior art keywords
light
pattern
image
dark
blinking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012288861A
Other languages
English (en)
Other versions
JP6059012B2 (ja
Inventor
Hiroyasu Otsubo
宏安 大坪
Akito Sakamoto
章人 酒本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Holdings Ltd
Original Assignee
Hitachi Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Maxell Ltd filed Critical Hitachi Maxell Ltd
Priority to JP2012288861A priority Critical patent/JP6059012B2/ja
Publication of JP2014131237A publication Critical patent/JP2014131237A/ja
Application granted granted Critical
Publication of JP6059012B2 publication Critical patent/JP6059012B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Lenses (AREA)
  • Optical Communication System (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

【課題】送信側のLED等の固体発光素子と受信側の撮像素子との間で光通信を行う光通信装置、光通信方法および肌撮像システムを提供する。
【解決手段】スマートフォン1のカメラ2にレンズモジュール10をセットして肌画像を撮影する。レンズモジュール10は、そのIDコードを、複数の順番が決められた点滅パターンに変換する。点滅パターンは、カメラ2の動画撮影時のフレームレートに対応して設定されている。レンズモジュール10のLED13の発光を制御するCPU16が、前記点滅パターンに従ってLED13の消灯と点滅を制御する。カメラ2は、LED13が点滅している状態で動画を撮像し、各フレーム毎の画像を得る。画像には、LED13の点滅に対応して画像の垂直方向に沿って高輝度(明)と低輝度(低)が繰り返す明暗パターンが得られる。この明暗パターンを上述のIDコードに変換する。
【選択図】図7

Description

本発明は、固体発光素子および撮像素子を用いた光通信装置、光通信方法および肌撮像システムに関する。
従来、カメラ付き携帯電話(スマートフォンを含む)や、カメラ付きタブレット型電子機器等の携帯型のカメラ付き携帯電子機器に、取り付けられるコンバージョンレンズが知られている(例えば、特許文献1参照)。
コンバージョンレンズを電子機器の側のレンズ(マスターレンズ)に取り付けることにより、携帯型電子機器のカメラのレンズが単焦点レンズであっても、焦点距離を広角側や望遠側に変えることができる。また、コンバージョンレンズとして接写機能(マクロ撮像機能)を有するレンズを用い、マクロ撮像を可能にする場合もある。
また、顔の肌を拡大撮像して肌の状態を分析するための肌用カメラが知られているが、例えば、携帯電話のカメラに肌用カメラとしての機能、例えば、被写体を拡大して接写する機能を付加するコンバージョンレンズも知られている。この場合に、例えば、撮像した肌の画像をメールやウェブサイトのサーバーへのアップロード等で肌の画像の分析を行う会社に送ることにより、肌の分析結果をメールで送り返してもらうようなことが容易に可能になる。
上述のようなコンバージョンレンズが取り付けられたスマートフォンから撮像された肌画像が所定のサーバー(例えば、化粧品関係のウェブサイトのサーバー)に送信された際に、その肌画像の分析結果を送り返すサービスを行う場合に、例えば、コンバージョンレンズを購入した顧客に対して無料または低価格でサービスを提供することが考えられる。
この場合に、例えば、上述のようなサービスが伴うコンバージョンレンズと、略同レベルの偽コンバージョンレンズを低価格で販売され、この偽コンバージョンレンズを購入した顧客が上述のサービスをかってに受けてしまうことが考えられる。
この場合に、コンバージョンレンズの売り上げが低下したり、偽コンバージョンレンズを用いて撮像された肌画像の分析を行うことにより運用コストが増加したりする可能性がある。そのために、正規のコンバージョンレンズの購入者が送信する肌画像と、偽コンバージョンレンズの購入者が送信する肌画像とを識別できるような認証方法が求められる。
また、上述のようなサービスが成立している状態で、例えば、化粧品会社がスキンケア用の特定の化粧品とセットにしてコンバージョンレンズを販売した場合に、上述のサービスの他に、化粧品会社がセット販売のコンバージョンレンズの肌画像のみを得たい場合などが考えられる。
この場合も、コンバージョンレンズを単品で購入した顧客の肌画像と、化粧品とセットでコンバージョンレンズを購入した顧客の肌画像とを識別する必要がある。
正規のコンバージョンレンズで撮影した肌画像と、非正規のコンバージョンレンズで撮影した肌画像との区別や、上述のセット販売等により特定の会社(事業者)と関連付けられたコンバージョンレンズと、単品販売等により特定の会社と関連付けられていないコンバージョンレンズの区別の方法として、各コンバージョンレンズにシリアル番号やID番号等の識別情報を付与することが考えられる。なお、コンバージョンレンズを単品販売とセット販売とで識別するような場合には、二つに篩い分け可能に識別情報を設定する必要がある。
このような識別情報を用いる場合には、肌画像の分析等を行うサーバーに、肌画像とともに識別情報を送信する必要がある。
この場合に、肌画像送信時に顧客がコンバージョンレンズやそれに付帯する説明書等に記載されたシリアル番号をスマートフォンから入力して送信するなどの方法が考えられる。
特開2012−8283号公報
ところで、従来、コンバージョンレンズに識別情報を付けて、撮影された画像データととともに識別情報を送信するようなことは行われていなかった。
上述のように顧客(ユーザー)が識別情報をスマートフォンに入力するような場合に、入力に手間がかかることをユーザーが不満に思ったり、入力ミスにより間違った識別情報が登録されたり、入力ミスにより識別情報を登録できなかったり、識別情報がユーザーや当該識別情報が記載された説明書等を介して漏洩することにより識別情報が解析されたりすることが問題になる虞がある。
そこで、ユーザーが特に操作しなくても、コンバージョンレンズに個別に付与された識別用情報を、自動的にスマートフォン側で認識し、上述のサービスを提供するウェブサイトのサーバーに自動で識別用情報を送信するようにすることが求められている。
すなわち、スマートフォンから肌画像データを送信する際に自動で識別情報がコンバージョンレンズ側からスマートフォン側に送信されたり読み取られたりすることが求められている。この場合にできるだけ低コストでコンバージョンレンズに付与された識別情報をスマートフォン側で得られる構成となっていることが好ましい。
本発明は、上記事情に鑑みてなされたものであり、スマートフォン等の携帯型電子機器器においてコンバージョンレンズの識別情報を得るのに好適な光通信装置、光通信方法および肌撮像システムを提供することを目的とする。
上記課題を解決するために、本発明の光通信装置は、設定されたフレームレートで動画を撮像する撮像素子、および当該撮像素子に撮像された動画の各フレームの画像データを解析する画像解析手段を有する受信装置と、
点滅可能な固体発光素子、および当該固体発光素子を前記フレームレートで1フレームまたは数フレームが撮像される所定時間内毎に、前記フレームレートでの1ライン分の時間以上の時間間隔の点灯および消灯からなる複数の点滅パターンで点灯と消灯とを行わせる発光制御手段を有する送信装置とを備え、
前記送信装置の前記発光制御手段は、各点滅パターンとデジタル信号の各値とを関連付けて記憶した点滅パターン記憶手段と、当該点滅パターン記憶手段に記憶された前記点滅パターンと前記値との関連に基づいて、デジタル信号の各値を前記固体発光素子の前記点滅パターンに順次変換する送信変換手段とを備え、
かつ、前記発光制御手段が前記送信変換手段により変換された点滅パターンに基づいて前記固体発光素子を点滅させ、
前記受信装置の前記画像解析手段は、前記画像データの解析結果として、前記固体発光素子の前記点滅パターンの点滅により、撮像された前記画像データの垂直方向に沿って現れる輝度の高低からなる明暗パターンを求め、
前記受信装置は、前記画像解析手段により求められる前記明暗パターンと前記点滅パターンとの相関関係に基づいて、各明暗パターンとデジタル信号の各値とを関連付けて記憶した明暗パターン記憶手段と、当該明暗パターン記憶手段に記憶された前記明暗パターンと前記値との関連に基づいて、前記画像解析手段により順次解析される明暗パターンをデジタル信号の各値に変換する受信変換手段とを備えることを特徴とする。
このような構成によれば、送信装置は、デジタル信号の各値を対応する点滅パターンに変換する。このように送信装置で固体発光素子を各点滅パターンで発光している間、受信装置の撮像素子は、前記固体発光素子の発光が撮像される状態で、動画を撮像する。なお、この際に固体発光素子の光が撮像される画像に含まれれば、直接固体発光素子が撮像される必要はない。
上述のように固体発光素子が各点滅パターンで点滅している状態で撮像素子が撮像すると、撮像された画像データには、垂直方向に沿って前記固体発光素子の点滅に対応する輝度の高低による明暗の変化が撮像されている。この明暗の変化としての明暗パターンは、上述の点滅パターンに対応しており、点滅パターンにデジタル信号の各値を割り付ければ、各点滅パターンに対応する明暗パターンから各値を読み出すことができる。ここでの各値とは、例えば、0と1との1ビットのデータより多い例えば、2ビット以上の値でありことが好ましく、例えば、各点滅パターンが3ビット(0〜7)や4ビットの値(0〜15)に対応するものとしてもよい。
これにより、送信側に固体発光素子を配置し、受信側に動画撮影可能な撮像素子を配置して光通信が可能になる。この場合に、動画の各フレーム毎に明るいか暗いかで、各フレーム毎に1ビットのデータを送受するのではなく、各フレームで例えば2ビット以上のビット数でデジタル信号を送受することが可能になり、高速な通信が可能になる。
なお、撮像素子には、各画素からの溜まった電荷の読取りに際し、1フレーム分を一度に読み取るものと、1フレームを1ラインずつ読み取るものが知られているが、この発明においては、1ラインずつ各画素の電荷を読み取る撮像素子を用いる必要がある。
この発明では、撮像素子として、例えば、一ラインずつの読み取りを行うC−MOSセンサを用いることが好ましい。
なお、2ラインずつ等の数ラインずつ電荷を読み取るような構成でも本発明が適用可能である。
本発明の上記構成において、前記送信装置の前記発光制御手段は、前記撮像素子が出力する映像信号の同期信号に対して非同期で、前記固体発光素子の点灯および消灯を制御し、
前記送信装置の前記点滅パターン記憶手段に記憶される各点滅パターンは、前記所定時間内に含まれる点灯と消灯との繰り返し回数により規定され、
前記受信装置の前記明暗パターン記憶手段に記憶される各明暗パターンは、撮像された前記画像データの垂直方向に現れる輝度の高低により表される水平方向に沿った明るい帯および/または暗い帯の本数により規定されていることが好ましい。
このような構成によれば、撮像素子の同期信号に同期させなくても、デジタル信号の送受信が可能になり、受信側から送信側に同期用の信号を送信する構成を設ける必要がなく、コストの低減を図ることができるとともに、光通信装置の構造を簡便なものとすることができる。この場合に、撮像素子のフレームとフレームの各ラインのタイミングと、固体発光素子の点灯と消灯のタイミングを合わせることができないので、例えば、フレームレートの基づく各フレームの撮像時間により固体発光素子の点灯と消灯を制御する。
この場合に、例えば、2フレームを1セットとして、例えば1フレームの時間に消灯と点灯が3回繰り返される点滅パターン、5回繰り返される点滅パターン、7回栗化される点滅パターン・・・等のような点滅パターンで固体発光素子が制御される。
それに対して動画データは、動画データの少なくとも1フレームおきの画像データに上述の固体発光素子の点滅パターンの点灯と消灯の繰り返し返しに対応する明暗の縞ができることになる。この縞の明るい帯の数や、暗い帯の数を数えることで、固体発光素子の点滅パターンに対応する画像データの明暗パターンを読み取ることができ、これにより送信側から受信側にデジタル信号が送信されたことになる。
すなわち、撮像素子の同期信号に同期させて固体発光素子を発光させなくても、非同期でデータの送受が可能であり、受信側から送信側に同期用の信号を送受するような構造を必要とせず、低コストでデジタルカメラを用いた光通信を可能にできる。
この方式は、基本的は、所定時間内の点滅(明暗)の繰り返しの周波数が変わることになり、例えば、所定時間内の点滅の繰り返し回数が少ない場合が低周波となり、繰り返し回数が多い場合が高周波となる。これでデジタル信号を表す場合に、最も単純には、低周波の場合を0、高周波の場合を1とすることができる。これは、周波数の変化をデジタル信吾に変換するものであり、周波数偏移変調(FSK:frequency shift keying)を用いて、所定時間内の点滅の繰り返し数を周波数の周波数の変化をデジタル信号に変換するものである。したがって、本発明は、送信側で、デジタル信号を単位時間(所定時間)当たりのLEDの点灯と消灯との繰り返しの周波数の高低に変換し、これを受信側の撮像素子で撮像し、撮像されたフレーム毎の画像に、上述のLEDの点灯と消灯に対応して現れる明暗の繰り返しの周波数の高低をデジタル信号に変換するものである。
また、本発明の上記構成において、
前記受信装置は、前記撮像素子から出力される映像信号の同期信号に同期して同期用信号を出力する同期出力手段を備え、
前記送信装置は、前記同期出力手段から送信される同期用信号が入力される同期入力手段を備え、
前記送信装置の前記発光制御手段は、前記同期入力手段に入力された同期用信号により、前記撮像素子で撮像される各フレームおよび各フレームの各ラインに同期して前記固体発光素子の点灯および消灯を制御し、
前記送信装置の前記点滅パターンに記憶される各点滅パターンは、点灯と消灯に加えて点灯の時間幅および消灯の時間幅により規定され、
前記受信装置の前記明暗パターン記憶手段に記憶される各明暗パターンは、撮像された前記画像データの垂直方向に現れる輝度の高低により表される水平方向に沿った前記明るい帯および前記暗い帯に加えて前記明るい帯の幅と前記暗い帯の幅とにより規定されていることが好ましい。
このような構成によれば、送信装置側は、受信装置の撮像素子の各フレームおよび各フレームの各ラインに対応して固体発光素子の点灯と消灯を制御できるので、上述の非同期の場合のように、撮像された画像データに写る明暗の帯の本数で値を表すのではなく、例えば、各帯の幅でも値を表すことができる。例えば、バーコードのように、明るい帯の幅を狭い帯と広い帯に分け、暗い帯を狭い帯と広い帯に分けることにより、明暗が繰り返されるパターンにおいて、狭い帯を0、広い帯を1とすることができ、各帯毎に1ビットの値を表すことが可能になる。すなわち、1フレーム分の時間内に繰り返される点灯と消灯の数のビット数だけ通信が可能になり、1フレームで多くのビット数の情報を送受することが可能になる。これにより、通信速度の高速化を図ることができる。なお、帯の幅の分類は、このような狭い幅と広い幅との二種類に限られるものではなく、帯の幅の種類を2より多くしてもよい。
また、本発明の上記構成において、前記送信装置の前記固体発光素子を各色毎に点灯と消灯が制御可能な3色LEDとし、
前記送信装置の前記発光制御手段は、前記3色LEDの各色毎に独立した点灯と消灯からなる点滅パターンによりデジタル信号を送信し、
前記送信装置の前記点滅パターン記憶手段に記憶される各点滅パターンは、前記3色LEDの各色の点灯と消灯により規定され、
前記受信装置は、カラーの撮像素子を有し、
前記受信装置の前記画像解析手段は、撮像された前記画像データの前記3色LEDの各色に対応する垂直方向に現れる明暗のパターンを求め、
前記受信装置の前記明暗パターン記憶手段に記憶される各明暗パターンは、撮像された前記画像データの垂直方向に現れ、かつ、前記3色LEDの発光色に対応する各色毎の輝度により表される水平方向に沿った明るい帯および暗い帯に規定されていることが好ましい。
このような構成によれば、固体発光素子を各色毎に点灯と消灯を独立して制御可能な3色LEDとし、撮像素子をカラーに対応するものとすることで、基本的に3倍の情報を送受することができる。なお、各色毎の点滅パターンで個別に情報を送るものとしてもよいし、3つの色の点灯と消灯との組み合わせで3ビットずつのデータを送るような構成としてもよい。
また、本発明の光通信方法は、設定されたフレームレートで動画を撮像する撮像素子、および当該撮像素子に撮像された画像データを解析する画像解析手段を有する受信装置と、
点滅可能な固体発光素子、および当該固体発光素子を前記フレームレートで1フレームまたは数フレームが撮像される所定時間内毎に、前記フレームレートでの1ライン分の時間以上の時間間隔の点灯および消灯からなる複数の点滅パターンで点灯と消灯とを行わせる発光制御手段を有する送信装置とを備える光通信装置で行われる光通信方法であって、
前記送信装置の前記発光制御手段は、各点滅パターンとデジタル信号の各値との関連に基づいて、デジタル信号を順次前記点滅パターンに変換するとともに、当該点滅パターンに基づいて、前記固体発光素子の点灯と消灯を制御し、
前記受信装置の前記撮像素子は、前記固定発光素子が前記点滅パターンで点灯または消灯している状況で撮像素子により動画を撮像し、
撮像された前記動画の画像データを解析して、前記画像データの垂直方向に沿って現れる輝度の高低からなる明暗バターンを求め、
前記受信装置は、求められた前記明暗パターンと前記点滅パターンとの相関関係に基づいた当該明暗パターンと前記デジタル信号の各値との関連に基づいて、順次求められる明暗パターンを前記デジタル信号の各値に変換することを特徴とする。
本発明の上記構成において、前記送信装置の前記発光制御手段は、前記撮像素子が出力する映像信号の同期信号に対して非同期で、前記固体発光素子の点灯および消灯を制御し、
前記送信装置は、各点滅パターンを、前記所定時間内に含まれる点灯と消灯との繰り返し回数により規定し、
前記受信装置は、各明暗パターンを、撮像された前記画像データの垂直方向に現れる輝度の高低により表される水平方向に沿った明るい帯および/または暗い帯の本数により規定することが好ましい。
また、本発明の上記構成において、前記受信装置は、前記撮像素子から出力される映像信号の同期信号に同期して同期用信号を出力し、
前記送信装置は、前記受信装置から送信される同期用信号を受信し、
前記送信装置の前記発光制御手段は、受信した同期用信号により、前記撮像素子で撮像される各フレームおよび各フレームの各ラインに同期して前記固体発光素子の点灯および消灯を制御し、
前記送信装置は、各点滅パターンを、点灯と消灯に加えて点灯の時間幅および消灯の時間幅により規定し、
前記受信装置は、各明暗パターンを、撮像された前記画像データの垂直方向に現れる輝度の高低により表される水平方向に沿った前記明るい帯および前記暗い帯に加えて前記明るい帯の幅と前記暗い帯の幅とにより規定することが好ましい。
また、本発明の上記構成において、前記送信装置の前記固体発光素子を各色毎に点灯と消灯が制御可能な3色LEDとし、
前記送信装置の前記発光制御手段は、前記3色LEDの各色毎に独立した点灯と消灯からなる点滅パターンによりデジタル信号を送信し、
前記送信装置は、各点滅パターンを、前記3色LEDの各色の点灯と消灯により規定し、
前記受信装置は、カラーの撮像素子を有し、
前記受信装置の前記画像解析手段は、撮像された前記画像データの前記3色LEDの各色に対応する垂直方向に現れる明暗パターンを求め、
前記受信装置は、各明暗パターンを撮像された前記画像データの垂直方向に現れ、かつ、前記3色LEDの発光色に対応する各色毎の輝度により表される水平方向に沿った明るい帯および暗い帯により規定していることが好ましい。
これらのような光通信方法においては、対応する上述の光通信装置と同様の作用効果を奏することができる。
また、本発明の肌撮像システムは、上述の光通信装置を備えるものであって、前記撮像素子を有するデジタルカメラを備え、かつ、前記撮像素子を制御するとともに、前記撮像素子に撮像された動画データの各フレームの画像データを解析する画像解析手段と、前記画像解析手段により求められる前記明暗パターンと前記点滅パターンとの相関関係に基づいて、各明暗パターンとデジタル信号の各値とを関連付けて記憶した明暗パターン記憶手段と、当該明暗パターン記憶手段に記憶された前記明暗パターンと前記値との関連に基づいて、前記画像解析手段により順次解析される明暗パターンをデジタル信号の各値に変換する受信変換手段として機能する制御手段を備える携帯型電子機器と、
前記固体発光素子としての撮影照明用LEDと、肌画像の撮影に用いられるコンバージョンレンズと、前記照明用LEDの発光を制御する前記発光制御手段とを備えるレンズモジュールとからなり、
前記発光制御手段が、各点滅パターンとデジタル信号の各値とを関連付けて記憶した点滅パターン記憶手段と、前記点滅パターン記憶手段に記憶された前記点滅パターンと前記値との関連に基づいて、デジタル信号の各値を前記固体発光素子の前記点滅パターンに順次変換する送信変換手段として機能することを特徴とする。
このような構成によれば、上述の光通信装置と同様の作用効果を奏することができる。
本発明の肌画像システムは、カメラを備える携帯型電子機器と、前記携帯型電子機器の前記カメラのマスターレンズの位置に着脱自在に装着され、前記カメラにより肌を接写するためのコンバージョンレンズとを備える肌撮影システムであって、
前記コンバージョンレンズを支持する筒状のレンズ筐体と、
前記レンズ筐体の先端部に形成され、撮影される肌を臨ませるための開口部と、
前記開口部の周縁部に設けられ、前記カメラ側を向く面に前記コンバージョンレンズを識別可能にする識別情報を示し、かつ、画像認識可能なコードとを備え、
前記カメラで前記開口部に臨む肌を撮影した際に前記コードが撮影され、前記肌とともに撮影された前記コードから識別情報が読み取り可能になっていることを特徴とする。
このような構成によれば、コンバージョンレンズを識別するための識別情報を含むコードとして画像認識可能な例えばバーコードや2次元バーコード等を開口部の周縁部に設けておき、肌とともにコードを同時に撮影することにより、肌とコードが一つの画像として撮影されることになり、コンバージョンレンズから携帯型電子機器側にコンバージョンレンズを識別するコードを読み取り可能とすることになる。これにより、コンバージョンレンズと携帯型電子器機器との間にデータの通信手段がなくとも、識別情報をコンバージョンレンズ側から携帯型電子機器器側に送信した状態となる。また、各肌画像には、使用したコンバージョンレンズを識別可能なコードの画像が必ず含まれることになり、いつでも使用したコンバージョンレンズを識別することができる。
本発明によれば、送信装置に固体発光素子を備え、受信装置にデジタルカメラを備えることにより、光通信が可能になり、受信側のデジタルカメラとして、スマートフォン等の携帯電子機器のカメラを用いた通信を行うことが可能になる。
本発明の第1実施形態に係る光通信装置としての肌撮像システムを示す正面図である。 前記肌撮像システムの送信装置としてのレンズモジュールを示す正面図である。 前記レンズモジュールを示す断面図である。 前記レンズモジュールのレンズ筐体部分を示す断面図である。 前記レンズモジュールのレンズ筐体部分を示す断面図である。 前記レンズモジュールのLED基板を示す平面図である。 前記肌撮像システムを示すブロック図である。 前記肌撮像システムにおける光通信方法を説明するための図である。 本発明の第2実施形態に係る光通信装置としての肌撮像システムを示すブロック図である。 本発明の実施例にかかる光通信装置における撮像された画像の解析方法の実験を説明するための図である。 前記光通信装置における撮像された画像の解析方法を実験を説明するための図である。 前記光通信装置における撮像された画像の解析方法の実験を説明するための図である。 第3の実施形態の前記レンズ筐体部分を示す断面図である。 第3の実施形態の肌画像システムで撮像された肌画像とバーコード画像を示す図である。
以下、図面を参照しながら本発明の第1の実施の形態について説明する。
この実施の形態の肌撮像システムは、図1〜図7に示すように、デジタルカメラ(撮像素子を備える図2に示すカメラ2)を備えた携帯型電子機器としてのスマートフォン1(図1および図7に図示)と、スマートフォン1のカメラ2に装着されて肌24(図7に図示)を拡大して接写するための2枚のレンズ11a,11b(図3〜図5、図7に図示)からなるコンバージョンレンズ11および撮影の照明用のLED12,13(図3〜図7に図示)を備えたレンズモジュール10とからなるものである。
なお、図1、図2において、レンズモジュール10は、コンバージョンレンズ11を支持するバレル20a(図3〜図5に図示)を備える後述のレンズ筐体20の部分を除いた筐体10aの前面部分を図示せずに内部の電池17、電源スイッチ19、電子回路部16aが実装される回路基板16bが見える状態で図示している。
また、このスマートフォン1とレンズモジュール10は、光通信装置を構成しており、スマートフォン1が受信装置であり、レンズモジュール10が送信装置である。
レンズモジュール10は、筐体10aを備え、筐体10aは、レンズ筐体20を除いて、扁平な箱状に形成され、スマートフォン1のディスプレイ(図示略)が設けられた正面の反対側である背面のカメラ2のレンズ部分にコンバージョンレンズ11を重ね合わせるように配置される。
この筐体10aのスマートフォン1への固定は、例えば、クリップ式やバンド式で行われる。クリップ式は、例えば、レンズモジュール10に、レンズモジュール10との間にスマートフォン1を挟み込むクリップ部材(図示略)を設けたものである。すなわち、レンズモジュール10と、このレンズモジュール10に固定されたクリップ部材との間に弾性力によりスマートフォン1を挟むものである。
この場合に、レンズモジュール10をスマートフォン1の背面に対して、許容範囲内で縦横に移動可能になっており、スマートフォン1の各機種のカメラ2の配置に対応可能になっている。
バンド式は、例えば、腕時計のバンドのように、レンズモジュールにゴムバンド等の伸び縮みするバンド(図示略)を取り付け、スマートフォン1をバンド内に挿入することで、レンズモジュール10をスマートフォン1に奏略するものであり、この場合もコンバージョンレンズ11をスマートフォン1の背面に対して縦横に移動可能になっている。
レンズモジュール10は、上述のコンバージョンレンズ11およびLED12,13と、LED12を駆動するLED駆動回路14(図7に図示)と、LED13を駆動するLED駆動回路15(図7に図示)とを備える。
また、レンズモジュール10は、図4、図5の示すようにコンバージョンレンズ11が収納されるレンズ筐体20を備える。レンズ筐体20は、コンバージョンレンズ11を支持するバレル20aを基端側(カメラ2に装着される側)に備え、先端面が肌24の撮影時に肌24に当接する当接部20bとされ、当接部20bが肌24に当接した状態で外光を遮るようになっている。また、当接部20bには、矩形状(略正方形状)の開口部20cが形成され、肌24の開口部20cに臨む部分が撮影されるようになっている。
図3〜図5に示すように、バレル20aは、レンズ11aおよびレンズ11bからなるコンバージョンレンズ11を支持した状態で、レンズ筐体20の基端部(カメラ2に装着される側の端部)内に固定されている。また、バレル20aの基端部には、後述の第2偏光板22が設けられている。また、レンズ筐体20内には、当接部20bの開口部20cに向けて撮影用の照明光を照射するLED12,13を備えたLED基板12a(図3〜図6に図示)が支持されている。
LED12.13は、LED基板12aに設けられている。また、後述のように肌24のキメを撮影するためのLED13が一つで、肌24のシミを撮影するためのLED12が2つとされている。また、LED基板12aの2つのLED12は、後述の第1偏光板21に覆われた状態となっている。また、LED駆動回路14,15もLED基板12aに設けられている。なお、LED駆動回路14,15が回路基板16bに設けられていてもよい。
なお、図3〜図5に示すように、LED基板12aは、そのLED12,13がレンズ筐体20の開口部20cに臨む肌24を直接照明するように配置されているが、ハーフミラーで反射させることにより、LED12,13の光が開口部20cに臨む肌24に照射されるようにしてもよい。
また、レンズモジュール10は、LED駆動回路14,15を介してLED12,13の点灯と消灯を制御する発光制御手段としてのCPU16を備える電子回路部16aを備える。なお、電子回路部16aには、ワンチップマイコンが実装されており、ワンチップマイコンにCPU16(図7に図示)が備えられるとともに、ROM、RAM等の記憶手段が備えられている。
また、レンズモジュール10は、筐体10aに固定された回路基板16bに、LED駆動回路14,15、CPU16等に電力を供給する電池17を備えた電源回路18(図7に図示)と、電源スイッチ19を備える。なお、電池17として円板状のボタン電池を図示したが、電池は、例えば、単4電池であってもよい。
また、上述の二つのLED12,13は、発光色が少し異なり、LED12は、肌24のシミの撮像に用いられるもので、発光色が略白となっている。それに対して、LED13は、肌24のキメの撮像に用いられるもので、LED12の発光色に対して黄色が強く肌色に近い色になっている。
また、シミ撮影用のLED12に第1偏光板21が設けられ、コンバージョンレンズ11と、カメラ2との間に第2偏光板22が設けられている。これは、肌24の表面より少し下にあるシミを撮影するためのもので、これら偏光板21,22により、LED12で肌24のシミを撮影する際の肌24内部の反射光より、肌24表面の反射光を大きく低減させ、シミが撮影され易くするものである。なお、第1偏光板21と、第2偏光板22では、偏光方向が直交している。LED12の光は第1偏光板21を通過して偏光され、この偏光は、肌24で反射されても維持され、第2偏光板22を通過困難な状態となる。それに対して肌24内部で反射した光は、偏光がなくなり、第2偏光板22を通過する。なお、偏光板21,22を設けなくてもよい
このようなレンズモジュール10では、電子回路部16aのCPU16の制御により、キメの撮影時にLED13を発光(点灯)させるとともにLED12を消灯したままの状態とし、シミの撮影時にLED12を発光させるとともにLED13を消灯したままとする。
スマートフォン1は、周知の通り携帯電話としての機能を有し、無線回線を用いた通話が可能となっている。また、スマートフォン1は、図示しないディスプレイを有するとともに、無線回線によりインターネットに接続可能であり、インターネットを介してeメールの送受信が可能で、アプリケーション(アプリ)としてのブラウザによりウェブサイトの閲覧が可能になっている。また、例えば、ウェブサイト等のサーバーに対してファイルのアップロードが可能で、ウェブサイト等のサーバーからファイルのダウンロードが可能になっている。
また、スマートフォン1には、CPU、ROM、RAM等を有する制御装置(制御手段:図7に図示)3を備え、プログラムとしてのアプリを実行可能になっている。また、制御装置3には、記憶装置としてのフラッシュメモリ4が接続されており、ダウンロードとしたアプリや、音楽ファイル、動画ファイル、静止画ファイル等、アプリ(プログラム)を保存可能になっている。
また、制御装置3は、カメラ2を制御して撮影(撮像)が可能であるとともに、撮像した画像データをフラッシュメモリ4に保存することができる。また、画像処理や画像解析用のアプリにより画像データの解析や処理が可能である。
カメラ2は、撮像素子を有し、静止画、動画の撮影が可能であり、例えば、30fps等の設定されたフレームレートで画像を撮影する。
カメラ2の撮像素子としての、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサにおいては、各画素のセンサがマトリックス状に並んで配置されている。
言い換えると、各画素のセンサは、水平方向に沿いかつ垂直方向に複数並んだ各ライン毎に配置されている。入射した光の光量に対応して各画素のセンサに溜まる電荷を読み取る際には、例えば、垂直方向の上側のラインから下側のラインに向かってライン毎にライン上の各センサの電荷が読み取られる。読み取られた電荷が映像信号として出力されることになる。
この場合に同期信号に対応して各画素のセンサから読み取られた電荷の量が順番に信号として出力される。この同期信号には、ラインに沿った1つずつのセンサからの電荷の出力に順番に対応するPixel Clock信号(個別同期信号)に同期して出力されるVsync信号(垂直同期信号)により一画像分の電荷の出力が開始される。
このVsync信号が撮像素子から出力される際に、最初のHsync信号(水平同期信号:横方向同期信号)が出力され縦(垂直)方向の先頭(最も上)の横一列(水平方向の一番上の一列のライン)のセンサからPixel Clock信号毎に一方向(例えば、左から右)に沿って、一つずつのセンサに対応して順次、受光量を示す電荷に基づく信号が出力される。
また、次のHsync信号に基づいて一つ下の水平方向のライン上のセンサに移動し、再び、左側からPixel Clock信号毎に一方向に沿って、1つずつのセンサに対応する信号が出力される。以降、Hsync信号毎に一つ下の水平方向に沿ったラインに移行して上述の電荷に対応する信号の出力が行われる。
そして、最後のラインに対応する信号の出力が終了する際に、一つの画像(一つのフレーム)分の映像信号の出力が行われたことになり、再び、Vsync信号とHsync信号に基づいて次のフレームの最初のラインに対応する信号の出力が行われる。映像信号を上述のHsync信号毎に次のラインに移行し、かつ、Vsync信号毎に次のフレームに移行するように各センサに対応する信号を並べることで、動画の表示が可能になる。
図7に示す上述のレンズモジュール10は、光通信装置の送信装置として機能するものであり、固体発光素子であるLED13を発光制御手段としてのCPU16が通信用の点滅パターンで点滅させるようになっている。(偏光板が光学系にないのでこれを使用)なお、以下の説明では、CPU16は、光通信を行う場合に、LED13の発光を制御するものとする。
また、図7に示すスマートフォン1が光通信装置の受信側であり、搭載されたカメラ2が受信装置として機能するものである。
仮に送信装置側でセンサチップのVsync信号、Hsync信号のタイミングを把握している場合、すなわち、同期信号に同期可能な場合に、Vsync信号のタイミングでLEDの点滅を開始させ、1フレームの時間分(たとえば、15fpsの場合だと1/15秒)経過後1フレーム分の点滅を終了する。この点滅は消灯時間=点灯時間とする。ここで、送信側であるレンズモジュール10では15fpsに設定されており(1フレームに対して1/15秒と設定)、受信側のスマートフォン1においてはアプリケーションプログラムにより、動画設定が15fpsに設定されているものとする。この場合、センサではLED点滅に応じた縞模様の入った1フレームの画像が得られる。
たとえば、8Mで横3200画素、縦2400画素、フレームレート15fpsの場合を考える。
初期状態が消灯で、1/15秒間に点灯と消灯を5回ずつ繰り返した場合、1フレームの画像には、上から明るい直線状の縞、その下に暗い直線状の縞、この組み合わせが5回繰り返された画像が得られ、各縞の幅は240画素(2400/10)となる。
従って、この縞の幅が異なる画像を10種類用意すれば、それぞれに縞に対応させた0〜10の数値を、受信側では認識できることとなる。
ここで、上記例ではフレームレートをTV受信機と同様の15FPSと設定しているが、適宜変更可能である。
なお、実際には画像の切り出し処理を行うので上記センササイズの中央部分のみを使用して認識することとなるが、以下、説明を簡単にするため、センサ全体を使用するものとして説明する。
まず、送信装置としてのレンズモジュール10を説明する。CPU16は、上述のようにワンチップマイコンのものであり、ROMを備えている。このROMには、点滅パターン記憶手段として、点滅パターンが記憶されている。
上述のフレームレートでの2フレーム分の所定時間、例えば、15fpsの場合、2/15秒の間に点灯と消灯とを略同じ時間幅で繰り返す複数の点滅パターンが記憶されている。
上述のカメラ2の撮像時のHsync信号およびVsync信号に同期して点灯と消灯とからなる点滅パターンでLED13の点灯と消灯を制御できれば、各フレーム毎に例えば10種類の点滅パターンから1種類の点滅パターンでの点滅を行うことで、各フレーム毎に10種類の点滅パターンのうちの1種類の点滅パターンを送信することが可能である。
しかし、ここでは、受信装置としてのスマートフォン1のカメラ2から出力される同期信号を送信装置としてのレンズモジュール10に出力する手段がないので、LED13の点滅パターン全体の時間幅をカメラ2の撮像時のフレームレートに合わせることしかできない。
この場合に、2フレーム分の時間幅の点滅パターンに対して、偶然同期した場合を除いて、カメラ2における撮像では、1種類の点滅パターンでのLED13の点滅開始がフレーム(1フレーム目)の途中から開始されることになり、次のフレーム(2フレーム目)では、1フレームに渡って1種類の点滅パターンでのLED13の点滅が撮像され、その次のフレーム(3フレーム目)の途中で1種類の点滅パターンでのLED13の点滅が終了することになる。
したがって、2フレーム目となるフレームでは同じ点滅パターンでのLED13の点滅が撮像されることになる。このような2フレーム分に渡る点滅パターンでのLED13の点滅が2フレーム分ずつ連続して行われた場合に、上述の3フレーム目が次の点滅パターンの1フレーム目となり、2フレーム目に対応するフレームが連続するフレームの1つおきのフレームとなる。
この2フレーム目となる一つ置きのフレームにおいては、フレームの途中で点滅パターンが変わることがないので、点滅パターンに対応する本数の明るい帯(暗い帯)を読み取り可能になる。なお、1フレーム目および3フレーム目に対応する一つ置きのフレームでは、複数の同じ点滅パターンが連続するのでなければ、途中で点滅パターンが変わることになる。
なお、LED13の各点滅パターンの切り替えのタイミングと、カメラ2の各フレームの切り替えのタイミングとが偶然同期した場合も、2フレーム毎に点滅パターンが切り替わるので、一つ置きのフレーム毎に点滅パターンを読み取ることが可能である。
また、各フレームの各ラインにおけるLED13の点灯(消灯)においても、カメラ2の同期信号、特にHsync信号に同期していなので、点灯開始に対応するラインの途中から点灯開始し、点灯終了に対応するラインの途中で消灯することになるが、LED13の点滅における各点灯時間および各消灯時間がフレーム中の1ライン分の時間の整数倍となっていれば、フレームのラインと直交する線上における明るい帯または暗い帯のライン数で示される幅は、ラインと直交する線の水平方向位置が異なっていても同じになる。
なお、点滅パターンの点灯時間および消灯時間は1ライン分より長い時間、できれば2ライン分以上の時間となっていれば、必ずしも1ライン分の整数倍の時間となっている必要はないが、上述の信号に同期してLED13を点滅可能な場合には、点灯時間および消灯時間は、1ライン分の時間の整数倍となっていることが好ましい。
この点滅パターンとしては、例えば、2フレーム分の所定時間内に消灯している時間が7回、点灯している時間が6回の点滅パターンと、消灯している時間が11回、点灯している時間が10回の点滅パターンと、消灯している時間が15回、点灯している時間が14回の点滅パターンと、消灯している時間が19回、点灯している時間が18回の点滅パターンと、以下点灯している時間の回数(点灯回数)だけで表すと、22回、26回、30回、34回、38回、42回の点滅パターンを備えるものとする。
そして、各点滅パターンに対して、例えば、点灯回数6に0、点灯回数10に1、点灯回数14に2、点灯回数18に3、点灯回数22に4、点灯回数26に5、点灯回数30に6、点灯回数34に7、点灯回数38にスタートビット、点灯回数42にストップビットが関連づけられている。
これらの点滅パターンと数値の組み合わせがデータテーブルとして、CPU16のROMに記憶されている。なお、数値は4ビットの情報に対応するものであり、二つの点滅パターンの組み合わせで、8ビット、4つの点滅パターンの組み合わせで16ビットのデータとなる。これにより、デジタル信号を送信することが可能である。
上述の点滅パターンは、一例であり、その他の点滅パターンの組み合わせであってもよい。なお、ここでは、誤りを防止するために、各点滅パターンで、各点灯回数に4以上の差がつくように設定したが、差を小さくしても、大きくしてもよい。
また、CPU16のROMには、IDコード(シリアル番号)が記憶されており、このIDコードが読み出されて、上述のデータテーブルに基づいて点滅パターンに変換されることになる。なお、たとえば、IDコードは、8ビットのアスキーコードとして記憶され、各アスキーコードが、送信変換手段としてのCPU16により、例えばここでは4ビットずつのデータを表す2つの点滅パターンに変換されることになる。この変換された点滅パターンの列に基づいて、CPU16は、LED13の点灯と消灯を制御し、前記点滅パターンの列に沿った発光を行わせることになる。
なお、IDコードを先に点滅パターンに変換しておき、上述の点滅パターンに変換した状態でROMに記憶しておくものとしてもよい。
電源スイッチ19がオンになったときに、CPU16が動作を開始し、上述のIDコードに対応する点滅パターンでのLEDの点灯と消灯の制御を開始するようになっている。正確に受信側で認識できない場合があるので、上記点灯制御によるID送信は複数回行われるように設定されているのが好ましい。
レンズモジュール10の電源スイッチ19をオンとすると、CPU16は、プログラムに基づいて、上述のIDコードから変換された点滅パターンに基づいてLED13の発光を制御する。この際に、IDコードは、順番が決められた複数の点滅パターンの列に変換される。
CPU16は、点滅パターンの列に基づいて、各点滅パターンが示す点灯と消灯との繰り返しでLED13の点灯と消灯を制御することになる。
このLED13の点灯と消灯からなる点滅パターンをスマートフォン1のカメラ2が撮像することになる。
次に、受信装置であるスマートフォン1を説明する。
スマートフォン1は、図7に示すようにカメラ2とカメラ2の制御を行うとともに、カメラ2の撮像素子で撮像された画像の解析が可能な制御装置3を備える。
撮像素子においては、上述の同期信号に基づいて、Vsync信号毎に1フレーム分の画素の画像が撮影開始され、Hsync信号毎に1ライン分の画素の撮影が行われることになる。CMOSセンサでは、1ライン毎に各画素のセンサに入射した光量に対応して蓄積した電荷を読み取るようになっている。ここで、例えば1フレーム分の画像を撮像する際に撮像素子に入力される光量(明暗)が大きく変化すると各ラインのセンサに蓄積される電荷が異なることになる。上述のようにHsync信号毎に、例えば、上側のラインから下側のラインに順番に1ラインずつのセンサの電荷が読み取られる際に、明るい状態と暗い状態が繰り返されると、明るい状態の映像信号出力されるラインと、暗い状態の映像信号が出力されるラインとが生じる。これにより、撮像された1フレーム分の画像データを見た場合に水平方向に沿った明るい帯の部分と、暗い帯の部分とが垂直方向に沿って繰り返される縞模様の画像を撮像することが可能になる。
したがって、上述のLED13が上述の点滅パターンで点滅している状態で、例えば、肌や所定のスクリーン等を撮影すると、点滅パターンに対応して、画像の垂直方向に沿って明暗のパターンが出現する。すなわち、水平方向に沿った明るい帯と、暗い帯とが交互に配置された画像が撮像されることになる。
ここで、LED13は、撮像素子の同期信号に同期させられていないので、フレーム毎に点滅パターンでの発光を行うことができず、2フレーム分の所定時間に渡って同じ点滅パターンで点滅しているので、後述のように1フレーム置きごとに、所定の点滅パターンに対応する完全なる明暗パターンを有する動画の画像データが得られる。
前記制御装置3は、この画像データを解析・抽出して、1フレーム分の高輝度部分と低輝度部分が交互に配置された明暗パターンを得ることができる。この明暗パターンから、明暗の繰り返し数(明るい帯、暗い帯の本数)を求めるようになっている。
この明暗パターンの繰り返し数は、撮像された際のLED13の点滅パターンに対して1対1で対応することになる。
スマートフォン1の明暗パターン記憶手段としてのフラッシュメモリ4には、肌撮像用アプリの光通信用画像プログラ用のデータとして、上述の点滅パターンのデータテーブルに対応する明暗パターンのデータテーブルが記憶されている。
この明暗パターンのデータテーブルでは、点滅パターンが2フレーム分であるのに対して明暗パターンが1フレームの画像から読み出されるものなので、点滅パターンの消灯と点灯の繰り返し数に対して、対応する明暗パターンは、明(高輝度)と暗(低輝度)の繰り返し数が半分になる。
したがって、フラッシュメモリ4に記憶されるデータテーブルにおいては、明暗の繰り返し回数としての(例えば明るい帯の本数としての)各明暗パターンに対して、例えば、明るい(高輝度)帯の本数3に0、明るい帯の本数5に1、明るい帯の本数7に2、明るい帯の本数9に3、明るい帯の本数11に4、明るい帯の本数13に5、明るい帯の本数15に6、明るい帯の本数17に7、明るい帯の本数19にスタートビット、明るい帯の本数21にストップビットが関連づけられている。
これにより撮像された画像データ毎に4ビットが割り当てられデジタル信号に変換可能となり、画像解析手段および受信変換手段としての制御装置3は、画像データからデジタル信号を読み出すことになる。このデジタル信号は、IDコードであり、レンズモジュール10のIDコードが読み出されることになる。
スマートフォン1は、撮影される肌画像とともにIDコードをインターネットを介して、肌画像を分析してくれるサーバーに送信できる。サーバー側では、このIDコードにより、レンズモジュール10が正規品か否か、レンズモジュール10が特定の化粧品会社(メーカまたは販売会社)とのキャンペーン(コラボレーション)用か、通常のものか等の識別が可能になる。
このような光通信装置としての肌撮像システムにおける光通信方法を図8を参照して説明する。
スマートフォン1で、肌撮像用アプリを起動すると、フレーム毎の画像34からなる動画の撮像が開始されることになる。
この際に、レンズモジュール10の電源スイッチ19をオンにする必要がある。
そこで、例えば、スマートフォン1側で肌画像撮影用アプリを起動すると、動画の撮像を開始する前に、スマートフォン1から「レンズモジュール10の電源スイッチ19をオンにしてください」という趣旨のメッセージが音声または表示で行われることになる。
この場合に、外光の影響を受けないことが好ましく、例えば、レンズ筐体20の先端を肌24や、例えば、専用のスクリーン等に押し付けた状態、あるいは専用の蓋を先端にかぶせた状態となっていることが好ましい。したがって、スマートフォンは、上述の電源スイッチ19をオンとするメッセージの後に、例えば、レンズ筐体20の先端を肌の撮影箇所に接触させるように指示するメッセージを出力することが好ましい。
カメラ2は、上述のレンズモジュール10の電源オンの指示後に撮像素子が撮像開始し、この状態でレンズモジュール10のLED13が2フレーム毎に、上述のように変換された点滅パターンに基づいてで、消灯と点灯とを繰り返すことになる。
このようにレンズモジュール10の電源スイッチ19がオンとされれば、LED13が点滅パターンに従って点滅する状況下でカメラ2の撮像素子で肌24が撮像されることになる。
ここで、上述のように、カメラ2の同期信号に対して非同期の状態で2フレームの時間分の点滅パターンでLED13が点滅した際に、カメラ2で撮像された点滅パターンである明暗パターンは、カメラ2の撮像されたフレームの途中で前の点滅パターンが終了して次の点滅パターンが開始される。したがって、このフレームでは、二つの点滅パターンが混じった状態となる。
次のフレームでは、1つの点滅パターンに対応する画像が撮影される。さらに、次のフレームパターンでは、1つの点滅パターンが途中で終了し、さらに次の点滅パターンが開始されることで、二つの点滅パターンが混じった状態となる。全ての点滅パターンでの撮像が終了するまで、このような状況が繰り返されることから、一つの点滅パターンに対応する明暗パターンを備えるフレームが1フレーム置きに発生することになる。
受信装置としてのスマートフォン1の制御装置3では、最初にスタートビットに関連付けられた点滅パターンを認識するようになっている。そこで、例えば、スタートビットが認識されたフレームから一つ置きずつのフレームの画像データを解析するようにしてもよいし、全てのフレームを順次解析することにより、一つの点滅パターンに対応するフレームを順次見つけていくものとしてもよい。
前記制御装置3において、スタートビットとなる明暗の繰り返し数となっている画像31を認識した後には、一枚置きのフレームの画像34には、電子信号(データ)に変換される明暗パターンを備える複数の画像32a、画像32b、画像32c・・・・が含まれることになる。また、送信装置としてのレンズモジュール10においては、LED13の点滅によるデータの送信の開始時に上述のスタートビットとなる点滅パターンを送信し、データの送信の終了時にストップビットを送信することになる。
したがって、制御装置3においては、動画のフレーム毎の画像34を解析してストップビットとなる明暗パターンを有する画像33を認識した際に、カメラ2の動画の撮影を終了する。
次に、肌撮像システムとしては、例えば、LED13を点灯した状態として、スマートフォン1のカメラ2が肌のキメを分析するための静止画35を撮像する。
次に、レンズモジュール10のCPU16は、LED12を点灯して肌のシミを分析するための静止画36を撮像する。そして、これら撮像した静止画のデータを肌を分析してくれる会社のサーバーにアップロードする。
このような光通信装置としての肌撮像システムにおいては、送信装置としてのレンズモジュール10からデジタルカメラであるカメラ2の撮像素子にデータを送信することが可能になる。したがって、スマートフォン1等のカメラ2を有する携帯電子機器に対して、LED等の固体発光素子を備えるとともに、固体発光素子の点灯と消灯を制御するマイコンを備える装置との間で無線でのデータ通信が可能になる。
したがって、上述のようなコンバージョンレンズ11(レンズモジュール10)のIDコードを一般的な通信装置なしで、スマートフォン1に送信することができる。
また、スマートフォン1やタブレット等の内蔵カメラで動画を撮像することにより、データの受信が可能になることから、外光の影響が少ない場所で、かつ、送信装置が設置された場所をカメラで撮像するとデータが入力されるようなシステムを構築することも可能である。
次に、本発明の第2の実施の形態を説明する。
図9に示すように、第2の実施の形態の肌撮像システムにおいては、スマートフォン1にLEDからなるカメラ2用のフラッシュ5が設けられている。このフラッシュ5は、一般的なスマートフォン1に設けられているもので、カメラ2での通常の撮影時に点灯させられるようになっているが、その点灯時期は、制御装置3で制御可能になっている。
また、レンズモジュール10には、スマートフォン1のフラッシュ5であるLEDに対向してPD(フォトダイオード)5設けられ、同期出力手段としてのフラッシュ5の発光を検知して、検知信号をCPU16に出力するようになっている。
前記フラッシュ5は、同期出力手段として、カメラ2から出力される映像信号の同期信号としての垂直同期信号と、水平同期信号の出力タイミングを示す同期用信号を光で出力するように制御装置3に制御される。すなわち、カメラ2が動画の撮影を開始した際に、出力される同期信号のタイミングに合わせて発光するようになっている。この発光が、レンズモジュール10における発光制御手段としてのCPU16により制御されるLED13の点灯と消灯のタイミングとなる。
なお、垂直同期信号と、水平同期信号との違いは、例えば、発光時間の短いパターンと長いパターンや、発光輝度の低いパターンと、高いパターンや、フラッシュ5をパルス発光させるものとして、パルスの発光パターンの違い等により区別する。
CPU16では、例えば、上述の肌撮像用アプリが起動した状態で、肌撮像用アプリによりフラッシュ5が点灯されるとこれがPD25に検知され、検知信号がCPUに入力する。この検知されたフラッシュ5の発光が垂直同期信号の場合に、1フレーム分の点滅パターンでの点灯と消灯とを開始するとともに、水平同期信号のタイミングで点灯と消灯の切り替えを行う。
この場合に、例えば、100ライン分の点灯と消灯とを交互に行うものとする場合には、水平同期信号に対応する同期用信号としてのフラッシュ5の発光の入力でLED13の点灯を開始するとともに、それから100回目の水平同期信号に対応する同期用信号の入力時にLED13を消灯する。また、それから100回目の水平同期信号が入力した際に再び点灯することを繰り返すことができる。また、垂直同期信号が入力した場合に、記憶された点滅パターンの列において、次の点滅パターンでのLED13の点灯と消灯の制御を行う。
これにより、1フレーム置きではなく、各フレーム毎に一つの点滅パターンのデータの送受信が可能になる。
また、精度の高い制御が可能となることから、明暗パターンにおける明るい帯と、暗い帯の幅を精度高く認識可能となるので、例えば、バーコードのように明暗パターンにおける狭い明るい帯および暗い帯に0をあてはめ、狭い帯の2倍以上の幅の広い幅の明るい帯および暗い帯に1を割り当てて、明と暗が交互に配置された状態とすることにより、各帯毎に1ビットのデータが割り当てられた状態とすることができる。
この場合に、点滅パターン側でも時間幅の狭い点灯および消灯に0を割り付け、狭い場合の時間幅の2倍以上となる時間幅の点灯および消灯に1を割り付けることになる。
この場合にも、各消灯点灯の時間幅は、上述のように垂直同期信号と水平同期信号と同期させられていることにより、1フレームにおけるライン数で規定されることになる。
ここで、同期用信号に遅延があるような場合、すなわち、同期用信号を受信してLED12の点灯または消灯を行った場合に、1ラインの撮像タイミングに対して遅れるような場合に、同期信号を遅延時間分だけ早めてもよい。例えば、スマートフォン1側でカメラ2が動画の撮影を開始して同期信号が出力され、同期信号のタイミングが求められた段階で実際の同期信号より同期用信号としてのフラッシュ5の発光を早めてもよい。
このような光通信装置によれば、通信精度を高め、通信速度を高速化することができる。
LED13の発光と、カメラ2の撮像素子による撮像とを用いた光通信において、撮像された画像からデジタルデータを読み取るための実験を行った。
この実験では、LED13が同じ時間幅で点灯と消灯を繰り返している状態、すなわち、所定の点滅パターンで点滅している状態で、かつ、外光が入らない状態で動画ではなく静止画を撮影し、撮像された画像データから点滅パターンに対応する明暗パターンが読み取れるか否かについて実験を行った。
図10において、符号41は、撮像された画像を示すものであり、符号42は、画像41の垂直方向としてのY方向の線に沿った輝度データのグラフを示すものであり、符号43がグラフ42に示される輝度データをシェーディング補正した輝度データのグラフ示すものである。
画像41は、スマートフォンのカメラに撮影された1フレームの画像であり、5〜6本の縞模様が確認できるが、中央部分の輝度が高いことと、後述のC−MOSセンサの積分作用により明確な縞模様にはなっていない。
グラフ42は、画像41のX方向の略中央のY方向に沿った線の部分の輝度変化を示すものであり、縦軸が画像41上のY方向に沿った位置を示し、横軸が輝度を示すものである。
ここでは、C−MOSセンサの積分作用により、画像41およびグラフ42に示されるようにLED13を点灯した場合の明とLEDを消灯した場合の暗との間のコントラストが低くなっている。
また、肌画像の撮影では、画像データの中央部の周囲の周縁部のデータを用いないことから、画像41の周縁部はLED13の照明が暗くなっていることにより、グラフ42に示すように、画像41の中央部の輝度が高く、上部および下部の輝度が低くなっている。
このような輝度の偏りは、画像全体の輝度分布を一様にするように補正するシェーディング補正により補正することができる。グラフ43は、グラフ42が示す輝度をシェーディング補正したものであり、明るい部分の輝度と暗い部分の輝度との差(コントラスト)が明確になり、高輝度部分と低輝度部分との境が明確になり、明暗の繰り返し回数を容易に認識可能な状態となる。
次に、シェーディング補正ではなく、バックグランドとの差分により補正する実験を行った。図11において、画像44がLED13を点滅して撮影されたLED変調画像であり、画像45が例えばLED13を消灯したまま撮影したバックグランド画像である。なお、この例では、静止画ではなく、動画として撮像しおり、フレームレートを15fpsとしている。ここでは、上述のレンズ筐体20によりカメラ2の視野が四角く制限された状態での画像を示している。画像44,45全体が撮像素子の撮影範囲に対応している。
この範囲のうちの中央の四角い明るい部分がレンズ筐体20に視野が制限された状態で撮影される肌の部分となる。すなわち、レンズ筐体20の先端側には開口20Cが設けられ、この開口20cに臨む肌が撮影されることになる。
ここで、この例では、撮像素子の撮像範囲全体では垂直方向に3096ライン(画素)あるが、実際に撮影される肌の部分は垂直方向に1600ライン(画素)となっている。なお、肌部分の画像の水平方向の画素数も1600画素となるように設定されている。
所定の点滅パターン(所定の点灯と消灯との繰り返し回数)でLED13を点滅した状態で撮像されたLED変調画像44とLEDを消灯した状態で撮像されたバックグランド画像45との差分を取ると画像46となる。この画像46のY方向の線に沿った輝度が、グラフ46aとなる。なお、グラフ46aの上側の折れ線(波)が差分を取った画像46の垂直方向の輝度の変化を示すもので、下側がこの輝度の変化の波のうちの基本周波数の波を示すものである。また、グラフ46aにおける時間軸となる横軸においては、単位が撮像素子の1ライン分の時間、すなわち、水平同期信号間の間隔となる時間であり、時間がライン数で示されている。
この例において、LED13のオン・オフの点滅パターンを1秒間に点灯と消灯の一組の時間幅を波長とした場合に、周波数を590Hzとしたものである。すなわち、1秒間に点灯と消灯の繰り返しが590回行われる状態である。
それに対して撮像素子で撮像された1画像のラインが3096で、カメラ2のフレームレートを15fpsとしているので、1秒間に電荷が読み取られるライン数は、3096×15となる。
ここで上述のLED変調周波数が590Hzで、1秒間に電荷が読み取られるライン数が3096×15である場合に、一回の高輝度の時間幅と低輝度の時間幅との和となる波長は、約79ラインとなる。
グラフ46aで示されるY方向輝度信変化としての波に対して周波数解析として高速フーリエ変換(FFT)を行った結果がグラフ46bに示されている。このグラフ46bは、縦軸が輝度であり、横軸が周波数(ライン数で示される波長の逆数)となっている。また、グラフ46bにおいて、上側が実際の画像46から読取った(補正した)輝度の波に対して周波数解析を行った結果であり、下側が上述の基本波に周波数解析を行った結果である。
グラフ46bにおいて、画像46から読取った輝度の変化からなる波の周波数の逆数が波長であるが、周波数解析により求められた周波数(基本波の周波数)が0.0127(約1/79)になった。この周波数の逆数が波長を示すものであるとともに、ライン数で示されるもので、79となる。これは、上述のように計算で求めたLED13の点灯と消灯の繰り返しからなる波の点灯の時間幅と消灯の時間幅との和である波長に対応する。
したがって、LED12の1フレームにおける点灯と消灯との繰り返しからなる波の波長(周波数)がカメラ2の撮像素子により撮像された画像データから読み取れることになる。
したがって、LED13の所定時間内における点灯と消灯との繰り返し数の変化、すなわち、LED13の点灯と消灯の繰り返しからなる波の周波数の変化によりデータを送受可能である。言い換えれば、周波数偏移変調(FSK)により、データ通信が可能となる。
次に、実際に異なる周波数でLED13の点灯と消灯とを繰り返した場合の実験結果を図12に示す。
実験方法は、図11の場合と同様であり、フレームレート、撮像素子(で撮像された画像)の垂直解像度も図11に示される値と同様であるが、但し、LED変調の周波数が異なるものとなっている。
ここでは、LED13の点灯と消灯の繰り返しの波の波長がライン数で150本の場合と、同様の波長がライン数で30本の場合について検討した。ライン数150本の場合に撮像されたのが上の画像47で、ライン数30本の場合に撮像されたのが下の画像48である。画像47のY方向の線に沿った輝度変化を上述のバックグランド画像との差分により補正した結果がグラフ49に示され、画像48のY方向の線に沿った輝度変化を上述のバックグランド画像との差分により補正した結果がグラフ50に示されている。
グラフ49に示される波をFFTで周波数解析した結果がグラフ51に示され、グラフ50に示される波をFFTで周波数解析した結果がフラフ52に示されている。
補正後の輝度変化は、波長が150本の場合のグラフ49および波長が30本の場合のグラフ50に示すように、高輝度部分と低輝度部分を十分に確認可能なものであり、かつ、グラフ49とグラフ50とで、波長の違い、すなわち、周波数の違いを十分に確認可能である。
また、周波数解析の結果、LED13の点灯と消灯の繰り返しからなる波の波長が150本の場合の解析された周波数が波長の逆数となっており、LED13の点灯と消灯の繰り返しの波を撮像素子で撮影した画像47から周波数が読み取り可能なことが示されている。なお、グラフ51では、求められた基本波の周波数以外に、FFTによる解析が原因と思われる比較的大きな高調波が認められる。
また、波長が30本の場合の解析された周波数がLED13の点灯と消灯の繰り返しの波の波長の逆数となっており、LED13の点灯と消灯の繰り返しの波を撮像素子で撮影した画像48から周波数が読み取り可能なことが示されている。なお、グラフ52では、FFTに際し、基本波以外の周波数と高調波を含めて重なりがないように設定してFFTによる解析を行った。
これにより、LED13の点灯と消灯の繰り返しによる波の周波数(単位時間当たりの繰り返し数)をLED13の照明下で撮像した画像から読み取り可能であり、LEDと撮像素子との間で周波数偏移変調により光によるデータ通信可能なことが示された。
次に、本発明の第3の実施の形態を説明する。
第3の実施の形態では、レンズ筐体20の開口部20cの周囲でカメラ2の撮影範囲内に所謂バーコード等の光学読み取り可能なコード(画像認識で読み取り可能なコード)で識別情報を設けたものである。ここでは、このコードをバーコードと称するが、バーコードは、一般的なバーコードに限られるものではなく、各種バーコード(2次元バーコードを含む)であってもよいし、光学的に読み取り可能なコードであれば、所謂バーコードでなくてもよい。
この実施の形態においては、レンズ筐体20の当接部20bの開口部20cの周囲にバーコード部20dが設けられ、このバーコード部20dの裏面(コンバージョンレンズ11およびカメラ2を向く面)にバーコード20eが設けられている。なお、バーコード20eは、例えば、シールとして貼られるものであっても、バーコード部20dに印刷されるものであってもよい。また、バーコード部20dは、レンズ筐体20と一体に成形されるものであっても、レンズ筐体20に後付けされるものであってもよい。
この識別情報であるバーコード20eは、図14に示すように、例えば、肌を撮影した画像61において、開口部20cに対応して矩形状(正方形状)に撮影された肌画像63の周囲に矩形枠状にバーコード画像20f(バーコード20eを撮影した画像)が表示された状態となる。すなわち、肌を撮影した画像61の肌画像63の周囲にバーコード画像20fがあることになる。矩形の一つの辺部分で1単位のバーコードを表示し、同一のものを4辺に設け、読み取り側では最も鮮明なものを認識するようにすればよい。
これにより、肌を撮影した画像61のバーコード画像20fから識別情報を読み取ることが可能である。識別情報の読み取りは、スマートフォン1で行うものとしてもよいし、肌画像63が送られるサーバー側で読み取るものとしてもよい。
なお、図14において円形の部分は、コンバージョンレンズ11の撮影範囲62を示すものであるが、画像61からはみ出す部分は、撮像されない部分である。
また、バーコード20eの位置は、コンバージョンレンズ11の光軸方向および光軸と直交する方向いおいて、なるべく開口部20cから露出する肌の近傍であることが好ましい。
このような構成によれば、撮影された画像61において、肌画像63の周囲にバーコード画像20fが含まれており、撮影された画像61には、バーコード20eによる識別情報と肌画像63との両方が含まれていることになり、肌画像63の撮影に使用されたコンバージョンレンズ11(レンズモジュール10)を特定することが可能になる。
また、バーコード20eは、例えば、黒と白とからなるものであり、このバーコードをホワイトバランス等の色補正に用いるものとしてもよい。
また、第3の実施の形態では、レンズ筐体20の肌とともに撮像される部分にバーコード20eを配置したが、レンズ筐体20の先端側(当接部20b)にキャップを着脱可能に設けるもとし、このキャップの裏面(装着した際にコンバージョンレンズ11を向く面)に各種バーコード等の光学的に読み取り可能なコードを設けるものとしてもよい。
この際に、バーコードはシールとしてキャップ裏面に張り付けるものとしても、キャップ裏面に印刷するものとしてもよい。また、開口部20cに対応する矩形状の部分にバーコードを設けることができるので、例えば、各種2次元バーコードを好適に用いることができる。
また、上述の実施形態では、撮影の照明用のLED13を用いて、点滅パターンによる情報の送信を行ったが、点滅パターンによる情報送信用のLEDを照明用LED13とは別に設けてもよい。
また、上述の実施形態で、各種類の点滅バターンそれぞれにおいて、輝度の高い部分の時間幅を略同じとするとともに、輝度の低い部分の時間幅を同じにし、かつ、輝度の高い部分の時間幅と輝度の低い部分の時間幅とを同じにしたが、異なるものとしてもよい。
例えば、輝度の高い部分の時間幅を、基準幅、基準幅の2倍幅、基準幅の3倍幅等の複数種類とし、輝度の低い部分の時間幅も同様に、基準幅、基準幅の2倍幅、基準幅の3倍幅等の複数種類としてもよい。この場合に、例えば、狭い白および黒のバーと、その2倍以上広い白および黒のバーとからなるバーコードと同様に、各バー毎に1ビットのデータを割り付けることが可能になる。また、幅の種類を増やすことにより、例えば、一つのバー(帯)に2ビットや3ビットや4ビット等のデータを割り当てるようなことも可能である。
1 スマートフォン(携帯型電子機器、受信装置)
2 カメラ(撮像素子)
3 制御装置(制御手段、画像解析手段、受信変換手段)
4 フラッシュメモリ(明暗パターン記憶手段)
5 フラッシュ(同期出力手段)
10 レンズモジュール(送信装置)
11 コンバージョンレンズ
12 LED(固体発光素子、撮影照明用LED)
13 LED(固体発光素子、撮影照明用LED)
16 CPU(発光制御手段、点滅パターン記憶手段、送信変換手段)
25 PD(同期入力手段)

Claims (9)

  1. 設定されたフレームレートで動画を撮像する撮像素子、および当該撮像素子に撮像された動画の各フレームの画像データを解析する画像解析手段を有する受信装置と、
    点滅可能な固体発光素子、および当該固体発光素子を前記フレームレートで1フレームまたは数フレームが撮像される所定時間内毎に、前記フレームレートでの1ライン分の時間以上の時間間隔の点灯および消灯からなる複数の点滅パターンで点灯と消灯とを行わせる発光制御手段を有する送信装置とを備え、
    前記送信装置の前記発光制御手段は、各点滅パターンとデジタル信号の各値とを関連付けて記憶した点滅パターン記憶手段と、当該点滅パターン記憶手段に記憶された前記点滅パターンと前記値との関連に基づいて、デジタル信号の各値を前記固体発光素子の前記点滅パターンに順次変換する送信変換手段とを備え、
    かつ、前記発光制御手段が前記送信変換手段により変換された点滅パターンに基づいて前記固体発光素子を点滅させ、
    前記受信装置の前記画像解析手段は、前記画像データの解析結果として、前記固体発光素子の前記点滅パターンの点滅により、撮像された前記画像データの垂直方向に沿って現れる輝度の高低からなる明暗パターンを求め、
    前記受信装置は、前記画像解析手段により求められる前記明暗パターンと前記点滅パターンとの相関関係に基づいて、各明暗パターンとデジタル信号の各値とを関連付けて記憶した明暗パターン記憶手段と、当該明暗パターン記憶手段に記憶された前記明暗パターンと前記値との関連に基づいて、前記画像解析手段により順次解析される明暗パターンをデジタル信号の各値に変換する受信変換手段とを備えることを特徴とする光通信装置。
  2. 前記送信装置の前記発光制御手段は、前記撮像素子が出力する映像信号の同期信号に対して非同期で、前記固体発光素子の点灯および消灯を制御し、
    前記送信装置の前記点滅パターン記憶手段に記憶される各点滅パターンは、前記所定時間内に含まれる点灯と消灯との繰り返し回数により規定され、
    前記受信装置の前記明暗パターン記憶手段に記憶される各明暗パターンは、撮像された前記画像データの垂直方向に現れる輝度の高低により表される水平方向に沿った明るい帯および/または暗い帯の本数により規定されていることを特徴とする請求項1に記載の光通信装置。
  3. 前記受信装置は、前記撮像素子から出力される映像信号の同期信号に同期して同期用信号を出力する同期出力手段を備え、
    前記送信装置は、前記同期出力手段から送信される同期用信号が入力される同期入力手段を備え、
    前記送信装置の前記発光制御手段は、前記同期入力手段に入力された同期用信号により、前記撮像素子で撮像される各フレームおよび各フレームの各ラインに同期して前記固体発光素子の点灯および消灯を制御し、
    前記送信装置の前記点滅パターン記憶手段に記憶される各点滅パターンは、点灯と消灯に加えて点灯の時間幅および消灯の時間幅により規定され、
    前記受信装置の前記明暗パターン記憶手段に記憶される各明暗パターンは、撮像された前記画像データの垂直方向に現れる輝度の高低により表される水平方向に沿った前記明るい帯および前記暗い帯に加えて前記明るい帯の幅と前記暗い帯の幅とにより規定されていることを特徴とする請求項1に記載の光通信装置。
  4. 前記送信装置の前記固体発光素子を各色毎に点灯と消灯が制御可能な3色LEDとし、
    前記送信装置の前記発光制御手段は、前記3色LEDの各色毎に独立した点灯と消灯からなる点滅パターンによりデジタル信号を送信し、
    前記送信装置の前記点滅パターン記憶手段に記憶される各点滅パターンは、前記3色LEDの各色の点灯と消灯により規定され、
    前記受信装置は、カラーの撮像素子を有し、
    前記受信装置の前記画像解析手段は、撮像された前記画像データの前記3色LEDの各色に対応する垂直方向に現れる明暗のパターンを求め、
    前記受信装置の前記明暗パターン記憶手段に記憶される各明暗パターンは、撮像された前記画像データの垂直方向に現れ、かつ、前記3色LEDの発光色に対応する各色毎の輝度により表される水平方向に沿った明るい帯および暗い帯に規定されていることを特徴とする請求項1から請求項3のいずれか1項に記載の光通信装置。
  5. 設定されたフレームレートで動画を撮像する撮像素子、および当該撮像素子に撮像された画像データを解析する画像解析手段を有する受信装置と、
    点滅可能な固体発光素子、および当該固体発光素子を前記フレームレートで1フレームまたは数フレームが撮像される所定時間内毎に、前記フレームレートでの1ライン分の時間以上の時間間隔の点灯および消灯からなる複数の点滅パターンで点灯と消灯とを行わせる発光制御手段を有する送信装置とを備える光通信装置で行われる光通信方法であって、
    前記送信装置の前記発光制御手段は、各点滅パターンとデジタル信号の各値との関連に基づいて、デジタル信号を順次前記点滅パターンに変換するとともに、当該点滅パターンに基づいて、前記固体発光素子の点灯と消灯を制御し、
    前記受信装置の前記撮像素子は、前記固定発光素子が前記点滅パターンで点灯または消灯している状況で撮像素子により動画を撮像し、
    撮像された前記動画の画像データを解析して、前記画像データの垂直方向に沿って現れる輝度の高低からなる明暗バターンを求め、
    前記受信装置は、求められた前記明暗パターンと前記点滅パターンとの相関関係に基づいた当該明暗パターンと前記デジタル信号の各値との関連に基づいて、順次求められる明暗パターンを前記デジタル信号の各値に変換することを特徴とする光通信方法。
  6. 前記送信装置の前記発光制御手段は、前記撮像素子が出力する映像信号の同期信号に対して非同期で、前記固体発光素子の点灯および消灯を制御し、
    前記送信装置は、各点滅パターンを、前記所定時間内に含まれる点灯と消灯との繰り返し回数により規定し、
    前記受信装置は、各明暗パターンを、撮像された前記画像データの垂直方向に現れる輝度の高低により表される水平方向に沿った明るい帯および/または暗い帯の本数により規定することを特徴とする請求項5に記載の光通信方法。
  7. 前記受信装置は、前記撮像素子から出力される映像信号の同期信号に同期して同期用信号を出力し、
    前記送信装置は、前記受信装置から送信される同期用信号を受信し、
    前記送信装置の前記発光制御手段は、受信した同期用信号により、前記撮像素子で撮像される各フレームおよび各フレームの各ラインに同期して前記固体発光素子の点灯および消灯を制御し、
    前記送信装置は、各点滅パターンを、点灯と消灯に加えて点灯の時間幅および消灯の時間幅により規定し、
    前記受信装置は、各明暗パターンを、撮像された前記画像データの垂直方向に現れる輝度の高低により表される水平方向に沿った前記明るい帯および前記暗い帯に加えて前記明るい帯の幅と前記暗い帯の幅とにより規定することを特徴とする請求項5に記載の光通信方法。
  8. 前記送信装置の前記固体発光素子を各色毎に点灯と消灯が制御可能な3色LEDとし、
    前記送信装置の前記発光制御手段は、前記3色LEDの各色毎に独立した点灯と消灯からなる点滅パターンによりデジタル信号を送信し、
    前記送信装置は、各点滅パターンを、前記3色LEDの各色の点灯と消灯により規定し、
    前記受信装置は、カラーの撮像素子を有し、
    前記受信装置の前記画像解析手段は、撮像された前記画像データの前記3色LEDの各色に対応する垂直方向に現れる明暗パターンを求め、
    前記受信装置は、各明暗パターンを撮像された前記画像データの垂直方向に現れ、かつ、前記3色LEDの発光色に対応する各色毎の輝度により表される水平方向に沿った明るい帯および暗い帯により規定していることを特徴とする請求項5から請求項7のいずれか1項に記載の光通信方法。
  9. 前記請求項1から請求項4のいずれかに記載の光通信装置を備える肌撮像システムであって、
    前記撮像素子を有するデジタルカメラを備え、かつ、前記撮像素子を制御するとともに、前記撮像素子に撮像された動画データの各フレームの画像データを解析する画像解析手段と、前記画像解析手段により求められる前記明暗パターンと前記点滅パターンとの相関関係に基づいて、各明暗パターンとデジタル信号の各値とを関連付けて記憶した明暗パターン記憶手段と、当該明暗パターン記憶手段に記憶された前記明暗パターンと前記値との関連に基づいて、前記画像解析手段により順次解析される明暗パターンをデジタル信号の各値に変換する受信変換手段として機能する制御手段を備える携帯型電子機器と、
    前記固体発光素子としての撮影照明用LEDと、肌画像の撮影に用いられるコンバージョンレンズと、前記照明用LEDの発光を制御する前記発光制御手段とを備えるレンズモジュールとからなり、
    前記発光制御手段が、各点滅パターンとデジタル信号の各値とを関連付けて記憶した点滅パターン記憶手段と、前記点滅パターン記憶手段に記憶された前記点滅パターンと前記値との関連に基づいて、デジタル信号の各値を前記固体発光素子の前記点滅パターンに順次変換する送信変換手段として機能することを特徴とする肌撮像システム。
JP2012288861A 2012-12-28 2012-12-28 光通信装置、光通信方法および肌撮像システム Expired - Fee Related JP6059012B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012288861A JP6059012B2 (ja) 2012-12-28 2012-12-28 光通信装置、光通信方法および肌撮像システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012288861A JP6059012B2 (ja) 2012-12-28 2012-12-28 光通信装置、光通信方法および肌撮像システム

Publications (2)

Publication Number Publication Date
JP2014131237A true JP2014131237A (ja) 2014-07-10
JP6059012B2 JP6059012B2 (ja) 2017-01-11

Family

ID=51409232

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012288861A Expired - Fee Related JP6059012B2 (ja) 2012-12-28 2012-12-28 光通信装置、光通信方法および肌撮像システム

Country Status (1)

Country Link
JP (1) JP6059012B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017512401A (ja) * 2014-02-14 2017-05-18 フィリップス ライティング ホールディング ビー ヴィ 符号化光
KR20180091589A (ko) * 2017-02-07 2018-08-16 삼성전자주식회사 스킨 정보 제공 방법 및 이를 지원하는 전자 장치
WO2019190077A1 (ko) * 2018-03-29 2019-10-03 주식회사 지씨에스 피부 관리 시스템 및 방법
JP2020521178A (ja) * 2017-05-25 2020-07-16 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation モバイル・デバイス用のマイクロレンズ・アダプタ
CN112822411A (zh) * 2019-11-18 2021-05-18 富士施乐株式会社 信息处理装置与其系统及方法、点亮装置、及记录介质
CN113839733A (zh) * 2021-09-28 2021-12-24 北京航空航天大学 一种用于光通信的时钟同步装置与方法
US11391938B2 (en) 2017-09-04 2022-07-19 International Business Machines Corporation Microlens adapter for mobile devices

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003179556A (ja) * 2001-09-21 2003-06-27 Casio Comput Co Ltd 情報伝送方式、情報伝送システム、撮像装置、および、情報伝送方法
JP2010160286A (ja) * 2009-01-07 2010-07-22 Softbank Mobile Corp 携帯電話用拡張機器
JP2011254317A (ja) * 2010-06-02 2011-12-15 Sony Corp 送信装置、送信方法、受信装置、受信方法、通信システムおよび通信方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003179556A (ja) * 2001-09-21 2003-06-27 Casio Comput Co Ltd 情報伝送方式、情報伝送システム、撮像装置、および、情報伝送方法
JP2010160286A (ja) * 2009-01-07 2010-07-22 Softbank Mobile Corp 携帯電話用拡張機器
JP2011254317A (ja) * 2010-06-02 2011-12-15 Sony Corp 送信装置、送信方法、受信装置、受信方法、通信システムおよび通信方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHRISTOS DANAKIS ET AL.: "Using a CMOS Camera Sensor for Visible Light Communication", 3RD IEEE WORKSHOP ON OPTICAL WIRELESS COMMUNICATIONS (OWC'12), JPN6016044016, 2012, pages 1244 - 1248, XP032341559, ISSN: 0003440632, DOI: 10.1109/GLOCOMW.2012.6477759 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017512401A (ja) * 2014-02-14 2017-05-18 フィリップス ライティング ホールディング ビー ヴィ 符号化光
KR20180091589A (ko) * 2017-02-07 2018-08-16 삼성전자주식회사 스킨 정보 제공 방법 및 이를 지원하는 전자 장치
KR102581945B1 (ko) * 2017-02-07 2023-09-25 삼성전자주식회사 스킨 정보 제공 방법 및 이를 지원하는 전자 장치
JP2020521178A (ja) * 2017-05-25 2020-07-16 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation モバイル・デバイス用のマイクロレンズ・アダプタ
JP7249716B2 (ja) 2017-05-25 2023-03-31 インターナショナル・ビジネス・マシーンズ・コーポレーション モバイル・デバイス用のマイクロレンズ・アダプタ
US11391938B2 (en) 2017-09-04 2022-07-19 International Business Machines Corporation Microlens adapter for mobile devices
WO2019190077A1 (ko) * 2018-03-29 2019-10-03 주식회사 지씨에스 피부 관리 시스템 및 방법
CN112822411A (zh) * 2019-11-18 2021-05-18 富士施乐株式会社 信息处理装置与其系统及方法、点亮装置、及记录介质
CN113839733A (zh) * 2021-09-28 2021-12-24 北京航空航天大学 一种用于光通信的时钟同步装置与方法

Also Published As

Publication number Publication date
JP6059012B2 (ja) 2017-01-11

Similar Documents

Publication Publication Date Title
JP6059012B2 (ja) 光通信装置、光通信方法および肌撮像システム
US9547218B2 (en) Lens module and portable photography device
US10949647B2 (en) System and method of efficient illuminator-sensor synchronization to capture images
US11080497B2 (en) Attachment including a targeting optic system that directs illumination from a white light source towards a target area
US9773145B2 (en) Encoded information reading terminal with micro-projector
EP3076330B1 (en) Aimer for barcode scanning
JP6360621B2 (ja) 距離画像取得装置及び距離画像取得方法
CN107408201B (zh) 具有同时的结构化和非结构化照明的数字相机单元
JP5769032B2 (ja) 撮像装置、撮像方法及びプログラム
JP2015169952A (ja) 通信システム、撮像装置、プログラムおよび通信方法
JP4396659B2 (ja) 情報コード読取装置
US20090078773A1 (en) Multiple Configuration Image Scanner
WO2016001339A1 (en) Communicating barcode data
JP5619870B2 (ja) 照明要素を無線制御する照明技法
JP2016173385A (ja) 電子機器及び電子機器の制御方法
JP2015212866A (ja) 光学情報読取装置および光学情報読取方法
CN111656766B (zh) 用于基于图像的服务的设备
JP2004287808A (ja) 携帯型情報端末装置
JP2019135572A (ja) バーコード読取装置、及びバーコード読取方法、プログラム
WO2016194209A1 (ja) 撮像システム
JP2012015637A (ja) 撮像装置およびその制御方法
JP2017123696A (ja) 可視光受信方法
WO2019026472A1 (ja) コンバージョンレンズユニットおよび状態測定システム
KR20140043976A (ko) 감시 장치 및 방법
JP6307922B2 (ja) 撮影システム、撮像装置、発光装置、撮像方法、発光方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150917

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161027

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161208

R150 Certificate of patent or registration of utility model

Ref document number: 6059012

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees