JP2013223043A - 受光装置および伝送システム - Google Patents

受光装置および伝送システム Download PDF

Info

Publication number
JP2013223043A
JP2013223043A JP2012092358A JP2012092358A JP2013223043A JP 2013223043 A JP2013223043 A JP 2013223043A JP 2012092358 A JP2012092358 A JP 2012092358A JP 2012092358 A JP2012092358 A JP 2012092358A JP 2013223043 A JP2013223043 A JP 2013223043A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
exposure
line
multiple
time
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2012092358A
Other languages
English (en)
Inventor
Koreyasu Tatezawa
澤 之 康 立
Kazuhiro Hida
田 和 浩 檜
Tatsuji Ashitani
谷 達 治 芦
Jun Deguchi
口 淳 出
Hideaki Majima
島 秀 明 間
Motohiro Morisaki
崎 元 博 盛
Original Assignee
Toshiba Corp
株式会社東芝
Toshiba Information Systems (Japan) Corp
東芝情報システム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/235Circuitry or methods for compensating for variation in the brightness of the object, e.g. based on electric image signals provided by an electronic image sensor
    • H04N5/2353Circuitry or methods for compensating for variation in the brightness of the object, e.g. based on electric image signals provided by an electronic image sensor by influencing the exposure time, e.g. shutter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control; Control of cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in, e.g. mobile phones, computers or vehicles
    • H04N5/23219Control of camera operation based on recognized human faces, facial parts, facial expressions or other parts of the human body

Abstract

【課題】複数回撮影を行う際に、撮影タイミングの時間差を小さくすることが可能な受光装置、ならびに、この受光装置を用いた伝送システムを提供する。
【解決手段】受光装置は、受光部と、多重露光領域選択部と、多重露光制御部と、読み出し部と、を備える。前記多重露光領域選択部は、所定の単位時間に1回露光すべき単露光ラインと、複数回露光すべき多重露光ラインと、を選択する。前記多重露光制御部は、前記所定の単位時間に、前記単露光ラインを第1の露光時間で1回露光を行うとともに、前記多重露光ラインを前記第1の露光時間で1回目の露光を行い、その後、第2の露光時間で2回目の露光を行う。そして、前記多重露光制御部は、全ての前記単露光ラインの露光量の読み出しが完了するより前に、前記多重露光ラインの2回目の露光を開始する。
【選択図】図1

Description

本発明の実施形態は、受光装置および伝送システムに関する。

一般的な受光装置は、被写体を単位時間当たりに1回、撮影を行う。しかしながら、用途によっては特定の領域のみを複数回撮影することもある。この場合、1回目の撮影タイミングと2回目の撮影タイミングとの時間差が大きいと、被写体が移動するなどして、正確に撮影できないことがある。

特開2007−151143号公報

複数回撮影を行う際に、撮影タイミングの時間差を小さくすることが可能な受光装置、ならびに、この受光装置を用いた伝送システムを提供する。

実施形態によれば、受光装置は、受光部と、多重露光領域選択部と、多重露光制御部と、読み出し部と、を備える。前記受光部は、それぞれが複数の受光素子から構成されるN(Nは2以上の整数)本のラインを有する。前記多重露光領域選択部は、前記N本のラインから、所定の単位時間に1回露光すべき単露光ラインと、複数回露光すべき多重露光ラインと、を選択する。前記多重露光制御部は、前記所定の単位時間に、前記単露光ラインを第1の露光時間で1回露光を行うとともに、前記多重露光ラインを前記第1の露光時間で1回目の露光を行い、その後、第2の露光時間で2回目の露光を行う。前記読み出し部は、前記ラインの露光量を1ラインずつ読み出す。そして、前記多重露光制御部は、全ての前記単露光ラインの露光量の読み出しが完了するより前に、前記多重露光ラインの2回目の露光を開始する。

第1の実施形態に係る受光装置の概略構成を示すブロック図。 多重露光領域選択部2により選択された、多重露光ラインを模式的に示す図。 多重露光制御部3による露光制御、および、読み出し部7による露光量読み出し制御の一例を示すタイミング図。 多重露光制御部3による露光制御、および、読み出し部7による露光量読み出し制御の別の例を示すタイミング図。 第2の実施形態に係る受光装置の概略構成を示すブロック図。 第2の実施形態に係る受光装置の処理動作の一例を示すフローチャート。 第3の実施形態に係る受光装置の概略構成を示すブロック図。 図7の受光装置の処理動作を説明する図。 第4の実施形態に係る受光装置の概略構成を示すブロック図。 図9の受光装置の処理動作を説明する図。 可視光通信システムの概略構成を示すブロック図。 第5の実施形態に係る受光装置13の概略構成を示すブロック図。 多重露光制御部3による露光制御、および、読み出し部7による露光量読み出し制御の例を示すタイミング図。 第6の実施形態に係る受光装置における受光部1の受光素子の配列の例を示す図。 各受光素子の受光特性の概略を示す図。 第7の実施形態に係る受光装置における可視光信号処理部9cの内部構成を示すブロック図。 図16の可視光信号処理部9cの処理動作の一例を示すフローチャート。 図16の可視光信号処理部9cの処理動作を説明する図。 第8の実施形態に係る受光装置の概略構成を示すブロック図。

以下、実施形態について、図面を参照しながら具体的に説明する。

(第1の実施形態)
図1は、第1の実施形態に係る受光装置の概略構成を示すブロック図である。受光装置は、受光部1と、多重露光領域選択部2と、多重露光制御部3と、X方向コントローラ4と、Y方向コントローラ5と、AD(Analog to Digital)コンバータ5とを備えている。

受光部1は、CMOS(Complimentary Metal Oxide Semiconductor)センサあるいはCCD(Charge Coupled Device)センサ等であり、マトリクス状に並ぶ複数の受光素子を有する。より具体的には、X(列)方向にM個およびY(行)方向にN個の受光素子が並んでいる。言い換えると、受光部1はそれぞれがM個の受光素子から構成されるN本のラインを有する。そして、各受光素子が露光することにより、受光部1前方の所定範囲を撮影できる。

多重露光領域選択部2は、受光部1の各ラインから、所定の単位時間に1回露光すべきライン(以下、単露光ラインという)と、複数回露光すべきライン(以下、多重露光ラインという)とを選択する。本実施形態では、多重露光領域選択部2は、外部からのレジスタ設定に基づいて、選択を行うものとする。なお、N本のラインのすべてが単露光ラインおよび複数露光ラインのいずれかに設定されてもよいし、少なくとも1本のラインが全く露光されないラインであってもよい。

多重露光制御部3は、上記の単位時間に、単露光ラインを第1の露光時間で1回露光する。また、多重露光制御部3は、上記の単位時間に、多重露光ラインを、1回目は第1の露光時間で露光し、2回目は第2の露光時間で露光する。第2の露光時間は第1の露光時間と等しくてもよいし、第1の露光時間より短くてもよい。また、多重露光制御部3は、多重露光ラインを3回以上露光してもよく、3回目以降の露光時間については特に問わない。

多重露光制御部3は、例えば、蓄積されている電荷を排出するリセット動作により、任意のラインを露光する。多重露光制御部3は同時に2本以上のラインの露光を開始することもできる。また、露光の順序は任意であり、必ずしも1本目のラインからN本目のラインをこの順に露光しなくてもよい。

本実施形態の特徴の1つは、露光の順序を工夫することにより、多重露光ラインの1回目の露光と2回目(あるいはそれ以降)の露光との時間差を小さくすることである。

X方向コントローラ4は受光部1のどの列の受光素子の露光量を読み出すかを指定する。また、Y方向コントローラ5は受光部1のどの行の受光素子の露光量を読み出すかを指定する。ADコンバータ5は読み出された露光量をデジタル値に変換して出力する。X方向コントローラ4、Y方向コントローラ5およびADコンバータ5は、読み出し部7を形成する。読み出し部7の構成上、X方向コントローラ4は全列の受光素子を読み出すよう指定することもできるが、Y方向コントローラ5は1行のみを指定できる。よって、読み出し部7は露光量を1ラインずつ読み出すことになる。

以下、受光装置の処理動作について詳しく説明する。

図2は、多重露光領域選択部2により選択された、多重露光ラインを模式的に示す図である。本実施形態では、同図に示すように、5本目のラインL5〜14本目のラインL14が、多重露光ラインとして選択されたものとする。

図3は、多重露光制御部3による露光制御、および、読み出し部7による露光量読み出し制御の一例を示すタイミング図である。同図は、受光部1のライン数を15としている。そして、ラインL5〜ラインL14が多重露光ラインであり、ラインL1〜L4,L15が単露光ラインである。また、同図では、多重露光ラインを2回露光する例を示している。

多重露光制御部3は時刻t0でラインL1の露光を開始する、すなわち、リセット動作を行う。そして、多重露光制御部3は、第1の露光時間T1が経過した時刻t2で、露光を終了する。同時に、時刻t2で、読み出し部7はラインL1の各受光素子の露光量を読み出す(以下、単に「ラインL1の露光量を読み出す」ともいう)。第1の露光時間T1は、例えば1/30秒あるいは1/60秒である。また、時刻t0より後の時刻t1で、多重露光制御部3はラインL2の露光を開始する。そして、時刻t1から第1の露光時間T1が経過した時刻t3で、読み出し部7はラインL2の露光量を読み出す。

このように各ラインの読み出し時間をずらす理由は、上述のように、読み出し部7が1ラインずつ読み出しを行うためである。時刻t2と時刻t3との時間差は、読み出し部7の読み出し周波数により定まる。

ラインL1〜ラインL15まで順に露光および読み出しを行い、時刻t6でラインL15の露光量が読み出される。これにより、全ての単露光ラインの露光量読み出しが完了する。

ここで、多重露光制御部3は、全ての単露光ラインの読み出しが完了する時刻t6より前に、少なくとも1つの多重露光ラインの2回目の露光を開始する。すなわち、時刻t4におけるラインL5の1回目の露光量読み出しの直後、言い換えると、ラインL5に引き続いて露光されるラインL6の1回目の露光量読み出しとほぼ同時の時刻t5に、多重露光制御部3はラインL5の2回目の露光を開始する。そして、時刻t5から第2の露光時間T2が経過した時刻t7で、読み出し部7はラインL5の露光量を読み出す。

同様に、ラインL6についても、多重露光制御部3は、ラインL7の1回目の露光量読み出しとほぼ同時刻に、2回目の露光を開始する。以下、多重露光ラインについて、露光開始時刻をずらしながら、順次読み出しを行う。

このように、図3では、多重露光ラインの1回目の露光量を読み出した直後に、同ラインの2回目の露光を開始する。これにより、多重露光ラインの1回目の露光と2回目の露光との時間差を小さくすることができる。

図4は、多重露光制御部3による露光制御、および、読み出し部7による露光量読み出し制御の別の例を示すタイミング図である。同図は、受光部1のライン数を22としている。そして、ラインL5〜ラインL14が多重露光ラインであり、ラインL1〜L4,L15〜L22が単露光ラインである。また、同図では、多重露光ラインを3回露光する例を示している。

図4では、まず、単露光ラインL1〜L4について、露光および読み出しが行われる。続いて、多重露光ラインL5〜L14について、1回目の露光および読み出しが行われる。

そして、時刻t11におけるラインL14の1回目の露光量読み出しの次に、ラインL5の2回目の露光量読み出しが時刻t12において行われるよう、時刻t12より第2の露光時間T2だけ前の時刻t10で、多重露光制御部3はラインL5の2回目の露光を開始する。以下、多重露光ラインL6〜L14について、露光開始時刻をずらしながら、順次2回目の読み出しを行う。

そして、時刻t14におけるラインL14の2回目の露光量読み出しの次に、ラインL5の3回目の露光量読み出しが時刻t15において行われるよう、時刻t15より第2の露光時間T2だけ前の時刻t13で、多重露光制御部3はラインL5の3回目の露光を開始する。以下、ラインL6〜L14について、順次3回目の露光および読み出しが行われる。

そして、時刻t19におけるラインL14の3回目の露光量読み出しの次に、単露光ラインL15の露光量読み出しが時刻t20において行われるよう、時刻t20より第1の露光時間T1だけ前の時刻t15で、多重露光制御部3はラインL15の露光を開始する。以下、単露光ラインL16〜L22について、露光開始時刻をずらしながら、順次読み出しを行う。

このように、図4では、単露光ラインの一部について露光および読み出しを行い、その後に、多重露光ラインの1回目および2回目(必要に応じて3回目以降があってもよい)の露光および読み出しを行い、その後に、他の単露光ラインについて露光および読み出しを行う。これにより、多重露光ラインの1回目の露光と2回目の露光との時間差を小さくすることができる。

以上説明したように、第1の実施形態では、1回露光すべき全てのラインの露光量の読み出しが完了する前に、多重露光ラインの2回目の露光を開始するため、多重露光ラインの1回目の露光と2回目の露光との時間差を小さくできる。

(第2の実施形態)
上述した第1の実施形態では、外部からのレジスタ設定に基づいて、多重露光領域選択部2が単露光ラインと多重露光ラインとを選択するものであった。これに対し、以下に説明する第2の実施形態では、露光の結果得られる画像に基づいて選択を行うとともに、1回露光したラインの露光量から得られる画像および複数回露光したラインの露光量から得られる画像を用いて、画像処理を行うものである。

図5は、第2の実施形態に係る受光装置の概略構成を示すブロック図である。受光装置がフレームバッファ8および画像処理部9をさらに備えること、および、多重露光領域選択部2の処理が、第1の実施形態との主な相違点である。

フレームバッファ8は、ADコンバータの出力を用いて、各ラインから読み出された露光量に対応する画像、すなわち、受光部1により撮影された画像を生成する。画像処理部9は、生成された画像を用いて、所定の画像処理を行う。また、本実施形態の多重露光領域選択部2は、フレームバッファ8により生成された画像を用いて、単露光ラインと多重露光ラインとを選択する。

図6は、第2の実施形態に係る受光装置の処理動作の一例を示すフローチャートである。

まず、フレームバッファ8は各ラインから読み出された露光量に対応する画像を生成する(ステップS1)。ここで生成される画像は、通常通り、各ラインとも1回露光した時の露光量に対応する画像である。以降では、ステップS1で生成される画像を、多重露光領域選択用画像と呼ぶ。この多重露光領域選択用画像は、後述する全体画像および部分画像に先立って生成される画像である。

そして、多重露光領域選択部2は、生成された多重露光領域選択用画像を用いて、受光部1のN本のラインから、単露光ラインと、多重露光ラインとを選択する(ステップS2)。

次に、多重露光制御部3および読み出し部7は、第1の実施形態で説明したような露光および読み出しを行い、フレームバッファ8は露光量に対応する複数の画像を生成する(ステップS3)。

複数の画像のうちの1つは、単露光ラインの露光量および多重露光ラインの1回目の露光量に対応する画像である。言い換えると、第1の露光時間で撮影された画像である。N本のラインのすべてが単露光ラインおよび複数露光ラインのいずれかに設定される場合、この画像の画素数は受光部1の受光素子数と等しく、行方向の画素数はNである。よって、この画像を、以降では便宜上、全体画像(第1の画像)と呼ぶ。なお、いずれかのラインが全く露光されないラインである場合は行方向の画素数はNより少ないが、この場合も全体画像とよぶ。

また、複数の画像のうちの他の1つは、多重露光ラインの2回目の露光量に対応する画像である。言い換えると、第2の露光時間で撮影された画像である。この画像の行方向の画素数は多重露光ラインの数と等しい。よって、この画像を、以降では便器上、部分画像(第2の画像)と呼ぶ。なお、全ラインが多重露光ラインであってもよく、この場合、部分画像の行方向の画素数はNであるが、この場合も部分画像と呼ぶ。また、3回以上の露光を行う場合、画像処理部9は3つ以上の画像を生成してもよい。

そして、必要に応じて、画像処理部9は全体画像および部分画像を用いて画像処理を行う(ステップS4)。

このように、第2の実施形態では、多重露光領域選択用画像を生成し、これを用いて多重露光ラインを選択する。そのため、外部から手動設定することなく、自動的に多重露光ラインを選択できる。

(第3の実施形態)
第3の実施形態は、第2の実施形態の具体例の1つであり、顔検出を行うとともに、ノイズ除去処理を行うものである。

図7は、第3の実施形態に係る受光装置の概略構成を示すブロック図である。本実施形態における多重露光領域選択部2は、多重露光領域選択用画像から人間の顔を検出する顔検出部2aである。顔検出は公知の手法を用いて行われ、例えば肌色や目、鼻および口等の特徴に基づいて顔が検出される。また、本実施形態における画像処理部9は、全体画像および部分画像を用いてノイズ除去処理を行うノイズ除去部9aである。

図8は、図7の受光装置の処理動作を説明する図である。

図8(a)は、フレームバッファ8により生成された多重露光領域選択用画像の例である。顔検出部2aはこの多重露光領域選択用画像から顔81を検出する。そして、顔検出部2aは、顔81を含むラインを多重露光ラインとし、他の領域を単露光ラインとする。

図8(b1),(b2)は、露光制御および露光量読み出し制御のタイミングを示す図である。多重露光制御部3および読み出し部7は、第1の実施形態で説明したような露光および読み出しを行う。なお、同図(b1)は図3を模式的に描いた図であり、同図(b2)は図4を模式的に描いた図である。

図8(c)は、画像処理部9により生成される全体画像および部分画像を示す図である。ノイズ除去部9aは、全体画像および部分画像を用いて、両画像の重複する領域を平均する等、時間方向を含む3次元ノイズ除去処理を行って出力画像を生成する。

このように、第3の実施形態では、人間が注目し、ノイズが目立ちやすい顔部分を複数回撮影する。そのため、ノイズ除去部9aの処理負担が大幅に増加することなく、視覚的に重要な領域について特に高画質な出力画像を生成できる。また、顔を撮影するラインにおける1回目の露光と2回目の露光との時間差が小さいため、全体画像用に顔部分を撮影してすぐに部分画像用の撮影をでき、両画像間で被写体が大きく動いてしまうのを抑制できる。

(第4の実施形態)
第4の実施形態は、第2の実施形態の他の具体例の1つであり、HDR(High Dynamic Range)処理を行うものである。HDR処理とは、センサの構成や動作の工夫により通常よりも広い階調を得る技術であり、例えば露光時間が異なる複数の画像を合成して、広いダイナミックレンジを限られた階調で表現する。

図9は、第4の実施形態に係る受光装置の概略構成を示すブロック図である。本実施形態における多重露光領域選択部2は、多重露光領域選択用画像から、HDR撮影すべき領域を検出するHDR撮影領域検出部2bである。また、本実施形態における画像処理部9は、HDR処理を行うHDR処理部9bである。

HDR撮影領域検出部2bは、多重露光領域選択用画像における輝度に基づいて、HDR撮影すべきラインを検出し、多重露光ラインとする。

例えば、HDR撮影領域検出部2bは、所定の範囲を超える輝度の画素が連続している、あるいは、ある割合以上存在する領域を検出し、そのY方向のラインをHDR撮影すべきラインとすることができる。所定の範囲を超えるとは輝度が飽和している場合も含む。飽和していることは、ADコンバータ5が最大コードまたは最小コードを出力していることから検出できる。あるいは、第3の実施形態と同様に、HDR撮影領域検出部2bは、人間の顔等、特に高画質であることが望まれる重要な領域を検出して、HDR撮影すべきラインとしてもよい。

図10は、図9の受光装置の処理動作を説明する図である。同図(a)はトンネル内からトンネル外を見たシーンを描いており、トンネル内は薄暗いがトンネル外は明るい。この場合、トンネル内の明るさに合わせて露光時間を長くして撮影すると、トンネル内は適切に撮影できるが、トンネル外は明るすぎるために白とびや階調不足が発生し、正確な階調が表現できなくなる。一方、トンネル外の明るさに合わせて露光時間を短くして撮影すると、トンネル外は適切に撮影できるが、トンネル内は暗すぎるために黒潰れや階調不足が発生し、正確な階調が表現できなくなる。

そこで、HDR撮影領域検出部2bは、多重露光領域選択用画像からトンネル外に相当するラインを検出し、HDR撮影すべきライン、すなわち、多重露光ラインとする。そして、同図(b)に示すように、多重露光制御部3および読み出し部7は、第1の実施形態で説明したような露光および読み出しを行う。ここで、トンネル内よりトンネル外の方が明るいため、単露光ラインの露光時間および複数回露光すべき領域の1回目の露光時間(すなわち第1の露光時間)を長くして全体画像を生成し、多重露光ラインの2回目の露光時間(すなわち第2の露光時間)を短くして部分画像を生成する(同図(c))。

そして、HDR処理部9bは、全体画像および部分画像を用いて、HDR処理を行う。例えば、HDR部は、トンネル内については全体画像を、トンネル外については部分画像を用いて両画像を合成する。これにより、トンネル内もトンネル外も、階調不足等が発生することなく、高品位な画像が得られる。

なお、図10では、画像の明るい部分を検出して2回目に短時間の露光を行う例を示しているが、逆に画像の暗い部分を検出して2回目に長時間の露光を行ってもよい。また、図10では、画像の一部をHDR撮影する例を示しているが、画像全体をHDR撮影してもよい。

このように、第4の実施形態では、多重露光を行うことで、簡易にHDR処理を実現できる。

(第5の実施形態)
第5の実施形態は、受光装置を可視光通信に用いるものである。

図11は、可視光通信システムの概略構成を示すブロック図である。可視光通信システムは、送信装置100および受信装置200を用い、データを伝送するものである。送信装置100は、送信すべきデータを所定の周波数で変調して変調信号を生成する変調部11と、変調信号に応じて点滅する可視光を照射するLED(Light Emitting Diode)等の光源12とを有する。光源12は1つでもよいし複数個あってもよい。

図12は、第5の実施形態に係る受光装置13の概略構成を示すブロック図であり、図11の受信装置100に用いられるものである。

本実施形態における多重露光領域選択部2は、フレームバッファ8により生成された多重露光領域選択用画像を用いて、光源12の位置を検出する光源検出部2cである。光源検出部2cは、検出された光源12を含むラインを、多重露光ラインとする。光源12の位置を検出するには、例えば光源12を予め定めたパターンの同期信号で点滅させる。そして、光源検出部2cはこのパターンを探索することで、光源12の位置を検出できる。

受光部1は光源12から照射された可視光により露光される。読み出し部7は各ラインの露光量を読み出す。フレームバッファ8は露光量に対応した複数の画像を生成する。本実施形態における画像処理部9は、生成された複数の画像を用いて復調処理を行う、可視光信号処理部9cである。複数の画像を用いて復調処理を行うことにより、復調の精度を向上できる。

上記の複数の画像とは、上述した全体画像および部分画像であってもよいし、図13に示すような露光制御および読み出し制御を行って生成される、光源12およびその近辺を含むラインのみからなる複数の画像であってもよい。この場合、全体画像を生成しなくてもよい。以下では、便宜上、全体画像を生成しない場合の、光源12およびその近辺を含むラインのみからなる複数の画像をクロップ(crop)画像と呼ぶ。可視光通信に特化する場合は、図13に示すように検出された光源12およびその近辺を含むラインに対してのみ、露光および読み出しを行ってもよい。この場合、1回目の露光時間を長くし、2回目以降の露光時間を短くしてもよい。

以下では、特に可視光通信に有用な実施形態を説明する。

(第6の実施形態)
第6の実施形態は、受光部1の受光素子の配列に関するものである。

図14は、第6の実施形態に係る受光装置における受光部1の受光素子の配列の例を示す図である。受光部1は、R受光素子と、G受光素子と、B受光素子と、W受光素子とを含む。

図15は、各受光素子の受光特性の概略を示す図である。図示のように、R受光素子は、可視光のうち、主に、赤色に相当する所定の波長(第1の波長)近辺の光を受光する。G受光素子は、可視光のうち、主に、緑色に相当する所定の波長(第1の波長より短い第2の波長)近辺の光を受光する。B受光素子は、可視光のうち、主に、青色に相当する所定の波長(第2の波長より短い第3の波長)近辺の光を受光する。W受光素子は、赤色、緑色および青色のいずれに相当する波長の光も受光する。

R受光素子は、例えば受光素子の上方に、赤色に対して透過率が高く他の色に対して透過率が小さいカラーフィルタを配置することで実現できる。G,B受光素子も同様である。また、W受光素子は、カラーフィルタを配置しないことで実現できる。受光部1がR,G,B受光素子を有することでカラー画像を生成できる。

さらに、本実施形態の特徴として、通常のベイヤー配列とは異なり、W受光素子の数が、R,G,B受光素子のそれぞれの数より多い。好ましくは、W受光素子の数は、R,G,B受光素子の和に等しい。波長に関わらず受光可能なW受光素子を多く設けることにより、可視光通信時の感度が向上する。また、R,G,B受光素子の数は特に制限はなく、互いに等しくてもよいしG受光素子の数を多くしてもよい。

具体的には、R,G,B,W受光素子の数の比は、図14(a),(c),(d)において1:1:1:3であり、図14(b),(e)において1:2:1:4である。また、図14(a),(b),(d),(e)は、連続する2ラインがR,G,B,W受光素子を含む配列の例であり、図14(c)、1ラインがR,G,B,W受光素子を含む配列の例である。

読み出し部7は、全体画像(あるいは、図13における1つ目のクロップ画像)を生成する場合、R,G,B,W受光素子の露光量を読み出す。これにより通常の撮影を行うことができる。一方、読み出し部7は、部分画像(あるいは、図13における2つ目以降のクロップ画像)を生成する場合、X方向コントローラ4の制御により、W受光素子の露光量のみを読み出す。そして、可視光信号処理部9cは、W受光素子の露光量に対応する画像を用いて復調処理を行う。W受光素子は短波長から長波長にわたる可視光を受光できる。よって、光源12が照射する可視光が暗い場合や光源12が遠い位置にある場合でも、感度よく可視光を受光でき、復調の精度が向上する。また、部分画像等を生成する際の露光時間、すなわち、図3等の第2の露光時間T2を短くすることで、光源12が高い周波数の可視光が照射する場合にも対応できる。

別の手法として、部分画像等を生成する場合に、読み出し部7はR,G,B,W受光素子の露光量を読み出してもよいし、これらの露光量を読み出すとともに加算してもよい。R,G,B,W受光素子を用いることで、光源12が照射する可視光の波長が長い場合や短い場合でも、受光感度を向上できる。加算する場合、例えば図14の一点鎖線で囲んだ受光素子の露光量を加算することが考えられる。すなわち、同図(c)のように、1ラインにR,G,B,W受光素子が含まれる場合は1列*6行の受光素子を単位として加算すればよい。また、同図(a),(b),(d),(e)のように、2ラインにまたがってR,G,B,W受光素子が含まれる場合は2列*3行または2列*4行の受光素子を単位として加算すればよい。

このように、第6の実施形態では、W受光素子を多く設ける。そのため、可視光通信を行う際に、可視光の受信感度を向上できる。

(第7の実施形態)
可視光通信を行う場合、通常の画像のみならず復調処理用の画像をも取得する必要がある。そのため、データ処理量が増大し、撮影のフレームレートを高くできないことがある。そこで、第7の実施形態では、データ量を圧縮して処理するものである。

図16は、第7の実施形態に係る受光装置における可視光信号処理部9cの内部構成を示すブロック図である。可視光信号処理部9cは、可視光候補探索部21と、可視光輝度算出部22と、可視光信号メモリ23と、可視光検出部24と、可視光デコード部25とを有する。

可視光候補探索部21は、図13における1つ目のクロップ画像の輝度に基づいて、光源12が照射する可視光のX方向の位置の候補を探索し、候補の座標を出力する。より具体的には、可視光探索部21は、輝度が所定値より高い、1または複数のX座標を算出する。可視光輝度算出部22は、図13における2つ目のクロップ画像内のライン毎に、上記X座標のそれぞれについて、当該X座標を含む所定範囲の輝度の合計値(以下、単に座標Xの輝度値という)を算出する。

可視光信号メモリ23は、2つ目のクロップ画像内のライン毎に、X座標とX座標の輝度値とを関連付けて記憶する。可視光検出部24は、可視光信号メモリ23に記憶されたX座標の輝度値に基づいて、各X座標が光源12からの可視光を撮影したものか否かを判断し、可視光の位置の候補の中から可視光のX座標を検出する。可視光デコード部25は、検出された可視光の座標Xの輝度値に基づいて、受信データを生成する。

図17は、図16の可視光信号処理部9cの処理動作の一例を示すフローチャートである。また、図18は、図16の可視光信号処理部9cの処理動作を説明する図である。

まず、可視光候補探索部21は、1つ目のクロップ画像の輝度に基づいて、光源12が照射する可視光の位置の候補座標Xを出力する(図17のステップS11)。図18(a)は、4本のラインL1〜L4から構成される1つ目のクロップ画像を模式的に示している。同図では、輝度が高い領域である座標X1,X2,X3が可視光の候補座標とされている。

続いて、可視光輝度算出部22は、2つ目のクロップ画像内のライン毎に、座標Xの輝度値を算出する(図17のステップS12)。図18(b)では、2つ目のクロップ画像をライン毎に描いている。同図では、ラインLi(i=1〜4)における座標Xk(k=1〜3)の輝度値をAikとしている。

算出されたラインLiの座標Xkの輝度値Aikは可視光信号メモリ23に記憶される(図17のステップS13)。実際には1ラインずつ輝度値Aikが算出されるので、2つ目のクロップ画像全体の輝度値Aikを蓄えておく必要がある。

記憶された輝度値Aikに基づいて、可視光検出部24は座標Xiが光源12からの可視光を撮影したものか否かを判断する。例えば、可視光検出部24は、座標Xiの輝度値A1i〜A4iが予め定めた同期信号のパターンを含んでいれば、可視光を撮影したものと判断できる。あるいは、可視光検出部24は、パリティチェック等、符号の正しさを検定して判断してもよい。このようにして可視光検出部24は、座標Xiのうちのいずれに可視光信号が現れるかを検出する(ステップS14)。言い換えると、可視光検出部24は候補座標Xのいずれが光源12を撮影したものかを検出する。

そして、可視光デコード部25は、検出された可視光を撮影した座標Xiにおける輝度値Ai〜A4iをデコードして、受信データを生成する(ステップS15)。

このように、第7の実施形態では、2つ目のクロップ画像の全体を用いるのではなく、可視光信号の候補の座標の輝度値のみを可視光信号メモリ23に記憶して処理する。そのため、可視光信号処理部9cの処理量を削減できる。また、可視光信号の候補の座標のみならず、その周囲の座標の輝度値の情報も用いるため、光源12がわずかに移動した場合でも、高精度に受信データを生成できる。

なお、図13における1つ目のクロップ画像に代えて全体画像を用いてもよいし、2つ目のクロップ画像に代えて部分画像を用いてもよい。

(第8の実施形態)
以下に説明する第8の実施形態は、1回目の露光量に基づいて、2回目の露光の感度を調整するものである。

図19は、第8の実施形態に係る受光装置の概略構成を示すブロック図である。本実施形態の画像処理部9は、全体画像または1回目のクロップ画像の輝度に基づいて、1回目の露光量が適切か、過多であるか、過少であるかを判断する。例えば、画像処理部9は、画像における複数ライン(例えば4ライン)、あるいは、ある領域(例えば8*8画素の領域)の輝度の最大値が所定範囲内であれば露光量が適切と判断し、この範囲より高ければ過多であり、この範囲より低ければ過少であると判断する。また、画像処理部9は、可視光を照射する光源12の位置を検出し、光源12を撮影している領域について、上記のように判断してもよい。

また、受光装置は感度調整部10を備えている。感度調整部10は、1回目の露光量に応じて、受光部1の2回目(あるいは3回目以降)の露光の感度を調整する。例えば、感度調整部10は、1回目の露光量が過多である場合、アナログゲインを小さくしたり、電荷加算ビニング(binning)をオフしたりすることにより、感度を下げる。逆に、感度調整部10は、1回目の露光量が過少である場合、アナログゲインを大きくしたり、電荷加算ビニングをオンしたりすることにより、感度を上げる。

もちろん、2回目の露光量に基づいて3回目の露光量の感度を調整してもよい。

このように、第8の実施形態では、1回目の露光量に基づいて2回目の露光の感度を調整するため2回目の露光の感度が適切に設定される。よって、2回目の露光量に対応する画像を用いて、高精度に可視光信号処理等の処理を行うことができる。

上述した実施形態で説明した受光装置の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、受光装置システムの少なくとも一部の機能を実現するプログラムをフレキシブルディスクやCD−ROM等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。

また、受光装置システムの少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線(無線通信も含む)を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

なお、特許請求の範囲に記載の態様の他、下記の態様が考えられる。

(例1)請求項1に記載の受光装置において、
前記多重露光領域選択部は、K本目のラインから(K+L)本目のライン(Kは1≦K≦Nを満たす整数、Lは0≦K+L≦Nを満たす整数)を前記多重露光ラインとして選択し、
前記多重露光制御部は、前記K本目のラインから前記(K+L)本目のラインに対してこの順で1回目の露光を行い、(K+1)本目のラインの1回目の露光量が読み出されるのと略同時に、K本目のラインの2回目の露光を開始する。

(例2)請求項1に記載の受光装置において、
前記多重露光領域選択部は、K本目のラインから(K+L)本目のライン(Kは1≦K≦Nを満たす整数、Lは0≦K+L≦Nを満たす整数)を前記多重露光ラインとして選択し、
前記多重露光制御部は、前記K本目のラインから前記(K+L)本目のラインに対してこの順で1回目の露光を行い、前記(K+L)本目のラインの露光量が読み出された次に、前記K本目のラインの2回目の露光量が読み出されるよう、前記K本目のラインの2回目の露光を開始する。

(例3)請求項1に記載の受光装置において、
前記多重露光領域選択部は、外部からの設定に応じて、前記単露光ラインと、前記多重露光ラインと、を選択する。

(例4)請求項3に記載の受光装置において、
前記多重露光領域選択部は、前記フレームバッファにより生成された画像から顔検出を行い、検出された顔を含むラインを前記多重露光ラインとして選択し、
前記画像処理部は、前記第1の画像および前記第2の画像を用いて、ノイズ除去処理を行う。

(例5)請求項3に記載の受光装置において、
前記多重露光領域選択部は、前記フレームバッファにより生成された画像の輝度に基づき、ハイダイナミックレンジ処理を行うべきラインを前記多重露光ラインとして選択し、
前記画像処理部は、前記第1の画像および前記第2の画像を用いて、ハイダイナミックレンジ処理を行う。

(例6)請求項4に記載の受光装置において、
前記受光部は、
可視光のうち第1の波長近辺の光を受光する第1の受光素子、
可視光のうち前記第1の波長より短い第2の波長近辺の光を受光する第2の受光素子、
可視光のうち前記第2の波長より短い第3の波長近辺の光を受光する第3の受光素子、および
前記第1の波長から前記第3の波長の近辺の光を受光する第4の受光素子、を含み、
前記第4の受光素子の数は、前記第1の受光素子の数、前記第2の受光素子の数および前記第3の受光素子の数より多い。

(例7)請求項4に記載の受光装置において、
前記第4の受光素子の数は、前記第1の受光素子、前記第2の受光素子および前記第3の受光素子の数の和と等しい。

(例8)請求項4に記載の受光装置において、
前記可視光信号処理部は、前記多重露光ラインにおける前記第4の受光素子の露光量に基づいて、前記受信データを生成する。

(例9)請求項4に記載の受光装置において、
前記可視光信号処理部は、前記多重露光ラインにおける前記第1乃至第4の受光素子の露光量に基づいて、前記受信データを生成する。

(例10)請求項4に記載の受光装置において、
前記読み出された露光量に対応する画像を生成するフレームバッファを備え、
前記可視光信号処理部は、
前記多重露光ラインの1回目の露光量に対応する画像の輝度に基づいて、前記光源からの可視光の候補位置を探索する可視光候補探索部と、
前記多重露光ラインの2回目の露光量に対応する画像におけるラインごとに、前記候補位置のそれぞれについて、前記候補位置を含む所定範囲の輝度値を算出する可視光輝度算出部と、を有する。

(例11)上記(例10)に記載の受光装置において、
前記可視光信号処理部は、
前記多重露光ラインの2回目の露光量に対応する画像におけるラインごとに、前記候補位置のそれぞれについて、前記輝度値を記憶する可視光信号メモリと、
前記記憶された輝度の合計値に基づいて前記光源が照射する可視光の位置を可視光検出部と、
前記検出された位置可視光の位置における前記輝度値に基づいて、前記受信データを生成する可視光デコード部と、を有する。

(例12)請求項4に記載の受光装置において、
前記読み出された露光量に対応する画像を生成するフレームバッファと、
前記生成された画像の輝度に基づいて、前記受光部の感度を調整する感度調整部を備える。

(例13)請求項5に記載の伝送システムにおいて、
前記受光部は、
可視光のうち第1の波長近辺の光を受光する第1の受光素子、
可視光のうち前記第1の波長より長い第2の波長近辺の光を受光する第2の受光素子、
可視光のうち前記第2の波長より長い第3の波長近辺の光を受光する第3の受光素子、および
前記第1の波長から前記第3の波長の近辺の光を受光する第4の受光素子、を含み、
前記第4の受光素子の数は、前記第1の受光素子の数、前記第2の受光素子の数および前記第3の受光素子の数より多い。

(例14)請求項5に記載の伝送システムにおいて、
前記受信装置は、
前記読み出された露光量に対応する画像を生成するフレームバッファと、
前記生成された画像の輝度に基づいて、前記受光部の感度を調整する感度調整部を備える。

(例15)
それぞれが複数の受光素子から構成されるN(Nは2以上の整数)本のラインを有する受光部を有する受光装置用いた受光方法であって、
前記N本のラインから、所定の単位時間に単露光ラインと、複数回露光すべき多重ラインと、を選択するステップと、
前記所定の単位時間に、前記単露光ラインを第1の露光時間で1回露光を行うとともに、前記多重露光ラインを前記第1の露光時間で1回目の露光を行い、その後、第2の露光時間で2回目の露光を行うステップと、
前記ラインの露光量を1ラインずつ読み出すステップと、を備え、
前記露光を行うステップは、全ての前記1回露光すべきラインの露光量の読み出しが完了するより前に、前記複数回露光すべきラインの2回目の露光を開始することを特徴とする受光方法。

1 受光部
2 多重露光領域選択部
2a 顔検出部
2b HDR撮影領域検出部
2c 光源検出部
3 多重露光制御部
4 X方向コントローラ
5 Y方向コントローラ
6 ADコンバータ
7 読み出し部
8 フレームバッファ
9 画像処理部
9a ノイズ除去部
9b HDR処理部
9c 可視光信号処理部
10 感度調整部
11 変調部
12 光源
13 受光装置
21 可視光候補探索部
22 可視光輝度算出部
23 可視光信号メモリ
24 可視光検出部
25 可視光デコード部
100 送信装置
200 受信装置

Claims (5)

  1. それぞれが複数の受光素子から構成されるN(Nは2以上の整数)本のラインを有する受光部と、
    前記N本のラインから、所定の単位時間に1回露光すべき単露光ラインと、複数回露光すべき多重露光ラインと、を選択する多重露光領域選択部と、
    前記所定の単位時間に、前記単露光ラインを第1の露光時間で1回露光を行うとともに、前記多重露光ラインを前記第1の露光時間で1回目の露光を行い、その後、第2の露光時間で2回目の露光を行う多重露光制御部と、
    前記ラインの露光量を1ラインずつ読み出す読み出し部と、を備え、
    前記多重露光制御部は、全ての前記単露光ラインの露光量の読み出しが完了するより前に、前記多重露光ラインの2回目の露光を開始することを特徴とする受光装置。
  2. 前記読み出された露光量に対応する画像を生成するフレームバッファを備え、
    前記多重露光領域選択部は、前記生成された画像に基づいて、前記単露光ラインと、前記多重露光ラインと、を選択することを特徴とする請求項1に記載の受光装置。
  3. 前記フレームバッファは、前記単露光ラインの露光量および前記多重露光ラインの1回目の露光量に対応する第1の画像と、前記多重露光ラインの2回目の露光量に対応する第2の画像と、を生成し、
    受光装置は、前記第1の画像および前記第2の画像を用いた画像処理を行う画像処理部を備えることを特徴とする請求項2に記載の受光装置。
  4. 前記多重露光領域選択部は、所定の送信データに応じた可視光を照射する光源からの可視光により露光されるラインを、前記多重露光ラインとして選択し、
    受光装置は、前記多重露光ラインの2回目の露光量に基づいて、前記送信データに対応する受信データを生成する可視光信号処理部を備えることを特徴とする請求項1に記載の受光装置。
  5. 送信データに応じた可視光を照射する光源を有する送信装置と、
    前記送信データに対応する受信データを生成する受信装置と、を備える伝送システムであって、
    前記受信装置は、
    それぞれが複数の受光素子から構成されるN(Nは2以上の整数)本のラインを有する受光部と、
    前記N本のラインから、所定の単位時間に1回露光すべき単露光ラインと、複数回露光すべき多重露光ラインと、を選択する多重露光領域選択部と、
    前記所定の単位時間に、前記単露光ラインを第1の露光時間で1回露光を行うとともに、前記多重露光ラインを前記第1の露光時間で1回目の露光を行い、その後、第2の露光時間で2回目の露光を行う多重露光制御部と、
    前記ラインの露光量を1ラインずつ読み出す読み出し部と、
    前記多重露光ラインの2回目の露光量に基づいて、前記送信データに対応する受信データを生成する可視光信号処理部を備え、
    前記多重露光領域選択部は、前記光源からの可視光により露光されるラインを、前記多重露光ラインとして選択し、
    前記多重露光制御部は、全ての前記単露光ラインの露光量の読み出しが完了するより前に、前記多重露光ラインの2回目の露光を開始することを特徴とする伝送システム。
JP2012092358A 2012-04-13 2012-04-13 受光装置および伝送システム Abandoned JP2013223043A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012092358A JP2013223043A (ja) 2012-04-13 2012-04-13 受光装置および伝送システム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012092358A JP2013223043A (ja) 2012-04-13 2012-04-13 受光装置および伝送システム
US13762740 US8976279B2 (en) 2012-04-13 2013-02-08 Light receiver, method and transmission system with time variable exposure configurations
KR20130018376A KR101470126B1 (ko) 2012-04-13 2013-02-21 수광 장치, 수광 방법 및 전송 시스템
CN 201310068594 CN103379287A (zh) 2012-04-13 2013-03-05 受光装置、受光方法以及传输系统

Publications (1)

Publication Number Publication Date
JP2013223043A true true JP2013223043A (ja) 2013-10-28

Family

ID=49324731

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012092358A Abandoned JP2013223043A (ja) 2012-04-13 2012-04-13 受光装置および伝送システム

Country Status (4)

Country Link
US (1) US8976279B2 (ja)
JP (1) JP2013223043A (ja)
KR (1) KR101470126B1 (ja)
CN (1) CN103379287A (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5521125B2 (ja) * 2012-05-24 2014-06-11 パナソニック株式会社 情報通信方法
WO2014103159A1 (ja) * 2012-12-27 2014-07-03 パナソニック株式会社 情報通信方法
US8908074B2 (en) 2012-12-27 2014-12-09 Panasonic Intellectual Property Corporation Of America Information communication method
US8965216B2 (en) 2012-12-27 2015-02-24 Panasonic Intellectual Property Corporation Of America Information communication method
US8988574B2 (en) 2012-12-27 2015-03-24 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information using bright line image
US8994865B2 (en) 2012-12-27 2015-03-31 Panasonic Intellectual Property Corporation Of America Information communication method
US9008352B2 (en) 2012-12-27 2015-04-14 Panasonic Intellectual Property Corporation Of America Video display method
US9088360B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US9087349B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US9085927B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US9262954B2 (en) 2012-12-27 2016-02-16 Panasonic Intellectual Property Corporation Of America Visible light communication signal display method and apparatus
WO2016072238A1 (ja) * 2014-11-06 2016-05-12 ソニー株式会社 画像処理装置、画像表示装置、画像処理方法及び画像表示方法
US9608725B2 (en) 2012-12-27 2017-03-28 Panasonic Intellectual Property Corporation Of America Information processing program, reception program, and information processing apparatus
US9608727B2 (en) 2012-12-27 2017-03-28 Panasonic Intellectual Property Corporation Of America Switched pixel visible light transmitting method, apparatus and program
US9646568B2 (en) 2012-12-27 2017-05-09 Panasonic Intellectual Property Corporation Of America Display method
US9871587B2 (en) 2013-11-22 2018-01-16 Panasonic Intellectual Property Corporation Of America Information processing method for generating encoded signal for visible light communication

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9918017B2 (en) 2012-09-04 2018-03-13 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US8976264B2 (en) 2012-09-04 2015-03-10 Duelight Llc Color balance in digital photography
US9807322B2 (en) 2013-03-15 2017-10-31 Duelight Llc Systems and methods for a digital image sensor
JP6336286B2 (ja) * 2014-01-31 2018-06-06 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法および撮像装置を有する撮影装置
JP6338385B2 (ja) 2014-01-31 2018-06-06 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法および撮像装置を有する撮影装置
JP6198965B2 (ja) * 2014-02-14 2017-09-20 フィリップス ライティング ホールディング ビー ヴィ 符号化光
CN105981377B (zh) * 2014-02-19 2018-04-17 奥林巴斯株式会社 摄像装置、内窥镜装置以及显微镜装置
US10009099B2 (en) * 2014-03-29 2018-06-26 Intel Corporation Techniques for communication with body-carried devices
JP6322058B2 (ja) * 2014-06-10 2018-05-09 オリンパス株式会社 画像取得装置
US9167174B1 (en) 2014-11-05 2015-10-20 Duelight Llc Systems and methods for high-dynamic range images
US9137455B1 (en) * 2014-11-05 2015-09-15 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US9167169B1 (en) 2014-11-05 2015-10-20 Duelight Llc Image sensor apparatus and method for simultaneously capturing multiple images
US9179062B1 (en) 2014-11-06 2015-11-03 Duelight Llc Systems and methods for performing operations on pixel data
US9179085B1 (en) 2014-11-06 2015-11-03 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US9154708B1 (en) 2014-11-06 2015-10-06 Duelight Llc Image sensor apparatus and method for simultaneously capturing flash and ambient illuminated images
US9160936B1 (en) 2014-11-07 2015-10-13 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
KR20160067275A (ko) * 2014-12-03 2016-06-14 삼성디스플레이 주식회사 표시 장치 및 이의 구동 방법
US9531961B2 (en) 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US9819849B1 (en) 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images
CN106303272B (zh) * 2016-07-29 2018-03-16 广东欧珀移动通信有限公司 控制方法及控制装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5262871A (en) * 1989-11-13 1993-11-16 Rutgers, The State University Multiple resolution image sensor
US6977685B1 (en) * 1999-02-26 2005-12-20 Massachusetts Institute Of Technology Single-chip imager system with programmable dynamic range
DE50003322D1 (de) * 2000-03-01 2003-09-18 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum teilweisen Auslesen der Bilddaten eines Bildsensors
US20060102827A1 (en) * 2004-11-17 2006-05-18 Matsushita Electric Industrial Co., Ltd. Solid-state imaging device
US20070075218A1 (en) * 2005-10-04 2007-04-05 Gates John V Multiple exposure optical imaging apparatus
JP4723994B2 (ja) * 2005-12-19 2011-07-13 株式会社東芝 固体撮像装置
CN100574376C (zh) * 2006-03-27 2009-12-23 精工爱普生株式会社 摄像装置、摄像系统以及摄像方法
JP4908067B2 (ja) * 2006-06-01 2012-04-04 オリンパス株式会社 固体撮像装置及びそれを用いた撮像装置システム
JP4937705B2 (ja) 2006-11-14 2012-05-23 株式会社オーク製作所 多重露光装置
JP2007151143A (ja) 2006-12-18 2007-06-14 Nec Corp 撮像素子、撮像モジュール及び携帯端末
JP4306750B2 (ja) * 2007-03-14 2009-08-05 ソニー株式会社 撮像装置、撮像方法、露光制御方法、プログラム
US8896712B2 (en) * 2007-07-20 2014-11-25 Omnivision Technologies, Inc. Determining and correcting for imaging device motion during an exposure
JP2009232174A (ja) * 2008-03-24 2009-10-08 Seiko Epson Corp 撮像素子
JP2010183435A (ja) * 2009-02-06 2010-08-19 Toshiba Corp 固体撮像装置
JP2010219624A (ja) * 2009-03-13 2010-09-30 Toshiba Corp 画像信号処理装置及び画像信号処理方法
JP2010279016A (ja) * 2009-04-30 2010-12-09 Sony Corp 固体撮像素子とその駆動方法および撮像装置
JP5445235B2 (ja) * 2010-03-09 2014-03-19 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US8736711B2 (en) * 2012-03-19 2014-05-27 Htc Corporation Camera with anti-flicker capability and image capturing method with anti-flicker capability

Cited By (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9083544B2 (en) 2012-05-24 2015-07-14 Panasonic Intellectual Property Corporation Of America Information communication method of obtaining information from a subject by demodulating data specified by a pattern of a bright line included in an obtained image
JP5521128B1 (ja) * 2012-05-24 2014-06-11 パナソニック株式会社 情報通信方法
JP5525662B1 (ja) * 2012-05-24 2014-06-18 パナソニック株式会社 情報通信方法および情報通信装置
JP5525661B1 (ja) * 2012-05-24 2014-06-18 パナソニック株式会社 情報通信方法および情報通信装置
US9456109B2 (en) 2012-05-24 2016-09-27 Panasonic Intellectual Property Corporation Of America Information communication method of obtaining information from a subject by demodulating data specified by a pattern of a bright line included in an obtained image
US8823852B2 (en) 2012-05-24 2014-09-02 Panasonic Intellectual Property Corporation Of America Information communication method of obtaining information from a subject by demodulating data specified by a pattern of a bright line included in an obtained image
US9300845B2 (en) 2012-05-24 2016-03-29 Panasonic Intellectual Property Corporation Of America Information communication device for obtaining information from a subject by demodulating a bright line pattern included in an obtained image
JP5521125B2 (ja) * 2012-05-24 2014-06-11 パナソニック株式会社 情報通信方法
US9083543B2 (en) 2012-05-24 2015-07-14 Panasonic Intellectual Property Corporation Of America Information communication method of obtaining information from a subject by demodulating data specified by a pattern of a bright line included in an obtained image
US9166810B2 (en) 2012-05-24 2015-10-20 Panasonic Intellectual Property Corporation Of America Information communication device of obtaining information by demodulating a bright line pattern included in an image
US8994841B2 (en) 2012-05-24 2015-03-31 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information specified by stripe pattern of bright lines
US9143339B2 (en) 2012-05-24 2015-09-22 Panasonic Intellectual Property Corporation Of America Information communication device for obtaining information from image data by demodulating a bright line pattern appearing in the image data
US9281895B2 (en) 2012-12-27 2016-03-08 Panasonic Intellectual Property Corporation Of America Information communication method
US9030585B2 (en) 2012-12-27 2015-05-12 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information by demodulating bright line pattern included in image
US8965216B2 (en) 2012-12-27 2015-02-24 Panasonic Intellectual Property Corporation Of America Information communication method
US9019412B2 (en) 2012-12-27 2015-04-28 Panasonic Intellectual Property Corporation Of America Information communication method for selecting between visible light communication mode and normal imaging mode
US9088362B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information by demodulating bright line pattern included in an image
US9088360B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US9087349B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US9088363B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US9085927B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US9094120B2 (en) 2012-12-27 2015-07-28 Panasonic Intellectual Property Corporaton Of America Information communication method
US9008352B2 (en) 2012-12-27 2015-04-14 Panasonic Intellectual Property Corporation Of America Video display method
US8994865B2 (en) 2012-12-27 2015-03-31 Panasonic Intellectual Property Corporation Of America Information communication method
US9184838B2 (en) 2012-12-27 2015-11-10 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information using ID list and bright line image
US9203515B2 (en) 2012-12-27 2015-12-01 Panasonic Intellectual Property Corporation Of America Information communication method
US9247180B2 (en) 2012-12-27 2016-01-26 Panasonic Intellectual Property Corporation Of America Video display method using visible light communication image including stripe patterns having different pitches
US9252878B2 (en) 2012-12-27 2016-02-02 Panasonic Intellectual Property Corporation Of America Information communication method
US9258058B2 (en) 2012-12-27 2016-02-09 Panasonic Intellectual Property Corporation Of America Signal transmitting apparatus for transmitting information by bright line pattern in image
US9262954B2 (en) 2012-12-27 2016-02-16 Panasonic Intellectual Property Corporation Of America Visible light communication signal display method and apparatus
US8988574B2 (en) 2012-12-27 2015-03-24 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information using bright line image
US8908074B2 (en) 2012-12-27 2014-12-09 Panasonic Intellectual Property Corporation Of America Information communication method
US9331779B2 (en) 2012-12-27 2016-05-03 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information using ID list and bright line image
US9998220B2 (en) 2012-12-27 2018-06-12 Panasonic Intellectual Property Corporation Of America Transmitting method, transmitting apparatus, and program
US9341014B2 (en) 2012-12-27 2016-05-17 Panasonic Intellectual Property Corporation Of America Information communication method using change in luminance
US9380227B2 (en) 2012-12-27 2016-06-28 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information using bright line image
US9407368B2 (en) 2012-12-27 2016-08-02 Panasonic Intellectual Property Corporation Of America Information communication method
US9450672B2 (en) 2012-12-27 2016-09-20 Panasonic Intellectual Property Corporation Of America Information communication method of transmitting a signal using change in luminance
WO2014103159A1 (ja) * 2012-12-27 2014-07-03 パナソニック株式会社 情報通信方法
US9462173B2 (en) 2012-12-27 2016-10-04 Panasonic Intellectual Property Corporation Of America Information communication method
US9467225B2 (en) 2012-12-27 2016-10-11 Panasonic Intellectual Property Corporation Of America Information communication method
US9515731B2 (en) 2012-12-27 2016-12-06 Panasonic Intellectual Property Corporation Of America Information communication method
US9560284B2 (en) 2012-12-27 2017-01-31 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information specified by striped pattern of bright lines
US9564970B2 (en) 2012-12-27 2017-02-07 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information using ID list and bright line image
US9571191B2 (en) 2012-12-27 2017-02-14 Panasonic Intellectual Property Corporation Of America Information communication method
US9591232B2 (en) 2012-12-27 2017-03-07 Panasonic Intellectual Property Corporation Of America Information communication method
US9608725B2 (en) 2012-12-27 2017-03-28 Panasonic Intellectual Property Corporation Of America Information processing program, reception program, and information processing apparatus
US9608727B2 (en) 2012-12-27 2017-03-28 Panasonic Intellectual Property Corporation Of America Switched pixel visible light transmitting method, apparatus and program
US9613596B2 (en) 2012-12-27 2017-04-04 Panasonic Intellectual Property Corporation Of America Video display method using visible light communication image including stripe patterns having different pitches
US9635278B2 (en) 2012-12-27 2017-04-25 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information specified by striped pattern of bright lines
US9641766B2 (en) 2012-12-27 2017-05-02 Panasonic Intellectual Property Corporation Of America Information communication method
US9646568B2 (en) 2012-12-27 2017-05-09 Panasonic Intellectual Property Corporation Of America Display method
US9756255B2 (en) 2012-12-27 2017-09-05 Panasonic Intellectual Property Corporation Of America Information communication method
US9768869B2 (en) 2012-12-27 2017-09-19 Panasonic Intellectual Property Corporation Of America Information communication method
US9794489B2 (en) 2012-12-27 2017-10-17 Panasonic Intellectual Property Corporation Of America Information communication method
US9859980B2 (en) 2012-12-27 2018-01-02 Panasonic Intellectual Property Corporation Of America Information processing program, reception program, and information processing apparatus
US9918016B2 (en) 2012-12-27 2018-03-13 Panasonic Intellectual Property Corporation Of America Information communication apparatus, method, and recording medium using switchable normal mode and visible light communication mode
US10051194B2 (en) 2012-12-27 2018-08-14 Panasonic Intellectual Property Corporation Of America Information communication method
US9871587B2 (en) 2013-11-22 2018-01-16 Panasonic Intellectual Property Corporation Of America Information processing method for generating encoded signal for visible light communication
WO2016072238A1 (ja) * 2014-11-06 2016-05-12 ソニー株式会社 画像処理装置、画像表示装置、画像処理方法及び画像表示方法

Also Published As

Publication number Publication date Type
CN103379287A (zh) 2013-10-30 application
KR20130116008A (ko) 2013-10-22 application
US8976279B2 (en) 2015-03-10 grant
KR101470126B1 (ko) 2014-12-05 grant
US20130271631A1 (en) 2013-10-17 application

Similar Documents

Publication Publication Date Title
US7839437B2 (en) Image pickup apparatus, image processing method, and computer program capable of obtaining high-quality image data by controlling imbalance among sensitivities of light-receiving devices
US20090274387A1 (en) Method of capturing high dynamic range images with objects in the scene
US20070002164A1 (en) Multiple exposure methods and apparatus for electronic cameras
US20160044257A1 (en) Systems and Methods for Measuring Scene Information While Capturing Images Using Array Cameras
US20050243175A1 (en) Imaging data processing method, imaging data processing device, and computer program
US20090268963A1 (en) Pre-processing method and apparatus for wide dynamic range image processing
US20090073293A1 (en) CMOS image sensors with increased dynamic range and methods of operating the same
US20140232929A1 (en) Image capturing apparatus and method for controlling the same
EP1583033A2 (en) Digital cameras with luminance correction
US20110050946A1 (en) Method and apparatus for increasing dynamic range of image by using electronic shutter
US20090290043A1 (en) Sub-Pixel Array Optical Sensor
US20120044379A1 (en) Image pickup apparatus, image pickup method, and storage medium storing program
US20120019686A1 (en) Image synthesizing device, image synthesizing method and computer readable medium
US20090290052A1 (en) Color Pixel Pattern Scheme for High Dynamic Range Optical Sensor
US20070171298A1 (en) Image capturing element, image capturing apparatus, image capturing method, image capturing system, and image processing apparatus
JP2006026234A (ja) 生体内撮像装置および生体内撮像システム
US20120314124A1 (en) Image pickup apparatus, image pickup apparatus control method, and program
US20140163319A1 (en) Continuous video in a light deficient environment
US20060198625A1 (en) Imaging device and imaging method
US20050238259A1 (en) Image sensor for detecting flicker noise and method thereof
US20160323518A1 (en) Systems and methods for generating a digital image using separate color and intensity data
US20110150357A1 (en) Method for creating high dynamic range image
US20090213247A1 (en) Image pickup apparatus, image pickup method , and image pickup control program
US20130016253A1 (en) Image processing apparatus and image processing method
JP2011010108A (ja) 撮像制御装置、撮像装置及び撮像制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150406

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20151203