JP2007151143A - 撮像素子、撮像モジュール及び携帯端末 - Google Patents
撮像素子、撮像モジュール及び携帯端末 Download PDFInfo
- Publication number
- JP2007151143A JP2007151143A JP2006340565A JP2006340565A JP2007151143A JP 2007151143 A JP2007151143 A JP 2007151143A JP 2006340565 A JP2006340565 A JP 2006340565A JP 2006340565 A JP2006340565 A JP 2006340565A JP 2007151143 A JP2007151143 A JP 2007151143A
- Authority
- JP
- Japan
- Prior art keywords
- photoelectric conversion
- converter
- period
- conversion element
- visible light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
【課題】特定の光電変換素子の電気信号の出力周期が高い撮像素子、及びこれを備えた撮像モジュール、携帯端末を提供する。
【解決手段】規則的に配列された複数の光電変換素子及びCCDからなるCCDセンサ101と、光電変換素子から転送された電荷が入力されるA/Dコンバータ106とを有し、光電変換素子のそれぞれが生成した電荷を第1の期間を周期として所定の順番でA/D106コンバータへ転送し、A/Dコンバータ106から映像信号を出力する撮像素子であって、特定の光電変換素子からは第1の周期よりも早い第2の周期でA/Dコンバータ106へ電荷を転送させる手段を備え、A/Dコンバータ106は、第1の期間を周期として特定の光電変換素子から転送されてきた電荷に応じては映像信号として出力し、第2の期間を周期として特定の光電変換素子から転送されてきた電荷に応じては、可視光信号として映像信号とは異なる経路へ出力する。
【選択図】図1
【解決手段】規則的に配列された複数の光電変換素子及びCCDからなるCCDセンサ101と、光電変換素子から転送された電荷が入力されるA/Dコンバータ106とを有し、光電変換素子のそれぞれが生成した電荷を第1の期間を周期として所定の順番でA/D106コンバータへ転送し、A/Dコンバータ106から映像信号を出力する撮像素子であって、特定の光電変換素子からは第1の周期よりも早い第2の周期でA/Dコンバータ106へ電荷を転送させる手段を備え、A/Dコンバータ106は、第1の期間を周期として特定の光電変換素子から転送されてきた電荷に応じては映像信号として出力し、第2の期間を周期として特定の光電変換素子から転送されてきた電荷に応じては、可視光信号として映像信号とは異なる経路へ出力する。
【選択図】図1
Description
本発明は、受光した光を基に電気信号を生成する撮像素子に関し、特に、可視光が高周波で変調する場合にも、変調に応じた電気信号を出力できる撮像素子及びこれを備えた撮像モジュール、携帯端末に関する。
情報処理端末同士でデータをやりとりする手法には、接触方式(有線通信)と非接触方式(無線通信)とがあるが、近年では、端末同士を有線接続する必要がない「非接触方式」が主流となりつつある。
従来、非接触方式での情報通信には、電波や赤外光が主に用いられていた。
しかし、電波を用いた非接触通信は、他の電子機器が誤作動する原因となる可能性がある。また、電波が人体に悪影響を及ぼす懸念があることも指摘されている。一方、赤外光を用いた非接触通信は、アイ・セイフティ(目の保護)の問題から強い信号を発信することができず、通信速度を向上させられないという問題がある。また、赤外線は指向性が極めて高いため、光路が障害物によって遮られることの無いように端末を正対させなければならず、通信中に端末を移動できないという問題がある。
しかし、電波を用いた非接触通信は、他の電子機器が誤作動する原因となる可能性がある。また、電波が人体に悪影響を及ぼす懸念があることも指摘されている。一方、赤外光を用いた非接触通信は、アイ・セイフティ(目の保護)の問題から強い信号を発信することができず、通信速度を向上させられないという問題がある。また、赤外線は指向性が極めて高いため、光路が障害物によって遮られることの無いように端末を正対させなければならず、通信中に端末を移動できないという問題がある。
このため、現在では可視光を用いて非接触通信を行う方法(可視光通信)が注目されている。可視光域の光は人体に有害ではなく、アイ・セイフティに関しても問題とはならない。
可視光通信を行う場合、受信側の端末では、光検出素子(フォトディテクタ)で受光した信号光を光電変換する必要がある。近年の携帯端末(携帯電話端末、PDAなど)は、撮像素子(CCDセンサやCMOSセンサなど)を内蔵し、デジタルビデオカメラとしての機能(動画撮影機能)を備えるものがほとんどであるため、その撮像素子を可視光信号の検出用素子として兼用することによって、受信側の端末の小型化・軽量化が図れる。
携帯端末に内蔵される撮像素子は、複数の光電変換素子が規則的に(マトリクス状、ハニカム状など)配置したものであり、各光電変換素子において受光した光をそれぞれ電気信号に変換することによって画像信号を生成している。例えば、CCDセンサはフォトダイオードが縦横に整列して配置されており、各フォトダイオードで発生した電荷をCCDを用いて順次(シリアルに)転送することによって画像信号を生成する。
しかし、従来の撮像素子は、規則的に配列された複数の光電変換素子からプログレッシブ方式又はインタレース方式で電気信号をシリアルに出力している。このため、可視光通信に特定の素子の出力を用いると、図12(a)のように、サンプリング周期よりも長いタイミングで変化する光信号は検出できるが、図12(b)のようにサンプリング周期よりも短いタイミングで変化する光信号を検出できない。
すなわち、撮像素子が30fpsで電気信号を出力する場合(換言すると、それぞれの光電変換素子の電気信号の出力タイミングが1/30秒の場合)、これよりも早い周期で光信号が変調してもそれを検出することはできない。
すなわち、撮像素子が30fpsで電気信号を出力する場合(換言すると、それぞれの光電変換素子の電気信号の出力タイミングが1/30秒の場合)、これよりも早い周期で光信号が変調してもそれを検出することはできない。
フレームレートを上げれば可視光が高周波で変調しても検出できるが、撮像素子の電荷転送速度には限界があるため、実際にはフレームレートを上げることは困難である。
撮像素子に関する従来技術としては、特許文献1に開示される「高速度撮像素子及び高速度撮像装置」がある。
特開平11−69233号公報
特許文献1に記載の発明は、いわゆる「部分読み出し」を可能とするものである。よって、特許文献1に記載の発明を可視光信号を受光することを目的とする撮像素子に適用すると、可視光信号を受光すべき光電変換素子がマスクされた状態となって信号を検出できない恐れが生じる。
すなわち、特許文献1に記載の発明は、可視光信号を受光することを目的とする撮像素子に適用することはできない。
すなわち、特許文献1に記載の発明は、可視光信号を受光することを目的とする撮像素子に適用することはできない。
よって、可視光信号の受光のためには、旧来の撮像素子を用いなければならず、これを用いて可視光通信を行うと、単位時間当たりの情報伝送量を高くできないという問題があった。
本発明はかかる問題に鑑みてなされたものであり、特定の光電変換素子の電気信号の出力周期が高い撮像素子、及びこれを備えた撮像モジュール、携帯端末を提供することを目的とする。
上記目的を達成するため、本発明は、第1の態様として、規則的に配列された複数の光電変換素子と、該光電変換素子が生成した電荷を該光電変換素子から転送する電荷転送手段と、光電変換素子から転送された電荷が入力されるA/Dコンバータとを有し、光電変換素子のそれぞれが生成した電荷を第1の期間を周期として所定の順番でA/Dコンバータへ転送し、A/Dコンバータから第1のデジタル信号を出力する撮像素子であって、特定の光電変換素子からは第1の周期よりも早い第2の周期でA/Dコンバータへ電荷を転送させる手段を備え、A/Dコンバータは、第1の期間を周期として特定の光電変換素子から転送されてきた電荷に応じては第1のデジタル信号として出力し、第2の期間を周期として特定の光電変換素子から転送されてきた電荷に応じては、第2のデジタル信号として第1のデジタル信号とは異なる経路へ出力することを特徴とする撮像素子を提供するものである。
上記本発明の第1の態様においては、特定の光電変換素子が可視光信号を受光したか否かを判断する手段と、特定の光電変換素子が可視光信号を受光した場合に、第1の期間を周期とする光電変換素子からA/Dコンバータへの電荷の転送を停止させる手段とをさらに有することが好ましい。
本発明の第1の態様の上記のいずれの構成においても、特定の光電変換素子が複数であり、A/Dコンバータは、第2の期間を周期として特定の光電変換素子のそれぞれから転送されてきた電荷の平均値に応じて第2のデジタル信号を出力することが好ましい。また、光電変換素子は縦横に配列しており、所定の順番はラスタスキャンの順番であり、1ライン分の光電変換素子の電荷をA/Dコンバータへ転送するごとに、特定の光電変換素子の電荷をA/Dコンバータへ転送することが好ましい。
また、上記目的を達成するため、本発明は、第2の態様として、規則的に配列された複数の光電変換素子と、該光電変換素子が生成した電荷を該光電変換素子から転送する電荷転送手段と、前記光電変換素子から転送された電荷が入力される第1のA/Dコンバータとを有し、前記光電変換素子のそれぞれが生成した電荷を第1の期間を周期として所定の順番で前記第1のA/Dコンバータへ転送し、前記第1のA/Dコンバータから第1のデジタル信号を出力する撮像素子であって、さらに第2のA/Dコンバータを有し、前記特定の光電変換素子からは前記第1の周期よりも早い第2の周期で前記第2のA/Dコンバータへ電荷を転送させる手段を備え、前記第1のA/Dコンバータは、前記第1の期間を周期として前記特定の光電変換素子から転送されてきた電荷に応じては前記第1のデジタル信号として出力し、前記第2のA/Dコンバータは、前記第2の期間を周期として前記特定の光電変換素子から転送されてきた電荷に応じては、第2のデジタル信号として前記第1のデジタル信号とは異なる経路へ出力することを特徴とする撮像素子を提供するものである。
本発明の第2の態様においては、特定の光電変換素子が可視光信号を受光したか否かを判断する手段と、前記特定の光電変換素子が可視光信号を受光した場合に、前記光電変換素子から前記第1のA/Dコンバータへの電荷の転送を停止させる手段とをさらに有することが好ましい。
本発明の第2の態様の上記のいずれの構成においても、特定の光電変換素子が複数であり、前記第2のA/Dコンバータは、前記第2の期間を周期として前記特定の光電変換素子のそれぞれから転送されてきた電荷の平均値に応じて前記第2のデジタル信号を出力することが好ましい。また、光電変換素子は縦横に配列しており、前記所定の順番はラスタスキャンの順番であり、1ライン分の光電変換素子の電荷を前記第1のA/Dコンバータへ転送するごとに、前記特定の光電変換素子の電荷を前記第2のA/Dコンバータへ転送することが好ましい。
また、上記目的を達成するため、本発明は、第3の態様として、上記本発明の第1の態様及び第2の態様のいずれかの構成に係る撮像素子と、各光電変換素子に光を集光するレンズと、第1の周期分の第1のデジタル信号に応じた画像の中に所定形状の部分が存在するか否かを判断する手段と、第1の周期分の第1のデジタル信号に応じた画像の中に所定形状の部分が存在する場合に、特定光電変換素子を所定形状に応じて選択する手段とを有することを特徴とする撮像モジュールを提供するものである。
本発明の第3の態様においては、各光電変換素子の受光量が所定の期間内に所定量以上変化した否かを判断する手段と、所定の期間内に受光量が所定量以上変化した光電変換素子を特定の光電変換素子として選択する手段とを有することが好ましい。
また、上記目的を達成するため、本発明は、第4の態様として、上記本発明の第3の態様のいずれかの構成にかかる撮像モジュールと第1のデジタル信号に応じた画像を表示する表示手段と、第2のデジタル信号を処理する手段とを備えた携帯端末を提供するものである。
上記本発明の第4の態様においては、各光電変換素子の受光量の変化を基に、特定の光電変換素子を変更する手段をさらに有することが好ましい。
本発明の第4の態様の上記のいずれの構成においても、移動体通信機能を備えた移動体通信端末であることが好ましい。
本発明によれば、複数の光電変換素子が規則的に配列され各光電変換素子からシリアルに電気信号が出力される撮像素子であり特定の光電変換素子の電気信号の出力周期が高い撮像素子、及びこれを備えた撮像モジュール、携帯端末を提供できる。
〔第1の実施形態〕
本発明を好適に実施した第1の実施形態について説明する。図1に本実施形態にかかる撮像素子の構成を示す。撮像素子100は、CCDセンサ101、X方向コントローラ103、Y方向コントローラ104、可視光受信制御部105及びA/D変換器106を有する。
CCDセンサ101は、複数のフォトダイオード(PD)が縦横に整列しており、各PDにおいて発生した電荷をA/D106へ転送するためのCCDを備えている。CCDによってPDから取り出された電荷は、シリアルに(換言すると、時分割されて)A/D106へ入力される。制御部102は、CCDセンサ101にスキャンを行わせる(各PDから所定の順序で電荷を転送させる)ための機能部であり、CCD101のPDから所定の順序で電荷が転送されるようにX方向コントローラ103及びY方向コントローラ104を駆動する。X方向コントローラ103はCCDセンサ101のどの列のPDの電荷をA/D106へ転送するかを指定するための機能部である。Y方向コントローラ104は、CCDセンサ101のどの行のPDの電荷を転送するのかを指定するための機能部である。X方向コントローラ103及びY方向コントローラ104の出力の組み合わせにより、一又は複数の任意のPDが発生させた電荷をA/D106へ出力できる。なお、複数個のPDを指定した場合には、指定された全てのPDの電荷がA/D106へ転送される。可視光受信制御部105は、可視光通信時に、所定のタイミングで特定のPD(可視光信号受光用PD)の電荷をA/D106へ転送させる機能部である。A/D106は、CCDセンサ101から転送されてきた電荷量(換言すると、電流値)に基づいてデジタル信号を生成する。なお、通常のスキャン動作中は可視光受信制御部105はA/D106へ同期信号を出力していないため、可視光信号受光用PDから転送された電荷に応じたデジタル信号は、映像信号としてA/D106から出力される。また、複数のPDから電荷が入力された場合には、入力された電荷の平均値に応じたデジタル信号を出力する。
本発明を好適に実施した第1の実施形態について説明する。図1に本実施形態にかかる撮像素子の構成を示す。撮像素子100は、CCDセンサ101、X方向コントローラ103、Y方向コントローラ104、可視光受信制御部105及びA/D変換器106を有する。
CCDセンサ101は、複数のフォトダイオード(PD)が縦横に整列しており、各PDにおいて発生した電荷をA/D106へ転送するためのCCDを備えている。CCDによってPDから取り出された電荷は、シリアルに(換言すると、時分割されて)A/D106へ入力される。制御部102は、CCDセンサ101にスキャンを行わせる(各PDから所定の順序で電荷を転送させる)ための機能部であり、CCD101のPDから所定の順序で電荷が転送されるようにX方向コントローラ103及びY方向コントローラ104を駆動する。X方向コントローラ103はCCDセンサ101のどの列のPDの電荷をA/D106へ転送するかを指定するための機能部である。Y方向コントローラ104は、CCDセンサ101のどの行のPDの電荷を転送するのかを指定するための機能部である。X方向コントローラ103及びY方向コントローラ104の出力の組み合わせにより、一又は複数の任意のPDが発生させた電荷をA/D106へ出力できる。なお、複数個のPDを指定した場合には、指定された全てのPDの電荷がA/D106へ転送される。可視光受信制御部105は、可視光通信時に、所定のタイミングで特定のPD(可視光信号受光用PD)の電荷をA/D106へ転送させる機能部である。A/D106は、CCDセンサ101から転送されてきた電荷量(換言すると、電流値)に基づいてデジタル信号を生成する。なお、通常のスキャン動作中は可視光受信制御部105はA/D106へ同期信号を出力していないため、可視光信号受光用PDから転送された電荷に応じたデジタル信号は、映像信号としてA/D106から出力される。また、複数のPDから電荷が入力された場合には、入力された電荷の平均値に応じたデジタル信号を出力する。
撮像素子100の動作について説明する。可視光受信制御部105は、可視光通信時には所定のタイミングでX方向コントローラ103及びY方向コントローラ104に制御信号を出力して、可視光信号受光用PDの電荷をA/D106へ転送させる。
例えば、可視光受信制御部105は、可視光信号受光用PDの電荷をA/D106へ転送するための制御信号を、CCDセンサ101が1行分のPDの電荷をA/D106へ転送するごとにX方向コントローラ103及びY方向コントローラ104へ出力する。これにより、1行分のPDの電荷がA/D106へ出力されるごとに可視光信号受光用PDの電荷がA/D106へ出力されるようになる。
これにより、図2に示すように、N行並んだPDを備えたCCDセンサ101であれば、フレームレートの(N−1)倍の周期で可視光信号をサンプリングできる。よって、単位時間当たりの通信速度を高めることが可能となる。
また、図3に示すように、第2のA/DコンバータであるA/D2 108を追加し、映像信号と、可視光信号をそれぞれ別のA/DコンバータでA/D変換してもよい。このような構成をとれば、映像信号および可視光信号に最適な特性を持つA/Dコンバータを使用できるという利点がある。
〔第2の実施形態〕
本発明を好適に実施した第2の実施形態について説明する。図4に、本実施形態にかかる撮像素子の構成を示す。本実施形態の撮像素子100は、第1の実施形態にかかる撮像素子100とほぼ同様の構成であるが、可視光信号認識部107をさらに有する。
本発明を好適に実施した第2の実施形態について説明する。図4に、本実施形態にかかる撮像素子の構成を示す。本実施形態の撮像素子100は、第1の実施形態にかかる撮像素子100とほぼ同様の構成であるが、可視光信号認識部107をさらに有する。
可視光信号認識部107は、A/D106から出力された可視光信号受光用PDの出力を所定回数分蓄積するキャッシュメモリを備えている。可視光信号認識部107は、A/D106から可視光信号受光用PDの出力が入力された際には、キャッシュメモリに蓄積されているデータ(可視光信号受光用PDの出力履歴)と新たにA/D106から入力されたデジタル信号(可視光信号受光用PDの出力に応じてA/D106から出力されたデジタル信号)とに基づいて、可視光信号受光用PDが可視光情報を受信しているか否かを判断する。可視光情報認識部107は、可視光情報受光用PDが可視光情報を受信していると判断した場合には、可視光受信制御部105へ制御信号を出力し、制御部102によるスキャンを停止させる。
図5に、本実施形態にかかる撮像素子の動作の流れを示す。
制御部102は、X方向コントローラ103及びY方向コントローラ104を駆動して、CCDセンサ101の各PDから所定の順序で電荷を転送していく(ステップS201)。第1の実施形態と同様に、所定のタイミング(例えば、1行スキャンするごと)で可視光信号受光用PDの電荷がA/D106へ転送される(ステップS202)。A/D106は可視光信号受光用PDから出力されてきた電荷に応じたデジタル信号を生成し、可視光信号認識部107へ出力する。
制御部102は、X方向コントローラ103及びY方向コントローラ104を駆動して、CCDセンサ101の各PDから所定の順序で電荷を転送していく(ステップS201)。第1の実施形態と同様に、所定のタイミング(例えば、1行スキャンするごと)で可視光信号受光用PDの電荷がA/D106へ転送される(ステップS202)。A/D106は可視光信号受光用PDから出力されてきた電荷に応じたデジタル信号を生成し、可視光信号認識部107へ出力する。
可視光信号認識部107は、A/D106から入力されたデジタル信号を不図示のキャッシュに蓄積する(ステップS203)。そして、可視光信号認識部107は、可視光信号受光用PDが可視光信号を受光しているか否かを判断する(ステップS204)。例えば、可視光信号受光用PDが出力する電荷に変化が無い場合(2値信号であれば、A/D106からの出力信号が“0”又は“1”のまま変化していない場合)、可視光信号認識部107は、可視光信号受光用PDが可視光信号を受光していないと判断する(ステップS204/No)。この場合は、通常のスキャン動作を継続する。
一方、可視光受光用PDが可視光信号を受光していると判断した場合(ステップS204/Yes)、可視光信号認識部107は、可視光受信制御部105へ制御信号を出力し、スキャン動作を停止させる(ステップS205)。スキャン動作停止後は、可視光受信制御部105は、所定のタイミングで可視光信号受光用PDの電荷をA/D106へ転送し、可視光信号を受光する。この動作は、上記第1の実施形態と同様であるため、重複する説明は省略する。
一方、可視光受光用PDが可視光信号を受光していると判断した場合(ステップS204/Yes)、可視光信号認識部107は、可視光受信制御部105へ制御信号を出力し、スキャン動作を停止させる(ステップS205)。スキャン動作停止後は、可視光受信制御部105は、所定のタイミングで可視光信号受光用PDの電荷をA/D106へ転送し、可視光信号を受光する。この動作は、上記第1の実施形態と同様であるため、重複する説明は省略する。
このように、本実施形態にかかる撮像素子は、可視光信号受光用PDが可視光信号を受信していると判断した場合には通常のスキャン動作を停止させるため、可視光通信時の消費電力を低減できる。
なお、本実施形態にかかる撮像素子を備えた携帯端末は、可視光受信制御部105がスキャン動作を停止させた場合には、可視光通信中であるメッセージを表示すると良い。
〔第3の実施形態〕
本発明を好適に実施した第3の実施形態について説明する。図6に本実施形態にかかる携帯端末の構成を示す。携帯端末200は、撮像素子100、画像認識部201、パターン記憶部202、表示部203及び可視光通信部204を有する。なお、撮像素子100、画像認識部201及びパターン記憶部202は、光電変換素子に光を集光する為の不図示のレンズなどとともにモジュールとして一体に構成されている。
本発明を好適に実施した第3の実施形態について説明する。図6に本実施形態にかかる携帯端末の構成を示す。携帯端末200は、撮像素子100、画像認識部201、パターン記憶部202、表示部203及び可視光通信部204を有する。なお、撮像素子100、画像認識部201及びパターン記憶部202は、光電変換素子に光を集光する為の不図示のレンズなどとともにモジュールとして一体に構成されている。
撮像素子100は、第1の実施形態において説明したものと同様である。画像認識部201は、A/D106から出力された1フレーム分の映像信号を解析して、フレーム画像中に(すなわち、被写体に)所定の形状の部分が存在するか否かを判断する。画像認識部201は、フレーム画像中に所定形状の部分が存在すると判断した場合には、可視光受信制御部105へ制御信号を出力し、特定のPDを可視光信号検出用PDとして選択して所定の周期で電荷をA/D106へ転送させる。画像認識部201は、パターン記憶部202に記憶されている形状とフレーム画像とを比較することによって、フレーム画像中に所定の形状の部分が存在するか否かを判断する。パターン記憶部202には、特定の形状のデータが記憶されている。表示部203は、A/D106から出力される映像信号に応じた画像を表示する装置であり、例えばLCDである。可視光通信部204は、A/D106から出力される可視光信号に応じたデジタル信号を処理する。
携帯端末200は、この他に携帯端末としての機能を司る機能部(例えば、携帯電話端末であれば無線回路やアンテナなど)を備えるが、これらは公知のものを適用可能であるため、図中には示さず説明は省略する。
本実施形態にかかる携帯端末の可視光通信時の動作について説明する。図7に、携帯端末200の可視光通信時の動作の流れを示す。
制御部102は、X方向コントローラ103及びY方向コントローラ104を駆動して、CCDセンサ101の各PDの電荷を順次A/D106へ転送する(ステップS301)。画像認識部201は、A/D106から入力されるデジタル信号を1フレーム分ラッチしてフレーム画像のデータを生成する。そして、画像認識部201は、パターン記憶部202に記憶されている形状データを読み出し、生成したフレーム画像の中に読み出したパターンと一致する部分があるか否かを判断する(ステップS302)。
制御部102は、X方向コントローラ103及びY方向コントローラ104を駆動して、CCDセンサ101の各PDの電荷を順次A/D106へ転送する(ステップS301)。画像認識部201は、A/D106から入力されるデジタル信号を1フレーム分ラッチしてフレーム画像のデータを生成する。そして、画像認識部201は、パターン記憶部202に記憶されている形状データを読み出し、生成したフレーム画像の中に読み出したパターンと一致する部分があるか否かを判断する(ステップS302)。
図8(a)に示す形状データがパターン記憶部に202に記憶されている場合、(b)に示すようなフレーム画像が得られたならば、パターンと一致する部分があると判断する。なお(c)に示すように、パターンと一致する部分はフレーム画像の周縁部に合っても良い。
パターン記憶部202から読み出した形状と一致する部分があると判断した場合には(ステップS302/Yes)、画像認識部201は可視光受信制御部105へ制御信号を送り、可視光信号受光用PDを指定する。例えば、図8(b)や(c)に示すようなフレーム画像が得られたのであれば、三重の閉曲線の内側にあるPDを可視光信号受光用PDとして指定する。画像認識部201からの制御信号を受信した可視光受信制御部105は、指定されたPDを可視光信号受光用PDとして、そのPDの電荷を所定の周期でA/D106へ転送する動作をX方向コントローラ103及びY方向コントローラ104に行わせる(ステップS303)。
一方、一致する部分が無いと判断した場合には(ステップS302/No)、画像認識部201は、可視光受信制御部105へ制御信号を送らず、通常のスキャン動作を実行させる。
一方、一致する部分が無いと判断した場合には(ステップS302/No)、画像認識部201は、可視光受信制御部105へ制御信号を送らず、通常のスキャン動作を実行させる。
このように、本実施形態にかかる携帯端末は、1フレームの画像中に含まれる特定の形状を認識して、可視光信号の受光に用いるPDを自動的に選択する。これにより、可視光信号を受光する際に、可視光信号が特定のPDに受光されるようにユーザが端末の向きを調整する手間が不必要となる。
なお、画像認識部201に手ぶれ検出機能を持たせてもよい。すなわち、画像認識部201にフレーム画像をキャッシュする機能を設け、一つ前のフレームと比較して画像全体が同一方向にシフトした場合には、可視光信号受光用のPDもシフトさせる。例えば図9に示すように、画像全体が上方向及び左方向に各2画素ずれた場合には、元の可視光信号受光用PDから上方向及び左方向にそれぞれ2画素の位置にあるPDを可視光信号受光用PDとして用いる。これにより、可視光信号受光中に携帯端末の位置がずれたとしても、可視光通信を継続して行えるようになる。
〔第4の実施形態〕
本発明を好適に実施した第4の実施形態にかかる携帯端末の構成を示す。図10に本実施形態にかかる携帯端末の構成を示す。本実施形態にかかる携帯端末200は、第3の実施形態のものとほぼ同様であるが、パターン記憶部202を備えていない。
本実施形態において画像認識部201はフレーム画像をキャッシュする機能を備えており、一つ前のフレームと比較して受光量が所定量以上変化したPDがあるか否かを検出する。画像認識部201は、受光量が所定量以上変化したPDがある場合には、制御信号を可視光受信部105へ出力し、そのPDを可視光信号受光用PDとして指定する。
本発明を好適に実施した第4の実施形態にかかる携帯端末の構成を示す。図10に本実施形態にかかる携帯端末の構成を示す。本実施形態にかかる携帯端末200は、第3の実施形態のものとほぼ同様であるが、パターン記憶部202を備えていない。
本実施形態において画像認識部201はフレーム画像をキャッシュする機能を備えており、一つ前のフレームと比較して受光量が所定量以上変化したPDがあるか否かを検出する。画像認識部201は、受光量が所定量以上変化したPDがある場合には、制御信号を可視光受信部105へ出力し、そのPDを可視光信号受光用PDとして指定する。
本実施形態にかかる携帯端末200の可視光通信時の動作について説明する。図11に、携帯端末200の可視光通信時の動作の流れを示す。
制御部102は、X方向コントローラ103及びY方向コントローラ104を駆動して、CCDセンサ101の各PDの電荷を順次A/D106へ転送する(ステップS401)。画像認識部201は、A/D106から入力されるデジタル信号を1フレーム分ラッチしてフレーム画像のデータを生成する。そして、画像認識部201は、キャッシュしている前回のフレーム画像データを読み出し、生成したフレーム画像の中に前回のフレーム画像と比較して受光量が所定量以上変化した部分があるか否かを判断する(ステップS402)。
制御部102は、X方向コントローラ103及びY方向コントローラ104を駆動して、CCDセンサ101の各PDの電荷を順次A/D106へ転送する(ステップS401)。画像認識部201は、A/D106から入力されるデジタル信号を1フレーム分ラッチしてフレーム画像のデータを生成する。そして、画像認識部201は、キャッシュしている前回のフレーム画像データを読み出し、生成したフレーム画像の中に前回のフレーム画像と比較して受光量が所定量以上変化した部分があるか否かを判断する(ステップS402)。
受光量が所定量以上変化した部分がある場合には(ステップS402/Yes)、画像認識部201は可視光受信制御部105へ制御信号を送り、その部分に該当するPDを可視光信号受光用PDとして指定する。画像認識部201からの制御信号を受信した可視光受信制御部105は、指定されたPDを可視光信号受光用PDとして、そのPDの電荷を所定の周期でA/D106へ転送する動作をX方向コントローラ103及びY方向コントローラ104に行わせる(ステップS403)。
一方、受光量が所定量以上変化した部分が無い場合には(ステップS402/No)、画像認識部201は、可視光受信制御部105へ制御信号を送らず、通常のスキャン動作を実行させる。
一方、受光量が所定量以上変化した部分が無い場合には(ステップS402/No)、画像認識部201は、可視光受信制御部105へ制御信号を送らず、通常のスキャン動作を実行させる。
なお、受光量が所定量以上変化した部分が複数ある場合には、各箇所について上記の処理を順番に実行すれば良い。
このように、本実施形態にかかる携帯端末は、1フレームの画像中に受光量が所定量以上変化した部分があるか否かを判断して、可視光信号の受光に用いるPDを自動的に選択する。これにより、可視光信号を受光する際に、可視光信号が特定のPDに受光されるようにユーザが端末の向きを調整する手間が不必要となる。
〔第5の実施形態〕
本発明を好適に実施した第5の実施形態について説明する。本実施形態にかかる携帯端末200は、第4の実施形態のものと同様の構成である。
本実施形態において画像認識部201は、フレーム画像中に受光量が所定量の部分があるか否かを検出する。画像認識部201は、受光量が所定量のPDがある場合には、制御信号を可視光受信部105へ出力し、そのPDを可視光信号受光用PDとして指定する。
可視光信号受光時の動作については、判断の基準が異なるだけで第4の実施形態と同様であるため、重複する説明は省略する
本発明を好適に実施した第5の実施形態について説明する。本実施形態にかかる携帯端末200は、第4の実施形態のものと同様の構成である。
本実施形態において画像認識部201は、フレーム画像中に受光量が所定量の部分があるか否かを検出する。画像認識部201は、受光量が所定量のPDがある場合には、制御信号を可視光受信部105へ出力し、そのPDを可視光信号受光用PDとして指定する。
可視光信号受光時の動作については、判断の基準が異なるだけで第4の実施形態と同様であるため、重複する説明は省略する
このように、本実施形態にかかる携帯端末は、1フレームの画像中に受光量が所定量以上の部分があるか否かを判断して、可視光信号の受光に用いるPDを自動的に選択する。これにより、可視光信号を受光する際に、可視光信号が特定のPDに受光されるようにユーザが端末の向きを調整する手間が不必要となる。
なお、上記各実施形態は本発明の好適な実施の一例であり、本発明はこれに限定されることはない。
例えば、上記各実施形態においては、可視光信号をサンプリングする周期は一定であったが、サンプリング周期が必ずしも一定である必要はない。
また、上記各実施形態は単色の画像信号を生成するCCDセンサを用いる構成を示したが、カラー画像信号を生成するCCDセンサを用いても良い。この場合には、RGBの全てに本発明を適用する必要はなく、少なくとも一色に適用すればよい。
このように、本発明は様々な変形が可能である。
例えば、上記各実施形態においては、可視光信号をサンプリングする周期は一定であったが、サンプリング周期が必ずしも一定である必要はない。
また、上記各実施形態は単色の画像信号を生成するCCDセンサを用いる構成を示したが、カラー画像信号を生成するCCDセンサを用いても良い。この場合には、RGBの全てに本発明を適用する必要はなく、少なくとも一色に適用すればよい。
このように、本発明は様々な変形が可能である。
100 撮像素子
101 CCDセンサ
102 制御部
103 X方向コントローラ
104 Y方向コントローラ
105 可視光受信制御部
106 A/D
107 可視光信号認識部
108 A/D 2
200 携帯端末
201 画像認識部
202 パターン記憶部
203 表示部
204 可視光通信部
101 CCDセンサ
102 制御部
103 X方向コントローラ
104 Y方向コントローラ
105 可視光受信制御部
106 A/D
107 可視光信号認識部
108 A/D 2
200 携帯端末
201 画像認識部
202 パターン記憶部
203 表示部
204 可視光通信部
Claims (13)
- 規則的に配列された複数の光電変換素子と、該光電変換素子が生成した電荷を該光電変換素子から転送する電荷転送手段と、前記光電変換素子から転送された電荷が入力されるA/Dコンバータとを有し、前記光電変換素子のそれぞれが生成した電荷を第1の期間を周期として所定の順番で前記A/Dコンバータへ転送し、前記A/Dコンバータから第1のデジタル信号を出力する撮像素子であって、
前記特定の光電変換素子からは前記第1の周期よりも早い第2の周期で前記A/Dコンバータへ電荷を転送させる手段を備え、
前記A/Dコンバータは、前記第1の期間を周期として前記特定の光電変換素子から転送されてきた電荷に応じては前記第1のデジタル信号として出力し、前記第2の期間を周期として前記特定の光電変換素子から転送されてきた電荷に応じては、第2のデジタル信号として前記第1のデジタル信号とは異なる経路へ出力することを特徴とする撮像素子。 - 前記特定の光電変換素子が可視光信号を受光したか否かを判断する手段と、前記特定の光電変換素子が可視光信号を受光した場合に、前記第1の期間を周期とする前記光電変換素子から前記A/Dコンバータへの電荷の転送を停止させる手段とをさらに有することを特徴とする請求項1記載の撮像素子。
- 前記特定の光電変換素子が複数であり、前記A/Dコンバータは、前記第2の期間を周期として前記特定の光電変換素子のそれぞれから転送されてきた電荷の平均値に応じて前記第2のデジタル信号を出力することを特徴とする請求項1又は2記載の撮像素子。
- 前記光電変換素子は縦横に配列しており、前記所定の順番はラスタスキャンの順番であり、1ライン分の光電変換素子の電荷を前記A/Dコンバータへ転送するごとに、前記特定の光電変換素子の電荷を前記A/Dコンバータへ転送することを特徴とする請求項1から3のいずれか1項記載の撮像素子。
- 規則的に配列された複数の光電変換素子と、該光電変換素子が生成した電荷を該光電変換素子から転送する電荷転送手段と、前記光電変換素子から転送された電荷が入力される第1のA/Dコンバータとを有し、前記光電変換素子のそれぞれが生成した電荷を第1の期間を周期として所定の順番で前記第1のA/Dコンバータへ転送し、前記第1のA/Dコンバータから第1のデジタル信号を出力する撮像素子であって、
さらに第2のA/Dコンバータを有し、
前記特定の光電変換素子からは前記第1の周期よりも早い第2の周期で前記第2のA/Dコンバータへ電荷を転送させる手段を備え、
前記第1のA/Dコンバータは、前記第1の期間を周期として前記特定の光電変換素子から転送されてきた電荷に応じては前記第1のデジタル信号として出力し、
前記第2のA/Dコンバータは、前記第2の期間を周期として前記特定の光電変換素子から転送されてきた電荷に応じては、第2のデジタル信号として前記第1のデジタル信号とは異なる経路へ出力することを特徴とする撮像素子。 - 前記特定の光電変換素子が可視光信号を受光したか否かを判断する手段と、前記特定の光電変換素子が可視光信号を受光した場合に、前記光電変換素子から前記第1のA/Dコンバータへの電荷の転送を停止させる手段とをさらに有することを特徴とする請求項5記載の撮像素子。
- 前記特定の光電変換素子が複数であり、前記第2のA/Dコンバータは、前記第2の期間を周期として前記特定の光電変換素子のそれぞれから転送されてきた電荷の平均値に応じて前記第2のデジタル信号を出力することを特徴とする請求項5又は6記載の撮像素子。
- 前記光電変換素子は縦横に配列しており、前記所定の順番はラスタスキャンの順番であり、1ライン分の光電変換素子の電荷を前記第1のA/Dコンバータへ転送するごとに、前記特定の光電変換素子の電荷を前記第2のA/Dコンバータへ転送することを特徴とする請求項5から7のいずれか1項記載の撮像素子。
- 請求項1から8のいずれか1項に記載の撮像素子と、前記各光電変換素子に光を集光するレンズと、前記第1の周期分の前記第1のデジタル信号に応じた画像の中に所定形状の部分が存在するか否かを判断する手段と、前記第1の周期分の前記第1のデジタル信号に応じた画像の中に所定形状の部分が存在する場合に、前記特定光電変換素子を前記所定形状に応じて選択する手段とを有することを特徴とする撮像モジュール。
- 前記各光電変換素子の受光量が所定の期間内に所定量以上変化した否かを判断する手段と、所定の期間内に受光量が所定量以上変化した前記光電変換素子を前記特定の光電変換素子として選択する手段とを有することを特徴とする請求項9記載の撮像モジュール。
- 請求項9又は10に記載の撮像モジュールと、前記第1のデジタル信号に応じた画像を表示する表示手段と、前記第2のデジタル信号を処理する手段とを備えた携帯端末。
- 前記各光電変換素子の受光量の変化を基に、前記特定の光電変換素子を変更する手段をさらに有することを特徴とする請求項11記載の携帯端末。
- 移動体通信機能を備えた移動体通信端末であることを特徴とする請求項11又は12記載の携帯端末。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006340565A JP2007151143A (ja) | 2006-12-18 | 2006-12-18 | 撮像素子、撮像モジュール及び携帯端末 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006340565A JP2007151143A (ja) | 2006-12-18 | 2006-12-18 | 撮像素子、撮像モジュール及び携帯端末 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004307737A Division JP4736397B2 (ja) | 2004-10-22 | 2004-10-22 | 撮像素子、撮像モジュール及び携帯端末 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007151143A true JP2007151143A (ja) | 2007-06-14 |
Family
ID=38211906
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006340565A Withdrawn JP2007151143A (ja) | 2006-12-18 | 2006-12-18 | 撮像素子、撮像モジュール及び携帯端末 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007151143A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009027480A (ja) * | 2007-07-19 | 2009-02-05 | Toyota Central R&D Labs Inc | 光通信装置 |
JP2013223047A (ja) * | 2012-04-13 | 2013-10-28 | Toshiba Corp | 伝送システム、送信装置および受信装置 |
KR101470126B1 (ko) * | 2012-04-13 | 2014-12-05 | 가부시끼가이샤 도시바 | 수광 장치, 수광 방법 및 전송 시스템 |
-
2006
- 2006-12-18 JP JP2006340565A patent/JP2007151143A/ja not_active Withdrawn
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009027480A (ja) * | 2007-07-19 | 2009-02-05 | Toyota Central R&D Labs Inc | 光通信装置 |
JP2013223047A (ja) * | 2012-04-13 | 2013-10-28 | Toshiba Corp | 伝送システム、送信装置および受信装置 |
KR101470126B1 (ko) * | 2012-04-13 | 2014-12-05 | 가부시끼가이샤 도시바 | 수광 장치, 수광 방법 및 전송 시스템 |
US8976279B2 (en) | 2012-04-13 | 2015-03-10 | Kabushiki Kaisha Toshiba | Light receiver, method and transmission system with time variable exposure configurations |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4736397B2 (ja) | 撮像素子、撮像モジュール及び携帯端末 | |
US9060126B2 (en) | Solid-state image sensing apparatus | |
JP5657182B2 (ja) | 撮像装置及び信号補正方法 | |
KR102530752B1 (ko) | 이미지 센서 및 이미지 센서를 포함하는 전자 기기와, 이미지 줌 프로세싱 방법 | |
CN102292974B (zh) | 摄像设备 | |
US20100026814A1 (en) | Solid-state image pick-up device, data transmission method, and image pickup apparatus | |
CN100473121C (zh) | Cmos图像传感器的图像像素 | |
US9485408B2 (en) | Imaging apparatus and exposure determining method | |
KR101587901B1 (ko) | 이미지 센서, 데이터 출력 방법, 촬상 장치, 및 카메라 | |
JP2003018458A (ja) | Cmos型固体撮像素子を用いた撮像システム | |
US10095941B2 (en) | Vision recognition apparatus and method | |
JP5872122B2 (ja) | 撮像装置及び合焦制御方法 | |
CN101262553A (zh) | 具有温度传感器的图像传感器及其驱动方法 | |
US20150256792A1 (en) | Imaging apparatus and focus control method | |
JP2007151143A (ja) | 撮像素子、撮像モジュール及び携帯端末 | |
CN112004036A (zh) | 取得图像数据的方法及其图像感测系统 | |
JP2009089087A (ja) | 固体撮像装置及び撮像装置 | |
JP4334950B2 (ja) | 固体撮像装置 | |
EP1805801B1 (en) | Image sensor with expanding dynamic range | |
CN114128251B (zh) | 成像装置及其控制方法 | |
US11388361B2 (en) | Image sensor, imaging device including image sensor, and method of operating imaging device | |
KR20190029606A (ko) | 촬상 제어 장치 및 촬상 제어 방법, 및 촬상 소자 | |
JP2020174254A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP2001326857A (ja) | 演算機能付き撮像素子 | |
CN102065245A (zh) | 图像传感器的图像取样方法及图像处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20091218 |