JP2005354539A - Image pickup device and image pickup control method - Google Patents
Image pickup device and image pickup control method Download PDFInfo
- Publication number
- JP2005354539A JP2005354539A JP2004174768A JP2004174768A JP2005354539A JP 2005354539 A JP2005354539 A JP 2005354539A JP 2004174768 A JP2004174768 A JP 2004174768A JP 2004174768 A JP2004174768 A JP 2004174768A JP 2005354539 A JP2005354539 A JP 2005354539A
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- time
- block
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、高速に発せられる光の強弱により情報を伝送する際の、受信側である撮像装置及び撮像制御方法に関し、特に、画像と他の情報を1つの撮像デバイスにより受信する撮像装置及び撮像制御方法に関する。 The present invention relates to an image pickup apparatus and an image pickup control method on the receiving side when information is transmitted by the intensity of light emitted at high speed, and in particular, an image pickup apparatus and an image pickup apparatus that receive an image and other information by one image pickup device. It relates to a control method.
従来から、画像を撮影しながら、さらに、撮影されている領域内に発光する光の点滅パターンにより、データを転送したり(例えば、特許文献1参照)、また、スリット光を回転ミラーで反射させることで三角測量の原理を使って画像を撮影しながら、その被写体までの距離を求めることが行われている(例えば、特許文献2、3参照)。
Conventionally, while taking an image, data is transferred by a blinking pattern of light emitted in the area being taken (see, for example, Patent Document 1), and slit light is reflected by a rotating mirror. Thus, the distance to the subject is obtained while taking an image using the principle of triangulation (see, for example,
このように、画像と情報を1つの撮像デバイスにより受信する撮像装置では、いずれの場合にも、現実的には高速に連続撮像できるセンサが必要である。例えば、点滅パターンの点滅周期以上に高速に撮影する必要があり、従来の点滅パターンによるデータ転送システムでは、12KHz程度のフレームレートでの高速連続撮影が必要であるとされている。また、スリット光による被写体までの距離情報を求める場合にも、12KHzのフレームレートで距離検出を行うとしている。 As described above, in any case, an imaging apparatus that receives an image and information using a single imaging device requires a sensor that can continuously capture images at high speed. For example, it is necessary to photograph at a speed higher than the blinking cycle of the blinking pattern, and a conventional data transfer system using the blinking pattern requires high-speed continuous photographing at a frame rate of about 12 KHz. Also, when distance information to a subject by slit light is obtained, distance detection is performed at a frame rate of 12 KHz.
ところで、上述の如く高速連続撮影を可能とするためには、特殊な撮像素子が必要となり、汎用の撮像素子での実現は不可能である。すなわち、画像を撮影できる機能と、各画素に比較器を用いてその画素における時間的変化を1ビットで表現することで、高速に光の強度の時間変化を求めることができる機能の2つを持ち合わせた撮像素子が必要であった。 By the way, in order to enable high-speed continuous shooting as described above, a special image sensor is required, and realization with a general-purpose image sensor is impossible. That is, there are two functions: a function that can capture an image, and a function that can obtain a temporal change in the intensity of light at high speed by expressing a temporal change in each pixel using a comparator for each pixel. A combined image sensor was necessary.
このように、実際に、上述の装置は、特殊なセンサを用いるために、コストが高くなり、安価なシステムを作ることができないという欠点があった。 As described above, the above-described apparatus actually has a drawback in that a special sensor is used, resulting in an increase in cost and an inability to make an inexpensive system.
なお、通常の撮像素子は、半導体技術の進歩により、特にCMOSイメージセンサの実用化に伴い、高速連続撮影が可能にはなった。しかしながら、高速と言っても、せいぜい240fps(毎秒240枚)程度が一般的であり、それ以上の高速化には特殊な技術が必要であり高価になってしまう。 Note that, with the advancement of semiconductor technology, a normal image sensor has become capable of high-speed continuous shooting, particularly with the practical application of CMOS image sensors. However, even if it is said to be high speed, it is generally about 240 fps (240 sheets per second) at the most, and a special technique is required for higher speed, and it becomes expensive.
そこで、本発明の目的は、上述の如き従来の問題点に鑑み、汎用の撮像素子を使って、画像と情報を1つの撮像デバイスにより受信することのできる撮像装置及び撮像制御方法を提供することにある。 Accordingly, an object of the present invention is to provide an imaging apparatus and an imaging control method capable of receiving an image and information by a single imaging device using a general-purpose imaging element in view of the conventional problems as described above. It is in.
本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。 Other objects of the present invention and specific advantages obtained by the present invention will become more apparent from the description of embodiments described below.
上述の光の点滅パターンの取得には、撮像素子が撮影している範囲の中で、実際に点滅パターンが投影されている部分、つまり、ほんの一部分だけの範囲内の撮影情報で十分である。スリット光を回転ミラーで反射させることで三角測量の原理を使った場合において、撮像素子が撮影している範囲の中の一部分だけのデータでも、その部分に関する三角測量はできる。撮像素子からの読み出す部分を制限することで、読み出す総画素数が少なくなり、結果としてフレームレートを上げて撮影できる。すなわち、高速連続撮影ができる。 In order to obtain the above-described light blinking pattern, the photographing information within the range where the blinking pattern is actually projected, that is, only a part of the range where the image sensor is photographing is sufficient. When the principle of triangulation is used by reflecting the slit light with a rotating mirror, triangulation can be performed for only a part of the data that is captured by the image sensor. By limiting the portion to be read from the image sensor, the total number of pixels to be read is reduced, and as a result, it is possible to shoot at a higher frame rate. That is, high-speed continuous shooting can be performed.
以上の点に着目して、本発明においては、特殊な撮像素子を用いずに、目的に合った画像と情報を1つの汎用の撮像素子により受信する。 Focusing on the above points, in the present invention, an image and information suitable for the purpose are received by one general-purpose image sensor without using a special image sensor.
すなわち、本発明は、時間方向に変化のある光信号により情報を発信している情報源からの第1の情報を受信する撮像装置であって、上記情報源が撮像素子に投影されている第1の領域を含む、該撮像素子の第2の領域を構成する画素を複数回読み出す制御を行う読み出し制御手段と、上記撮像素子の第2の領域を構成する画素から複数回読み出された複数枚の第1の画像を取得し、上記複数の第1の画像同士の時間的変化により、上記第1の情報を求めて出力する情報処理手段とを備え、上記読み出し制御手段は、上記第2の領域を構成する画素を複数回読み出す時間とは別の時間において、上記撮像素子のすべての画素を読み出すことで、撮像素子全体に投影されている被写体全体の第2の画像を出力することを特徴とする。 That is, the present invention is an imaging apparatus that receives first information from an information source that transmits information by an optical signal that varies in the time direction, and the information source is projected onto an imaging device. Read control means for performing control to read out the pixels constituting the second area of the image sensor including the one area a plurality of times, and plural read out from the pixels constituting the second area of the image sensor Information processing means for obtaining the first information and obtaining and outputting the first information according to temporal changes between the plurality of first images, wherein the read control means includes the second information The second image of the entire object projected on the entire image sensor is output by reading all the pixels of the image sensor at a time different from the time for reading the pixels constituting the area a plurality of times. Features.
本発明に係る撮像装置では、例えば、上記第2の画像上に上記第1の情報をオーバーレイして出力する。 In the imaging apparatus according to the present invention, for example, the first information is overlaid and output on the second image.
また、本発明は、時間方向に変化のある光信号により情報を発信している情報源からの第1の情報を受信する撮像制御方法であって、上記情報源が撮像素子に投影されている第1の領域を含む、該撮像素子の第2の領域を構成する画素を複数回読み出して、複数枚の第1の画像を取得し、上記複数の第1の画像同士の時間的変化により、上記第1の情報を求めて出力し、上記第2の領域を構成する画素を複数回読み出す時間とは別の時間において、上記撮像素子のすべての画素を読み出すことで、撮像素子全体に投影されている被写体全体の第2の画像を出力することを特徴とする。 In addition, the present invention is an imaging control method for receiving first information from an information source that transmits information by an optical signal that varies in a time direction, and the information source is projected onto an imaging device. The pixels constituting the second region of the image sensor including the first region are read out a plurality of times to obtain a plurality of first images, and the temporal changes between the plurality of first images By obtaining and outputting the first information and reading all the pixels of the image sensor at a time different from the time for reading the pixels constituting the second region a plurality of times, the first information is projected on the entire image sensor. A second image of the entire subject is output.
本発明では、汎用の撮像素子を使って、センサの一部分のみを読み出すという操作により、高速連続撮像が可能になり、光の点滅パターンによる情報の受信や、スリット光による距離情報の取得ができる。したがって、安価に撮像システムを構築することができる。 In the present invention, high-speed continuous imaging is possible by an operation of reading out only a part of the sensor using a general-purpose imaging device, and it is possible to receive information by a light blinking pattern and to acquire distance information by slit light. Therefore, an imaging system can be constructed at low cost.
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. Needless to say, the present invention is not limited to the following examples, and can be arbitrarily changed without departing from the gist of the present invention.
本発明は、例えば図1に示すような構成の撮像装置100に適用される。
The present invention is applied to, for example, an
図1に示す撮像装置100は、撮像レンズ101、絞り102を介して撮像光が入射される撮像素子103、この撮像素子103により得られる撮像出力信号が供給されるカメラ信号処理回路104、画像メモリ106A,106B,106C,106D群、及び、画像メモリ107A,107B,107C,107D群、上記カメラ信号処理回路104の出力信号が供給される画像メモリ105、上記画像メモリ106A,106B,106C,106D群から読み出された画像データが供給される画像解析回路108、上記画像メモリ107A,107B,107C,107D群から読み出された画像データが供給される画像解析回路109、上記撮像素子103による撮像動作を制御するタイミングジェネレータ110、このタイミングジェネレータ110に付随するレジスタ110A、これらを制御する制御回路111、この制御回路111に制御情報を与えるための操作入力部112等を備えてなる。
An
この撮像装置100において、撮像素子103は、レンズ101、絞り102を介して入射される撮像光を電気信号に変換する。この撮像素子103からの電気信号である撮像出力信号は、カメラ信号処理回路104により処理されて、画像メモリ105に格納される。また、上記撮像素子103からの撮像出力信号は、上記画像メモリ105とは別の画像メモリ106A,106B,106C,106D群、及び、画像メモリ107A,107B,107C,107D群にも格納できるようになっている。上記4つの画像メモリ106A〜106Dから読み出されるデータは、画像解析回路108に入力され、この画像解析回路108内で後述する適切な処理が行われる。同様に、上記4つの画像メモリ107A〜107Dから読み出されるデータは、画像解析回路109に入力され、この画像解析回路109内で後述する適切な処理が行われる。また、タイミングジェネレータ110は、撮像素子103での撮影タイミング、及び、読み出す画素の制御を行う。このタイミングジェネレータ110に付随するレジスタ110Aは、後述するブロックの位置に関する情報を保持するためのものである。また、制御回路111は、この撮像装置100全体の制御を行う。
In the
なお、通常、撮像素子の直後には、相関2重サンプリング回路とA/Dコンバータが付いており、レンズ101、絞り102を介した入射光は、撮像素子の各受光部に到達し、受光部での光電変換によって電気信号に変換され、相関2重サンプリング回路によってノイズが除去され、A/Dコンバータによってデジタル化され、通常8ビットのデータとなる。しかしながら、このような一般的な事柄は本発明の要点に直接関係ないので、図1に示した撮像装置100では相関2重サンプリング回路とA/Dコンバータを省略して、撮像素子からは各画素のデジタルデータが直接出力されるとして説明を進めていくことにする。
In general, a correlated double sampling circuit and an A / D converter are attached immediately after the image sensor, and incident light through the
この撮像装置100においては、好適には、撮像素子103として、例えばCMOSイメージセンサを使用する。CMOSイメージセンサの特徴として、画素のランダムアクセスが可能である点があげられる。例えば、MICRON社製のCMOSイメージセンサ(型番:MT9T001)は、その仕様書のWindow Controlという項目にランダムアクセスによる読み出し方が説明されており、また、読み出す領域を限定することで、そのフレームレートを上げることもできることが、記載されている。また、2箇所以上の矩形領域を指定して、その2つの領域内の画素のみを読み出すことができるイメージセンサもある。本発明においては、このランダムアクセスという特徴を利用している。CCDイメージセンサにおいても、このように一部分だけ高速に読み出すモードを設けたものも存在しているので、そのような撮像素子でも、本発明は適用できる。
In the
そして、この実施の形態における撮像装置100では、例えば、撮像素子103は、400万(4メガ)画素とし、1画素あたりの読み出し時間を1/960マイクロ秒、すなわち、960MHzで、画素を次々と読み出すことができるものとする。従って、通常の画像を撮影(400万画素全部を使って撮影)する場合は、400万×1/960マイクロ秒で1枚、つまり、240fps(毎秒240枚)のフレームレートで、動画像として読み出すことができる。また、例えば、2箇所の200×200画素の矩形領域を読み出すには、合計で8万画素を読み出すことになるので、80000/960マイクロ秒で読み出すことができ、すなわち、12kHzで、2箇所の200×200画素の矩形領域を読み出すことができる。
In the
図1において、撮像素子103の画素数を400万としているので、画像メモリ105は、その画素数と同じ400万ワードの領域を持っている。1画素の語長を8ビットとすると、画像メモリ105は、400万ワード×8ビットの容量である。ここでは、本発明の要点とは関係ないので、言及はしないが、もし、カラー画像であれば、1画素は通常24ビットなので、画像メモリ105は、400万ワード×24ビットの容量となるが、ここでは、黒白画像、即ち、400万ワード×8ビットとして話を進めていく。
In FIG. 1, since the number of pixels of the
図1において、読み出す矩形領域は、200×200画素としているので、画像メモリ106A〜106D及び画像メモリ107A〜107Dは、それぞれ、その画素数と同じ4万ワードの領域を持っている。1画素の語長は8ビットなので、それぞれ、4万ワード×8ビットの容量である。
In FIG. 1, since the rectangular area to be read is 200 × 200 pixels, each of the image memories 106A to 106D and the
なお、以下の説明のため、撮像素子103は、横2000画素、縦2000画素とする。また、各画素の位置は、(X,Y)で表される。ここで、Xは横方向の位置を表し、0以上2000未満である。Yは縦方向の位置を表し、0以上2000未満である。
For the following description, the
ここで、本発明に係る撮像装置の他の構成例を図2に示す。 Here, FIG. 2 shows another configuration example of the imaging apparatus according to the present invention.
図2に示す撮像装置200おいて、図1に示した撮像装置100と同じ構成要素は、同一符号を付して、その説明を省略する。この撮像装置200は、上記撮像装置100における画像メモリ106A〜106D,107A〜107D群及び画像解析回路108,109に代わる画像メモリ201とDSP(Digital Signal Processor)202を備える。
In the
画像メモリ201は、撮像素子103からの撮像出力信号が格納される。その容量は、図1に示した撮像装置100おける8個の画像メモリ106A〜106D,107A〜107Dの合計と同じであり、上記図1における8個の画像メモリ106A〜106D,107A〜107Dに格納される画像データと全く同じものが画像201に格納される。画像メモリ201から読み出されたデータは、DSP202に入力される。DSP202は、図示しないプログラムコードに則り、所望の計算を行う。その計算内容は、図1の画像解析回路108,109で行われる処理と等価なものである。画像解析回路108,109での処理を、DSP202で行わせることで、より汎用性(拡張性)を持たせることができる。つまり、例えば、プログラムコードを変更することで、矩形領域の大きさを変更したりすることができる。
The
図1に示した撮像装置100のように専用の画像解析回路108,109を用いることで回路規模は最適化されるという利点があり、一方、図2に示す示した撮像装置200のようなプログラマブルなDSP202を用いることで拡張性を持たせることができるという利点がある。逆に言えば、図1に示すように専用の画像解析回路108,109を用いることで拡張性は失われる。そして、図2に示すようなプログラマブルなDSP202を用いることで回路規模が大きくなるという欠点がおきる。図1、図2に示す構成は、一長一短があり、実際の製品としては、コストと、その利便性を考えて、それぞれの用途に合ったものを選ぶことになる。
The use of dedicated
次に、図1に示した撮像装置100について、詳しく述べる。
Next, the
図3には、上記撮像装置100では、図3に示すように、時間の経過に従い、画像読み出しモードと、情報読み出すモードの2つのモードが交互に実行される。図3において、横軸は時間軸である。
In FIG. 3, in the
この撮像装置100では、従来と異なり、情報を読み出すモードのときに、撮像素子103内の画素をすべて読み出さずに、一部分(ここでは、2箇所の200×200画素の部分としている)のみを読み出すようにしている。これにより、より高速な連続撮影が可能となる。
In the
すなわち、図3に示すように、まず、時刻0秒から時刻4/240秒の間は、画像読み出しモードとして動作する。次の時刻4/240秒から時刻8/240秒の間は、情報読み出しモード(情報AB読み出しモードと名づけている。)として動作する。次の時刻8/240秒から時刻12/240秒の間は、画像読み出しモードとして動作する。次の時刻12/240秒から時刻16/240秒の間は、情報読み出しモード(情報AB読み出しモードと名づけている。)として動作する。以降、同様である。
That is, as shown in FIG. 3, first, the operation is performed in the image reading mode from
画像読み出しモード(例えば、時刻0秒から時刻4/240秒の間)に関して、図4を用いて詳細に説明する。このモードでは、通常のデジタルスチルカメラやデジタルビデオカメラと同様の動作が行われる。
The image reading mode (for example, between
すなわち、時刻t0秒において、1つ目の画素(通常、位置(0,0)の画素)のリセットが行われ、時刻3/240秒まで電荷の蓄積が行われ、時刻3/240秒において、その画素の値として電荷に比例した値が103の出力端子より出力され、カメラ信号処理回路104を介して画像メモリ105に格納される。この画素の露光時間は、図4のT1である。
That is, at time t0 seconds, the first pixel (normally, the pixel at position (0, 0)) is reset, and charge is accumulated until
時刻(T0+1/960000000)秒において、2つ目の画素(通常、位置(1,0)の画素)のリセットが行われ、時刻(3/240+1/960000000)秒まで電荷の蓄積が行われ、時刻(3/240+1/960000000)秒において、その画素の値として電荷に比例した値が103の出力端子より出力され、カメラ信号処理回路104を介して画像メモリ105に格納される。この画素の露光時間は、図4のT2である。
At the time (T0 + 1/960000000) seconds, the second pixel (normally, the pixel at the position (1, 0)) is reset, and charge is accumulated until the time (3/240 + 1/960000000) seconds. In (3/240 + 1/960000000) seconds, a value proportional to the charge is output from the
時刻(T0+2/960000000)秒において、3つ目の画素(通常、位置(2,0)の画素)のリセットが行われ、時刻(3/240+2/960000000)秒まで電荷の蓄積が行われ、時刻(3/240+2/960000000)秒において、その画素の値として電荷に比例した値がイメージセンタ103の出力端子より出力され、カメラ信号処理回路104を介して画像メモリ105に格納される。この画素の露光時間は、図4のT3である。
At time (T0 + 2/960000000) seconds, the third pixel (usually the pixel at position (2,0)) is reset, and charge is accumulated until time (3/240 + 2/960000000) seconds. In (3/240 + 2/960000000) seconds, a value proportional to the charge is output as the pixel value from the output terminal of the
以下、同様に、ラスタスキャン順に画素がリセットされ、露光され、読み出され、カメラ信号処理回路104を介して画像メモリ105に格納される。
Hereinafter, similarly, pixels are reset in the raster scan order, exposed, read out, and stored in the
そして、最後の画素であるN番目の画素(通常、位置(1999,1999)の画素)について処理が行われる。すなわち、時刻(t0+(N−1)/960000000)秒において、N番目の画素(通常、位置(1999,1999)の画素)のリセットが行われ、時刻(3/240+(N−1)/960000000)秒まで電荷の蓄積が行われ、時刻(3/240+(N−1)/960000000)秒において、その画素の値として電荷に比例した値が撮像素子103の出力端子より出力され、カメラ信号処理回路104を介して、画像メモリ105に格納される。この画素の露光時間は、図4のTNである。
Then, the process is performed on the Nth pixel (usually the pixel at the position (1999, 1999)) which is the last pixel. That is, at the time (t0 + (N−1) / 960000000) seconds, the Nth pixel (normally, the pixel at the position (1999, 1999)) is reset, and the time (3/240 + (N−1) / 960000000) is reset. ) Charge is accumulated up to seconds, and at time (3/240 + (N−1) / 960000000) seconds, a value proportional to the charge is output from the output terminal of the
なお、ここでNは400万である。また、時刻t0は、制御回路111により決定される。具体的には、図示しない露出計からの値が制御回路111に入力され、被写体の明るさを検知して、撮像素子103で撮影する際に最適な露出時間が決定される。この露出時間に基づいて、t0=(3/240)−(露出時間)と決定される。この露出の決定は、従来からデジタルスチルカメラや、デジタルビデオカメラにおいて行われているので、その詳細を省略する。また、各画素のリセット、露光、読み出しのタイミングの制御は、タイミングジェネレータ110にて行われる。
Here, N is 4 million. The time t0 is determined by the
なお、先に述べたように、撮像素子103からは、1画素あたりの読み出し時間は1/960マイクロ秒であり、全画素(N個の画素)を読み出すのに、400万×(1/960)マイクロ秒=1/240秒かかるので、時刻4/240秒において、画像読み出しモードは終わる。
As described above, the readout time per pixel from the
なお、ここで、カメラ信号処理回路104での処理について説明する。カメラ信号処理回路104では、通常のデジタルスチルカメラやデジタルビデオカメラにおいて処理される画像処理と同じ処理が行われる。すなわち、γ補正やエッジ強調などによる見栄えの良い画像への変換などであり、さらに、撮像素子がベイヤー配列の場合はデモザイク処理、カラー画像の場合はホワイトバランス調整などが挙げられる。このような処理は、通常のデジタルスチルカメラやデジタルビデオカメラを使用して撮影する場合に、必ずカメラ内で行われている処理であるので、詳細説明を割愛する。
Here, processing in the camera
このように、4/240秒間に行われる画像読み出しモードが終了するたび、画像メモリ105には、撮像素子全体を使って撮影された「鑑賞用の綺麗な画像」が格納されることになる。
As described above, every time the image reading mode performed for 4/240 seconds is completed, the
次に、情報AB読み出しモード(例えば、時刻4/240秒から時刻8/240秒の間)に関して、図5を用いて詳細に説明する。このモードでは、通常のデジタルスチルカメラやデジタルビデオカメラとは違い、撮像素子の一部分の読み出しのみが行われる。
Next, the information AB reading mode (for example, between
なお、このモードに入る時点よりも前に、レジスタ110Aに、ブロックAの矩形領域(200×200画素)を示すデータと、ブロックBの矩形領域(200×200画素)を示すデータが保持されているとする。具体的には、レジスタ110Aは、ブロックAの左上の画素の位置を示す(ia,ib)と、ブロックBの左上の画素の位置を示す(ib,jb)という2つの2次元ベクトルの値を保持している。
Prior to the time of entering this mode, data indicating the rectangular area (200 × 200 pixels) of block A and data indicating the rectangular area (200 × 200 pixels) of block B are held in the
タイミングジェネレータ110は、レジスタ110Aに格納されている情報を使って、撮像素子内の一部であるブロックAの部分とブロックBの部分のみを読み出すように、撮像素子103を制御する。
The
すなわち、時刻4/240秒において、ブロックA内の1つ目の画素(通常、位置(ia,ib)の画素)のリセットが行われ、時刻(4/240)+(80000/960000000)秒まで電荷の蓄積(図5のT11)が行われ、時刻(4/240)+(80000/960000000)秒において、その画素の値として電荷に比例した値が撮像素子103の出力端子より出力され、画像メモリ106A〜106Dのいずれかに格納される。そして、同時に、この画素のリセットが再度行われ、時刻(4/240)+2×(80000/960000000)秒まで電荷の蓄積(図5のT21)が行われ、時刻(4/240)+2×(80000/960000000)秒において、その画素の値として電荷に比例した値が撮像素子103の出力端子より出力され、画像メモリ106A〜106Dのいずれかに格納される。そして、同時に、この画素のリセットが再度行われ、時刻(4/240)+3×(80000/960000000)秒まで電荷の蓄積(図5のT31)が行われ、時刻(4/240)+3×(80000/960000000)秒において、その画素の値として電荷に比例した値が撮像素子103の出力端子より出力され、画像メモリ106A〜106Dのいずれかに格納される。以降、同様にして、合計でS回、この操作が行われる。ここで、Sは199である。図5には、最後の操作での電荷の蓄積について、TS1として記してある。
That is, at the
また、時刻(4/240+1/960000000)秒において、ブロックA内の2つ目の画素(通常、位置(ia+1,ib)の画素)のリセットが行われ、時刻(4/240+1/960000000)+(80000/960000000)秒まで電荷の蓄積(図5のT12)が行われ、時刻(4/240+1/960000000)+(80000/960000000)秒において、その画素の値として電荷に比例した値が撮像素子103の出力端子より出力され、画像メモリ106A〜106Dのいずれかに格納される。そして、同時に、この画素のリセットが再度行われ、時刻(4/240+1/960000000)+2×(80000/960000000)秒まで電荷の蓄積(図5のT22)が行われ、時刻(4/240+1/960000000)+2×(80000/960000000)秒において、その画素の値として電荷に比例した値が撮像素子103の出力端子より出力され、画像メモリ106A〜106Dのいずれかに格納される。同時に、この画素のリセットが再度行われ、時刻(4/240+1/960000000)+3×(80000/960000000)秒まで電荷の蓄積(図5のT32)が行われ、時刻(4/240+1/960000000)+3×(80000/960000000)秒において、その画素の値として電荷に比例した値が103の出力端子より出力され、画像メモリ106A〜106Dのいずれかに格納される。以降、同様にして、合計でS回、この操作が行われる。ここで、Sは199である。図5には、最後の操作での電荷の蓄積について、TS2として記してある。
At the time (4/240 + 1/960000000) seconds, the second pixel in the block A (normally, the pixel at the position (ia + 1, ib)) is reset, and the time (4/240 + 1/960000000) + ( Charge accumulation (T12 in FIG. 5) is performed up to 80,000 / 960000000) seconds, and at time (4/240 + 1/960000000) + (80000/960000000) seconds, a value proportional to the charge is obtained as the value of the pixel. Are output from the output terminals and stored in any of the image memories 106A to 106D. At the same time, this pixel is reset again, and charge is accumulated (T22 in FIG. 5) until time (4/240 + 1/960000000) + 2 × (80000/960000000) seconds, and time (4/240 + 1/960000000) is obtained. ) + 2 × (80000/960000000) seconds, a value proportional to the charge is output as the value of the pixel from the output terminal of the
また、時刻(4/240+2/960000000)秒において、ブロックA内の3つ目の画素(通常、位置(ia+2,ib)の画素)のリセットが行われ、時刻(4/240+2/960000000)+(80000/960000000)秒まで電荷の蓄積(図5のT13)が行われ、時刻(4/240+2/960000000)+(80000/960000000)秒において、その画素の値として電荷に比例した値が撮像素子103の出力端子より出力され、画像メモリ106A〜106Dのいずれかに格納される。そして、同時に、この画素のリセットが再度行われ、時刻(4/240+2/960000000)+2×(80000/960000000)秒まで電荷の蓄積(図5のT23)が行われ、時刻(4/240+2/960000000)+2×(80000/960000000)秒において、その画素の値として電荷に比例した値が撮像素子103の出力端子より出力され、画像メモリ106A〜106Dのいずれかに格納される。そして、同時に、この画素のリセットが再度行われ、時刻(4/240+2/960000000)+3×(80000/960000000)秒まで電荷の蓄積(図5のT33)が行われ、時刻(4/240+2/960000000)+3×(80000/960000000)秒において、その画素の値として電荷に比例した値が撮像素子103の出力端子より出力され、画像メモリ106A〜106Dのいずれかに格納される。以降、同様にして、合計でS回、この操作が行われる。ここで、Sは199である。図5には、最後の操作での電荷の蓄積について、TS3として記してある。
At the time (4/240 + 2/960000000) seconds, the third pixel in the block A (normally, the pixel at the position (ia + 2, ib)) is reset, and the time (4/240 + 2/960000000) + ( Charge accumulation (T13 in FIG. 5) is performed until 80,000 / 960000000) seconds, and at time (4/240 + 2/960000000) + (80000/960000000) seconds, a value proportional to the charge is obtained as the value of the pixel. Are output from the output terminals and stored in any of the image memories 106A to 106D. At the same time, this pixel is reset again, and charge is accumulated (T23 in FIG. 5) until time (4/240 + 2/960000000) + 2 × (80000/960000000) seconds, and time (4/240 + 2/960000000) is obtained. ) + 2 × (80000/960000000) seconds, a value proportional to the charge is output as the value of the pixel from the output terminal of the
以下、同様に、ブロックA内の40000個の画素に対して、ラスタスキャン順に、リセットされ、露光され、読み出され、画像メモリ106A〜106Dのいずれかに格納される。 Similarly, the 40000 pixels in the block A are reset, exposed, read out and stored in any of the image memories 106A to 106D in the raster scan order.
そして、さらに続けて、同様に、ブロックB内の40000個の画素に対して、ラスタスキャン順に、リセットされ、露光され、読み出され、画像メモリ107A〜107Dのいずれかに格納される。
Further, subsequently, similarly, the 40000 pixels in the block B are reset, exposed, read out and stored in any of the
すなわち、ブロックA内の画素に対しては、画像メモリ106A〜106Dのいずれかに格納していたが、ブロックB内の画素に対しては、画像メモリ107A〜107Dのいずれかに格納される。
That is, the pixels in the block A are stored in any of the image memories 106A to 106D, while the pixels in the block B are stored in any of the
そして、ブロックB内の最後の画素である40000番目の画素(通常、位置(ib+199,jb+199)の画素)について処理が行われる。なお、この画素は、ブロックAの最初の画素から数えてM番目である。ここで、Mは2×200×200=80000である。時刻(4/240+(M−1)/960000000)秒において、ブロックB内の40000番目の画素(通常、位置(ib+199,jb+199)の画素)のリセットが行われ、時刻(4/240+(M−1)/960000000)+(80000/960000000)秒まで電荷の蓄積(図5のT1M)が行われ、時刻(4/240+(M−1)/960000000)+(80000/960000000)秒において、その画素の値として電荷に比例した値が撮像素子103の出力端子より出力され、画像メモリ107A〜107Dのいずれかに格納される。そして、同時に、この画素のリセットが再度行われ、時刻(4/240+(M−1)/960000000)+2×(80000/960000000)秒まで電荷の蓄積(図5のT2M)が行われ、時刻(4/240+(M−1)/960000000)+2×(80000/960000000)秒において、その画素の値として電荷に比例した値が撮像素子103の出力端子より出力され、画像メモリ107A〜107Dのいずれかに格納される。そして、同時に、この画素のリセットが再度行われ、時刻(4/240+(M−1)/960000000)+3×(80000/960000000)秒まで電荷の蓄積(図5のT3M)が行われ、時刻(4/240+(M−1)/960000000)+3×(80000/960000000)秒において、その画素の値として電荷に比例した値が撮像素子103の出力端子より出力され、画像メモリ107A〜107Dのいずれかに格納される。以降、同様にして、合計でS回、この操作が行われる。ここで、Sは199である。図5には、最後の操作での電荷の蓄積について、TSMとして記してある。
Then, the process is performed on the 40000th pixel (normally the pixel at the position (ib + 199, jb + 199)) which is the last pixel in the block B. This pixel is M-th counting from the first pixel of block A. Here, M is 2 × 200 × 200 = 80000. At the time (4/240 + (M−1) / 960000000) seconds, the 40000th pixel in the block B (normally, the pixel at the position (ib + 199, jb + 199)) is reset, and the time (4/240 + (M− 1) / 960000000) + (80000/960000000) seconds of charge accumulation (T1M in FIG. 5) is performed, and at time (4/240 + (M−1) / 960000000) + (80000/960000000) seconds, the pixel A value proportional to the electric charge is output from the output terminal of the
ここで、ブロックA内とブロックB内にある画素の個数は合計で80000個であり、これら画素が時間的に順番に1/960マイクロ秒ごとに読み出されており、さらに、各画素について199回の読み出しがあるので、最終的には、時刻8/240以前にこの全ての処理を終えることができる。つまり、情報AB読み出しモードは、時刻4/240秒から時刻8/240秒の間に行うことができる。
Here, the total number of pixels in the block A and the block B is 80000, and these pixels are read out in time order every 1/960 microseconds. Further, for each pixel, 199 Since there are multiple readings, all this processing can be completed before
なお、ブロックA内の各画素について合計で199回のメモリへの書き込みが行われるが、画像メモリ106A〜106Dに順番に各画素に対応した番地に書き込むことで、常に、時間的に最新の4つの値が書き込まれていることになる。ブロックB内の各画素についても合計で199回のメモリへの書き込みが行われるが、画像メモリ107A〜107Dに順番に各画素に対応した番地に書き込むことで、常に、時間的に最新の4つの値が書き込まれていることになる。最新の4つ以外の値は上書きされるので、その値は消される。
In addition, although writing to the memory is performed 199 times in total for each pixel in the block A, it is always the latest 4 in time by writing to the address corresponding to each pixel in order in the image memories 106A to 106D. One value is written. Each pixel in the block B is also written to the memory 199 times in total. However, by sequentially writing to the addresses corresponding to the respective pixels in the
なお、画像読み出しモードでは、観賞用の画像の撮影のため適正な露光時間が必要であったが、情報AB読み出しモードでは、時間的に各画素のデジタルデータの値の増減があったかどうかを知りたいだけなので露光時間が少なくて暗めの画像になっていても問題はない。事実、図4のT1〜TNで示した露光時間よりも、図5のT11〜TSMで示した各露光時間は短くなっている。 In the image readout mode, an appropriate exposure time is required for taking an ornamental image. In the information AB readout mode, it is desired to know whether the digital data value of each pixel has increased or decreased over time. Therefore, there is no problem even if the exposure time is short and the image is dark. In fact, the exposure times indicated by T11 to TSM in FIG. 5 are shorter than the exposure times indicated by T1 to TN in FIG.
時刻4/240秒から時刻8/240秒の間では、さらに、画像メモリ106A〜106D内に格納されているデータを読み出し、画像解析回路108で、以下の処理が行われる。
Between the
ブロックA内のある画素に着目すると、80000/960000000秒(すなわち、12kHz)ごとに画像メモリ106A〜106D内の一番時間的に古い時刻に撮影されたデータが、新しいデータに更新される。各画素について、この80000/960000000秒ごとの更新の度に、差分DIFF=F(n)+F(n−1)−F(n−2)−F(n−3)を、画像解析回路108で計算する。ここで、F(n)は現在更新されたデータ(つまり、最新のデータ)の値、F(n−1)は80000/960000000秒前に更新されたデータ(つまり、古い方から数えて3番目のデータ)の値、F(n−2)は2×80000/960000000秒前に更新されたデータ、つまり、古い方から数えて2番目のデータの値、F(n−3)は3×80000/960000000秒前に更新されたデータ、つまり、一番古いデータの値である。これら4つのデータは、先に説明したように、画像メモリ106A〜106D内にあり、画像解析回路108へ読み出されて差分DIFFの計算が行われる。
When attention is paid to a certain pixel in the block A, data taken at the oldest time in the image memories 106A to 106D every 80000/960000000 seconds (that is, 12 kHz) is updated to new data. For each pixel, the difference DIFF = F (n) + F (n−1) −F (n−2) −F (n−3) is updated by the
さらに、画像解析回路108では、この差分DIFFと閾値との大小関係を調べる。そして、DIFFの値が、ある閾値以上であれば、その画素に投影された光源からの光が、この時刻において、オフ(消灯)からオン(点灯)に変化したと判断する。また、DIFFの値が、別の閾値以下であれば、その画素に投影された光源からの光が、この時刻において、オン(点灯)からオフ(消灯)に変化したと判断する。
Further, the
最新の2つの時刻に撮られたデータ(F(n)とデータF(n−1))を加算し、古い2つの時刻に撮られたデータ(F(n−2)とデータF(n−3))を加算することで、時間方向のノイズに対してロバスト(安定性)なものとし、これら2つのデータの引き算により、時間的変化の度合いを求めている。この変化の度合いを、閾値と比較することで、その画素の値の変化を検知することができる。もちろん、この他に時間方向の一次微分などで、その画素の値の変化を検知することができるが、それらは公知の方法であり、それら各種「値の変化の検知」方法については、ここで言及はしない。 Data (F (n) and data F (n-1)) taken at the two most recent times are added, and data (F (n-2) and data F (n-) taken at the two oldest times are added. 3)) is added to make it robust against the noise in the time direction, and the degree of temporal change is obtained by subtracting these two data. By comparing the degree of this change with a threshold value, a change in the value of the pixel can be detected. Of course, in addition to this, a change in the value of the pixel can be detected by a first-order differential in the time direction or the like. However, these are known methods, and various “value change detection” methods are described here. I will not mention it.
このように画像解析回路108にて、ブロックA内の各画素について、80000/960000000秒(すなわち、12kHz)ごとに、その投影像が点滅しているか、さらに、点滅している場合には、その点滅パターンを検知することができる。
As described above, in the
同様に、画像解析回路109にて、画像メモリ107A〜107DからブロックB内の各画素を読み出すことにより、ブロックB内の各画素について、80000/960000000秒(すなわち、12kHz)ごとに、その投影像が点滅しているか、さらに、点滅している場合には、その点滅パターンを検知することができる。
Similarly, by reading out each pixel in the block B from the
なお、各画素について、上述したようにS(つまり199)回の撮影が行われることと、時間的に4回の撮影から差分DIFFが計算されることより、S+1−4(つまり196)回のオン/オフ変化を検知することができる。従って、この長さよりも短い点滅パターン長を発する情報源について検知することができる。また、これ以上に長い点滅パターン長を発する情報源については、情報AB読み出しモードの時間を長くすれば対処できる。 For each pixel, as described above, S (that is, 199) times of shooting is performed, and the difference DIFF is calculated from four times of time, so that S + 1−4 (that is, 196) times. An on / off change can be detected. Therefore, it is possible to detect an information source that emits a blinking pattern length shorter than this length. Further, an information source that emits a longer flashing pattern length can be dealt with by lengthening the time of the information AB reading mode.
図3に示したように、画像読み出しモードと情報AB読み出しモードを交互に行うことで、105には1/30=8/240秒ごとに画像の更新が行われる。つまり、30fpsの動画像が、リアルタイムで105に格納されていく。そして、12kHzでブロックAおよびブロックB内の各画素に投影された投影像の点滅パターンを画像解析回路108,109で検知することができる。
As shown in FIG. 3, the image is updated every 1/30 = 8/240 seconds in 105 by alternately performing the image reading mode and the information AB reading mode. That is, a moving image of 30 fps is stored in 105 in real time. The blinking pattern of the projected image projected on each pixel in the block A and the block B at 12 kHz can be detected by the
次に、この撮像装置100を使用した2つの応用例を説明する。すなわち、1つ目は、画像を撮影しながら、さらに、撮影されている領域内に発光する光の点滅パターンにより、データを転送するシステムにおける撮像装置である。2つ目は、スリット光を回転ミラーで反射させることで三角測量の原理を使った、画像を撮影しながら、その被写体までの距離を求める装置における撮像装置である。
Next, two application examples using the
まず、1つ目の応用例についての説明を行う。図6のフローチャートに、その処理の流れを示す。 First, the first application example will be described. The flowchart of FIG. 6 shows the processing flow.
ここでは、図7に示すように、4KHzの周波数で点滅駆動することで情報を発信している複数のLED10A〜10Nを含む風景(被写体)Aを撮像装置100を使用して撮影しているものとする。
Here, as shown in FIG. 7, a landscape (subject) A including a plurality of
図6に示すフローチャートおいて、まず、ステップS1では、ブロックAの位置を決めるための横軸座標の値(ia)に0をセットする。そして、ステップS2に進む。 In the flowchart shown in FIG. 6, first, in step S1, 0 is set to the value (ia) of the horizontal axis coordinate for determining the position of the block A. Then, the process proceeds to step S2.
ステップS2では、ブロックAの位置を決めるための縦軸座標の値(ja)に0をセットする。そして、ステップS3に進む。 In step S2, 0 is set to the value (ja) of the vertical axis coordinate for determining the position of the block A. Then, the process proceeds to step S3.
ステップS3では、図4を用いて説明した画像読み出しモードにて、撮影を行い、撮影された画像を画像メモリ105に格納する。ステップS3に要する時間は、4/240秒である。そして、ステップS4に進む。
In step S <b> 3, shooting is performed in the image reading mode described with reference to FIG. 4, and the captured image is stored in the
ステップS4では、ブロックAの位置を決定する。すなわち、ブロックAは、「左上の画素の位置を(ia,ja)とする200×200画素のブロック」であるという情報を、レジスタ110Aに格納させる。そして、ステップS5に進む。
In step S4, the position of block A is determined. That is, the block A causes the
ステップS5では、ブロックBの位置を決めるための横軸座標の値(ib)にia+150をセットし、縦軸座標の値(jb)にjaの値をセットする。そして、ステップS6に進む。 In step S5, ia + 150 is set to the value (ib) of the horizontal axis for determining the position of the block B, and the value of ja is set to the value (jb) of the vertical axis coordinate. Then, the process proceeds to step S6.
ステップS6では、ブロックBの位置を決定する。すなわち、ブロックBは、「左上の画素の位置を(ib,jb)とする200×200画素のブロック」であるという情報を、レジスタ110Aに格納させる。そして、ステップS7に進む。
In step S6, the position of block B is determined. That is, the block B causes the
ステップS7では、図5を用いて説明した情報AB読み出しモードにて、撮影を行う。すなわち、画像解析回路108でブロックA内に投影されているLEDの有無と、もし有れば、ブロックA内でのLEDの位置(tmpIA,tmpJA)と、その点滅パターンを求める。「LEDの有無」、「ブロックA内でのLEDの位置」、「点滅パターン」は、制御回路111に送られる。同時に、画像解析回路109でブロックB内に投影されているLEDの有無と、もし有れば、ブロックB内でのLEDの位置(tmpIB,tmpJB)と、その点滅パターンを求める。「LEDの有無」、「ブロックB内でのLEDの位置」、「点滅パターン」は、制御回路111に送られる。ステップS7に要する時間は、4/240秒である。そして、ステップS8に進む。
In step S7, shooting is performed in the information AB readout mode described with reference to FIG. That is, the presence / absence of the LED projected in the block A by the
ステップS8〜ステップS11では、別のブロックについての処理を行うための操作が行われる。すなわち、ステップS8で、iaの値が1500未満であるかを判断し、真であれば、横軸方向に1段ずらすために、ステップS9にて、iaの値を300だけインクリメントしてステップS3に戻る。偽であれば、縦軸方向に一段ずらすために、ステップS10に進む。ステップS10では、jaの値が1800未満であるかを判断し、真であれば、縦軸方向に1段ずらすために、ステップS11にて、jaの値を150だけインクリメントしてステップS2に戻る。偽であれば、ステップS12に進む。なお、ステップS8の判定から分かるように、一番右端の部分にブロックを設定して探索を行ってはいない。これは、ユーザーが明示的に情報を取得しようとしてLEDに向けて撮影を行っているわけであり、一番はじにはLEDの投影像がないと仮定しているからである。 In steps S8 to S11, an operation for performing processing for another block is performed. That is, in step S8, it is determined whether or not the value of ia is less than 1500. If true, the value of ia is incremented by 300 in step S9 in order to shift by one step in the horizontal axis direction. Return to. If false, the process proceeds to step S10 in order to shift the vertical axis by one step. In step S10, it is determined whether the value of ja is less than 1800. If true, the value of ja is incremented by 150 in step S11 in order to shift by one step in the vertical axis direction, and the process returns to step S2. . If false, the process proceeds to step S12. As can be seen from the determination in step S8, no search is performed by setting a block at the rightmost portion. This is because it is assumed that the user is taking an image toward the LED in an attempt to explicitly acquire information, and firstly, there is no projection image of the LED.
ステップS12では、ステップS7において求まった「各ブロックの位置におけるLEDの有無」より、どの位置にブロックを設定したときにLEDが有ったかを判定する。ここでは、LEDは2つ有ったとして話を進めていく。3つ以上の場合については、後述する。LEDが有ったと判定された時の2つのブロックの位置の左上を(tmpI1,tmpJ1)と(tmpI2,tmpJ2)とする。また、「そのブロック内でのLEDの位置(tmpIA,tmpJA)あるいは(tmpIB,tmpJB)」もステップS7において求まっているので、この値を使用して、撮像素子における2つのLEDの位置を求める。つまり、(tmpI1+tmpI*,tmpJ1+tmpJ*)あるいは(tmpI2+tmpI*,tmpJ2+tmpJ*)を計算する。ここで添え字“*”は、AあるいはBである。そこで、これら位置を中心とするブロックをブロックAとブロックBとする。具体的には、ブロックAは「左上の画素の位置を(tmpI1+tmpI*−100,tmpJ1+tmpJ*−100)とする200×200画素のブロック」であるという情報をレジスタ110Aに格納させる。そして、ブロックBは「左上の画素の位置を(tmpI2+tmpI*−100,tmpJ2+tmpJ*−100)とする200×200画素のブロック」であるという情報をレジスタ110Aに格納させる。これらの処理は、制御回路111内で行われる。そして、ステップS13に進む。
In step S12, based on the “presence / absence of LED at the position of each block” obtained in step S7, it is determined at which position the block is located. Here, the discussion will proceed assuming that there are two LEDs. The case of three or more will be described later. The upper left positions of the two blocks when it is determined that there is an LED are (tmpI1, tmpJ1) and (tmpI2, tmpJ2). In addition, since “the position of the LED in the block (tmpIA, tmpJA) or (tmpIB, tmpJB)” is also obtained in step S7, the position of the two LEDs in the image sensor is obtained using this value. That is, (tmpI1 + tmpI *, tmpJ1 + tmpJ *) or (tmpI2 + tmpI *, tmpJ2 + tmpJ *) is calculated. Here, the subscript “*” is A or B. Therefore, blocks A and B are centered on these positions. More specifically, the block A causes the
ここで、ステップS13以降の説明を行う前に、ステップS1〜ステップS12までの補足説明をしておく。最初に撮像装置を使って撮影しても、どの方向(即ち、どの画素)に情報を発信しているLEDがあるか不明である。そこで、400万画素(2000×2000画素)のすべての位置にブロックを設定して、そのブロック内で発光パターンを検知できるか調べる必要がある。それが、ステップS1〜ステップS11である。そして、求まったLEDの投影像の位置を中心とするようにブロックAとブロックBを指定しているのが、ステップS12である。 Here, before explaining step S13 and subsequent steps, a supplementary explanation of steps S1 to S12 will be given. Even when an image is first captured using an imaging device, it is unclear which direction (ie, which pixel) the LED is transmitting information to. Therefore, it is necessary to set a block at every position of 4 million pixels (2000 × 2000 pixels) and check whether a light emission pattern can be detected in the block. That is steps S1 to S11. In step S12, the block A and the block B are designated so as to center on the position of the obtained projection image of the LED.
また、ステップS5、ステップS9、ステップS11から分かるように、次々と探索していくブロックは50画素ずつの交わり部分がある(図8参照)。図8において、領域A0は撮像素子全体(2000×2000画素)を示している。例えば、ブロックAとして図8に示す領域A1が設定されているときには、ブロックBとして領域A2が設定される。さらに、縦方向に一段ずらして計算するときには、ブロックAとして領域A3が設定され、ブロックBとして領域A4が設定される。図8に示すように各ブロックには50画素ずつの重なり部分がある。これは、LEDの検出をする際に、ブロックの一番はじにLEDが投影されていると判定ミスを起こす可能性があるので、それを避けるためである。つまり、位置P0にLEDが投影されていたとすると、領域A1のブロック内での判定では、LEDを検出できない可能性もあるが、この場合、領域A2のブロック内での判定で、見つけることができる。 Further, as can be seen from step S5, step S9, and step S11, the blocks to be searched one after another have intersections of 50 pixels each (see FIG. 8). In FIG. 8, a region A0 indicates the entire image sensor (2000 × 2000 pixels). For example, when the area A1 shown in FIG. 8 is set as the block A, the area A2 is set as the block B. Furthermore, when calculating by shifting one step in the vertical direction, the area A3 is set as the block A, and the area A4 is set as the block B. As shown in FIG. 8, each block has an overlapping portion of 50 pixels. This is for avoiding a detection error that may occur when the LED is projected at the beginning of the block when the LED is detected. That is, if the LED is projected at the position P0, the LED may not be detected in the determination in the block of the area A1, but in this case, it can be found by the determination in the block of the area A2. .
さて、このようにステップS12までの処理で、2つのLEDの投影像の位置が判明するので、その投影像を中心とする2つのブロックの位置情報がレジスタ110Aに設定される。
As described above, since the positions of the projection images of the two LEDs are found through the processing up to step S12, the position information of the two blocks centered on the projection images is set in the
ステップS13では、図4を用いて説明した画像読み出しモードにて、撮影を行い、撮影された画像を画像メモリ105に格納する。ステップS13に要する時間は、4/240秒である。そして、ステップS14に進む。
In step S <b> 13, shooting is performed in the image reading mode described with reference to FIG. 4, and the captured image is stored in the
ステップS14では、図5を用いて説明した情報AB読み出しモードにて、撮影を行う。即ち、画像解析回路108でブロックA内に投影されているLEDの有無と、もし有れば、ブロックA内でのLEDの位置(tmpIA,tmpJA)と、その点滅パターンを求める。「LEDの有無」、「ブロックA内でのLEDの位置」、「点滅パターン」は、制御回路111に送られる。同時に、画像解析回路109でブロックB内に投影されているLEDの有無と、もし有れば、ブロックB内でのLEDの位置(tmpIB,tmpJB)と、その点滅パターンを求める。「LEDの有無」、「ブロックB内でのLEDの位置」、「点滅パターン」は、制御回路111に送られる。ステップS7に要する時間は、4/240秒である。そして、ステップS15に進む。
In step S14, shooting is performed in the information AB readout mode described with reference to FIG. That is, the presence / absence of an LED projected in the block A by the
ステップS15では、ブロックAの更新を行う。即ち、(tmpIA,tmpJA)の値をチェックして、この値が(100,100)であれば、ブロックAの中心にLEDの投影像が来ているので更新を行わない。しかし、それ以外の値の場合には、ブロックAの中心にLEDの投影像がないので、このままでは、時間とともに、LEDの投影像がブロックAの範囲外に行ってしまうことが考えられる。そこで、ブロックAは「左上の画素の位置を(tmpI1+tmpIA−100,tmpJ1+tmpJA−100)とする200×200画素のブロック」であるという情報をレジスタ110Aに格納させ、ブロックAの位置情報の更新を行う。これにより、次の撮影においては、LEDの投影像はブロックAの中心近辺となる。そして、ステップS16に進む。
In step S15, block A is updated. That is, the value of (tmpIA, tmpJA) is checked, and if this value is (100, 100), the projection image of the LED comes to the center of the block A, and no update is performed. However, in the case of other values, there is no projected image of the LED at the center of the block A, so it is conceivable that the projected image of the LED goes out of the range of the block A with time as it is. In view of this, the block A stores in the
ステップS16では、同様にブロックBの更新を行う。すなわち、ブロックBは「左上の画素の位置を(tmpI2+tmpIB−100,tmpJ2+tmpJB−100)とする200×200画素のブロック」であるという情報をレジスタ110Aに格納させ、ブロックBの位置情報の更新を行う。そして、ステップS17に進む。
In step S16, the block B is similarly updated. That is, block B stores in the
図9には、2つのLEDの投影像の位置P1,P2と、ステップS15、ステップS16で更新されたブロックAの領域A5とブロックBの領域A6)が示されている。この図9においてA0は撮像素子全体(2000×2000画素)を示している。 FIG. 9 shows the positions P1 and P2 of the projection images of the two LEDs, the area A5 of the block A and the area A6 of the block B updated in steps S15 and S16. In FIG. 9, A0 indicates the entire image sensor (2000 × 2000 pixels).
ステップS17では、ユーザーからの「終了するかどうか」の要求を受付け、終了したければ、この一連の処理を終了し、終了したくなければ、ステップS13に戻り、一連の処理を続行する。 In step S17, a request “whether to end” is received from the user. If the user wants to end the process, the series of processes ends. If not, the process returns to step S13 to continue the series of processes.
なお、当然、ステップS14において、LEDの有無を調べたときに、無いと判定されれば、それは、今まで撮影していたLEDの投影像の位置を見失ったか、あるいは、そのLED自体が情報の発信を中止してしまったかが考えられるので、図6に示す処理を強制終了させて、再度、ステップS1から処理をやり直す必要がある。また、見失った場合には、見失った位置の近傍にブロックを設定して探索すれば、撮像素子すべての位置における探索を行わなくても、短時間で探索できる。 Of course, if it is determined in step S14 that the presence or absence of the LED is not found, it is determined that the position of the projected image of the LED taken up to now has been lost, or that the LED itself is informational. Since it may be considered that the transmission has been stopped, it is necessary to forcibly terminate the process shown in FIG. 6 and start the process again from step S1. Further, in the case of losing sight, if a search is performed by setting a block in the vicinity of the lost position, the search can be performed in a short time without searching for the positions of all the image pickup devices.
また、以下のようにして見失ったLEDの投影像の位置を迅速に見つけ出すこともできる。見失ったブロックがブロックAの場合について述べる。見失う直前における画像読み出しモードで撮影した画像から、「左上の画素の位置を(tmpI1+tmpIA−100,tmpJ1+tmpJA−100)とする200×200画素のブロック」を切り出す。次に、見失った直後における画像読み出しモードで撮影した画像の中で、先に切り出したブロック部分と同じ部分を探し出す。具体的には、ブロック内の対応する画素の差分絶対値和が最小となる位置を求めるというブロックマッチング法を行えばよい。これにより、求まった位置がLEDの投影像を中心とするブロックであるので、この部分をブロックAとすれば良い。このように、画像間の相関を利用したブロックマッチング法で、撮像素子内のLEDの投影像を含む部分が、どちらに移動したかを求めることができ、見失ったLEDの投影像の位置を求めることができる。ブロックBを見失った場合も同様である。 In addition, the position of the projection image of the LED that has been lost can be quickly found as follows. A case where the lost block is block A will be described. A “200 × 200 pixel block whose upper left pixel position is (tmpI1 + tmpIA−100, tmpJ1 + tmpJA−100)” is cut out from the image captured in the image readout mode immediately before losing sight. Next, the same part as the block part cut out first is searched for in the image photographed in the image reading mode immediately after being lost. Specifically, a block matching method of obtaining a position where the sum of absolute differences of corresponding pixels in the block is minimized may be performed. Thereby, since the obtained position is a block centered on the projection image of the LED, this portion may be set as the block A. As described above, by the block matching method using the correlation between images, it is possible to determine to which part the portion including the projected image of the LED in the image sensor has moved, and to determine the position of the lost projected image of the LED. be able to. The same applies when block B is lost.
さて、このようにして、図3に示したように画像読み出しモードと情報AB読み出しモードが交互に行われ、画像メモリ105には1/30=8/240秒ごとに画像の更新が行われる。つまり、30fpsの動画像が、リアルタイムで画像メモリ105に格納されていく。そして、12kHzでブロックA及びブロックB内の各画素に投影された投影像の点滅パターンを画像解析回路108,109で検知することができる。この結果は、表示を行いながらユーザーに情報を提供することができる。すなわち、画像メモリ105の画像(2000×2000画素)を30fpsで図示しない表示デバイスにて表示して、さらに、その表示画像上の位置(tmpI1+tmpIA,tmpJ1+tmpJA)及び(tmpI2+tmpIB,tmpJ2+tmpJB)にLEDから発信されている情報をオーバーレイすることで、ユーザーに分かりやすい形式で画像と情報を伝えることができる。
In this way, as shown in FIG. 3, the image reading mode and the information AB reading mode are alternately performed, and the image is updated in the
なお、ステップS1からステップS12までの処理を行っている時は、まだLEDの投影像を確定させていないので、表示デバイスには画像メモリ105の画像のみが30fpsで表示されるだけである。
Note that when the processing from step S1 to step S12 is being performed, the projected image of the LED has not yet been determined, so that only the image in the
ここで、幾つかの変形例について説明する。 Here, some modified examples will be described.
1つ目の変形例は、動画像を30fpsで表示する必要はないが、その代わりに、頻繁にLEDの発光パターンを検知したい場合である。この場合には、図10に示すような動作を行えば良い。すなわち、0秒から4/240秒の間は、画像読み出しモードにて撮影を行う。そして、4/240秒から8/240秒の間は、情報AB読み出しモードにて撮影を行う。さらに、8/240秒から12/240秒の間も、情報AB読み出しモードにて撮影を行う。さらに、12/240秒から16/240秒の間も、情報AB読み出しモードにて撮影を行う。そして、16/240秒から20/240秒の間は、情画像読み出しモードにて撮影を行う。以降、図10に示すように、1回の画像読み出しモードと3回の情報AB読み出しモードの繰り返しを行う。これにより、撮像素子103全体を使って撮影された画像は15fpsの動画像となり、画像メモリ105を介して、図示しない表示デバイスにて15fpsで表示される。情報に関しては、図3に示した動作に比べて、時間的に1.5倍密に検知を行うことができる。
The first modification is a case where it is not necessary to display a moving image at 30 fps, but instead, it is desirable to frequently detect the LED light emission pattern. In this case, an operation as shown in FIG. 10 may be performed. That is, shooting is performed in the image reading mode from 0 second to 4/240 seconds. From 4/240 seconds to 8/240 seconds, shooting is performed in the information AB readout mode. Further, photographing is performed in the information AB readout mode from 8/240 seconds to 12/240 seconds. Further, photographing is performed in the information AB readout mode from 12/240 seconds to 16/240 seconds. Then, during 16/240 seconds to 20/240 seconds, photographing is performed in the emotional image reading mode. Thereafter, as shown in FIG. 10, one image reading mode and three information AB reading modes are repeated. As a result, an image captured using the
2つ目の変形例は、4つのLEDが情報を発信している場合である。この場合、図6のステップS12までの処理で、4つのLEDの投影像が検知される。この場合には、例えば、図11に示すようにブロックのサイズを1/2に縮小することで、全ブロック内にある総画素数の数を80000に抑えることができる。この場合、ブロックA内の画素についての撮像素子103からの読み出しは、領域A51内と領域A52内の画素についての読み出しとして、「ブロックA内の画素についての発光パターンの検知」の変わりに「領域A51に示すブロック内の画素についての発光パターンの検知」と「領域A52に示すブロック内の画素についての発光パターンの検知」を画像解析回路108で行えばよい。画像解析回路108では、図11の位置P1,P2において2つのLEDの発光パターンを検知する。同様に、ブロックB内の画素についての撮像素子103からの読み出しは、領域A61内と領域A62内の画素についての読み出しとして、「ブロックB内の画素についての発光パターンの検知」の変わりに「領域A61に示すブロック内の画素についての発光パターンの検知」と「領域A62に示すブロック内の画素についての発光パターンの検知」を画像解析回路109で行えばよい。画像解析回路109では、図11の位置P3,P4において2つのLEDの発光パターンを検知する。
The second modification is a case where four LEDs are transmitting information. In this case, projection images of four LEDs are detected by the processing up to step S12 in FIG. In this case, for example, the number of total pixels in all blocks can be reduced to 80000 by reducing the block size to ½ as shown in FIG. In this case, reading from the
4つのLEDが情報を発信している場合、あるいは、図12と図13に示す動作を行っても良い。すなわち、図12に示すように、4つのLEDの投影像の位置P1,P2,P3,P4を中心とするブロックAの領域A5、ブロックBの領域A6、ブロックCの領域A7、ブロックDの領域A8を設定する。いずれのブロックの大きさも200×200画素である。そして、図13に示すように、画像読み出しモードと、情報AB読み出しモードと、画像読み出しモードと、情報CD読み出しモードを繰り返す。ここで、画像読み出しモードは、図4を用いて今までに説明した動作と同じである。そして、情報AB読み出しモードも、図5を用いて今まで説明したブロックAとブロックB内の検出の動作と同じである。情報CD読み出しモードは、図5を用いて今まで説明したブロックAをブロックCと思い、ブロックBをブロックDと思い、その2つのブロック内の検出を行うものである。これにより、ブロックA、ブロックB、ブロックC、および、ブロックD内のLEDの発光パターンの検出は、16/240秒に1回、つまり、15fpsとなり、発光パターンのアップデートには時間がかかるが、4つのLEDの発光パターンを検出できる。ちなみに、図3の動作では、ブロックAとブロックB内のLEDの発光パターンの検出は、8/240秒に1回、つまり、30fpsであった。 When four LEDs are transmitting information, the operations shown in FIGS. 12 and 13 may be performed. That is, as shown in FIG. 12, the area A5 of the block A, the area A6 of the block B, the area A7 of the block C, and the area of the block D around the positions P1, P2, P3, and P4 of the projected images of the four LEDs Set A8. The size of any block is 200 × 200 pixels. Then, as shown in FIG. 13, the image reading mode, the information AB reading mode, the image reading mode, and the information CD reading mode are repeated. Here, the image reading mode is the same as the operation described so far with reference to FIG. The information AB reading mode is also the same as the detection operation in the block A and the block B described so far with reference to FIG. In the information CD reading mode, the block A described so far with reference to FIG. 5 is considered as a block C, the block B is considered as a block D, and detection in the two blocks is performed. Thereby, the detection of the light emission pattern of the LEDs in block A, block B, block C, and block D is once every 16/240 seconds, that is, 15 fps, and it takes time to update the light emission pattern. The light emission pattern of four LEDs can be detected. Incidentally, in the operation of FIG. 3, the detection of the light emission pattern of the LEDs in the block A and the block B was once every 8/240 seconds, that is, 30 fps.
なお、上述の例では、通常の画像を撮影(400万画素全部を使って撮影)するモード(画像読み出しモード)と、2箇所の200×200画素を使って情報を取得するモード(情報AB読み出しモード)の2つが、時間的に交互に繰り返されるとして説明した。しかしながら、例えば、画像は、最初の1枚だけ静止画として撮影して、それ以外の画像が不要な場合には、当然、最初の時刻において、400万画素全部を使って撮影した後は、常に、2箇所の200×200画素を使って情報を取得するモード(情報AB読み出しモード)で、装置を動作させれば良い。また、さらに、画像自体が不要な場合には、最初から最後まで常に2箇所の200×200画素を使って情報を取得するモード(情報AB読み出しモード)で、装置を動作させれば良い。 In the above example, a mode for capturing a normal image (capturing using all 4 million pixels) (image reading mode) and a mode for acquiring information using 200 × 200 pixels at two locations (reading information AB) Two modes) are described as being alternately repeated in time. However, for example, if the first image is taken as a still image and the other images are not necessary, of course, after taking all 4 million pixels at the first time, always The apparatus may be operated in a mode (information AB readout mode) in which information is acquired using two 200 × 200 pixels. Further, when the image itself is unnecessary, the apparatus may be operated in a mode (information AB readout mode) in which information is always acquired using two 200 × 200 pixels from the beginning to the end.
また、さらに、画像自体が不要な場合には、最初から最後まで常に2箇所の200×200画素を使って情報を取得するモード(情報AB読み出しモード)で装置を動作させておき、LEDの投影像の位置を見失ったときのみ、画像読み出しモードにして、画像全体を読み出し、画像メモリ106A〜106Dあるいは画像メモリ107A〜107D内にある見失う直前の200×200画素のブロックとブロックマッチング法により、再度、見失ったLEDの投影像を検出するようにして、見失った後のブロックAあるいはブロックBの設定をする際にこのブロックマッチング法で見つけた部分を採用しても良い。
Further, when the image itself is unnecessary, the apparatus is operated in a mode (information AB reading mode) in which information is always acquired using two 200 × 200 pixels from the beginning to the end, and the projection of the LED is performed. Only when the position of the image is lost, the image reading mode is set, the entire image is read, and the 200 × 200 pixel block in the image memories 106A to 106D or the
また、ステップS15とステップS16での更新のために、LEDの投影像をトラッキングしていき、常に200×200画素の中心になるように、読み出すべき200×200画素を、400万画素の撮像素子103の中からリアルタイムで決定していると述べたが、投影像をトラッキングする代わりに、撮像装置100内に設けた図示しないジャイロセンサを使って、撮像装置100の移動量を検出して、それを補正しながら200×200画素の位置を決定して、その部分を読み出していけば、常に、点滅パターンは200×200画素の中心に来るようになる。つまり、画像処理により、投影像をトラッキングしていかなくても、ジャイロセンサを用いても良い。このようにして、手持ちで撮影している場合の手ブレによるLED投影像の画面上でのふらつきを補正することができる。
In addition, for the update in step S15 and step S16, the projected image of the LED is tracked, and the 200 × 200 pixel to be read out is always set to the center of 200 × 200 pixels. 103 is determined in real time, but instead of tracking the projected image, a gyro sensor (not shown) provided in the
次に、2つ目の応用例についての説明を行う。図14のフローチャートに、その処理の流れを示す。 Next, the second application example will be described. The flowchart of FIG. 14 shows the processing flow.
ここで、前提として、例えば図15に示すように、光源51から出射されるスリット光を回転ミラー52で反射させて撮像領域Aを走査する光学走査装置50と組み合わせて三角測量の原理を使い、撮像装置100で画像を撮影しながら、その被写体までの距離を求めるものとする。
Here, as a premise, for example, as shown in FIG. 15, the principle of triangulation is used in combination with an
図14において、まず、ステップS101では、ブロックAの位置を決めるための横軸座標の値(ia)に0をセットする。そして、ステップS102に進む。 In FIG. 14, first, in step S101, 0 is set to the value (ia) of the horizontal axis coordinate for determining the position of the block A. Then, the process proceeds to step S102.
ステップS102で、ブロックAの位置を決めるための縦軸座標の値(ja)に0をセットする。そして、ステップS103に進む。 In step S102, 0 is set to the value of the vertical axis coordinate (ja) for determining the position of the block A. Then, the process proceeds to step S103.
ステップS103では、図4を用いて説明した画像読み出しモードにて、撮影を行い、画像メモリ105に撮影された画像を格納する。ステップS103に要する時間は、4/240秒である。そして、ステップS104に進む。
In step S <b> 103, shooting is performed in the image reading mode described with reference to FIG. 4, and the captured image is stored in the
ステップS104では、ブロックAの位置を決定する。即ち、ブロックAは、「左上の画素の位置を(ia,ja)とする200×200画素のブロック」であるという情報をレジスタ110Aに格納させる。そして、ステップS105に進む。
In step S104, the position of block A is determined. That is, the block A causes the
ステップS105では、ブロックBの位置を決めるための横軸座標の値(ib)にia+150をセットし、縦軸座標の値(jb)にjaの値をセットする。そして、ステップS106に進む。 In step S105, ia + 150 is set to the value (ib) of the horizontal axis for determining the position of the block B, and the value of ja is set to the value (jb) of the vertical axis. Then, the process proceeds to step S106.
ステップS106では、ブロックBの位置を決定する。即ち、ブロックBは、「左上の画素の位置を(ib,jb)とする200×200画素のブロック」であるという情報をレジスタ110Aに格納させる。そして、ステップS107に進む。
In step S106, the position of block B is determined. In other words, the block B causes the
ステップS107では、図5を用いて説明した情報AB読み出しモードにて、撮影を行う。すなわち、画像解析回路108でブロックA内の各画素に対して、時間とともに変化する光量を調べ、すなわち、スリット光が通過したタイミング(時刻)を調べ、ブロックA内の各画素における距離情報を取得する。同時に、画像解析回路109でブロックB内の各画素に対して、時間とともに変化する光量を調べ、すなわち、スリット光が通過したタイミング(時刻)を調べ、ブロックB内の各画素における距離情報を取得する。なお、スリット光が通過したタイミングから距離情報を計算する方法に関しては、従来から知られている方法を採用することができ、その詳細説明を割愛する。
In step S107, shooting is performed in the information AB readout mode described with reference to FIG. That is, the
ステップS108〜ステップS111では、別のブロックについての処理を行うための操作が行われる。即ち、ステップS108で、iaの値が1500未満であるかを判断し、真であれば、横軸方向に1段ずらすために、ステップS109にて、iaの値を300だけインクリメントしてステップS103に戻る。偽であれば、縦軸方向に一段ずらすために、ステップS110に進む。ステップS110では、jaの値が1800未満であるかを判断し、真であれば、縦軸方向に1段ずらすために、ステップS111にて、jaの値を150だけインクリメントしてステップS102に戻る。偽であれば、ステップS112に進む。 In step S108 to step S111, an operation for performing processing for another block is performed. That is, in step S108, it is determined whether or not the value of ia is less than 1500. If true, the value of ia is incremented by 300 in step S109 to shift by one step in the horizontal axis direction. Return to. If false, the process proceeds to step S110 in order to shift one step in the vertical axis direction. In step S110, it is determined whether the value of ja is less than 1800. If true, the value of ja is incremented by 150 in step S111 in order to shift by one step in the vertical axis direction, and the process returns to step S102. . If false, the process proceeds to step S112.
ステップS112では、ユーザーからの「終了するかどうか」の要求を受付け、終了したければ、この一連の処理を終了し、終了したくなければ、ステップS101に戻り、一連の処理を続行する。 In step S112, a request “whether to end” is received from the user. If the user wants to end the process, the series of processes ends. If not, the process returns to step S101 to continue the series of processes.
このように、画像全体のすべての画素について一度に距離情報を求めるのではなく、ブロックに分割して、各ブロック内の画素について距離情報を求めるようにしている。これにより、各画素に着目すると、画像撮影モードにより更新される画像データは30fpsであるが、距離情報の更新は、自分を含んでいるブロックがブロックAあるいはブロックBとして処理されるときだけなので、30fpsよりかなり遅くなるが、これは仕方のない事である。 As described above, the distance information is not obtained for all the pixels of the entire image at once, but is divided into blocks, and the distance information is obtained for the pixels in each block. Thus, focusing on each pixel, the image data updated by the image capturing mode is 30 fps, but the distance information is updated only when the block including itself is processed as block A or block B. This is much slower than 30 fps, but this is unavoidable.
また、上述の例では、自動で200×200画素の位置を変更(光点滅パターンの検出時には、その投影像をトラッキングしていき、常に200×200画素の中心になるように、読み出すべき200×200画素を、400万画素の撮像素子の中からリアルタイムで決定している。スリット光による3次元計測においては、左上から順番に自動で変更していき、すべての箇所において3次元計測を行う。)しているが、この装置を操作するユーザーが明示的に指定するようにしても良い。例えば、複数の光点滅パターンを撮影しているが、ユーザーが特定の光源(情報源)の情報のみを欲しているときなどは、その情報源(点滅パターン)が投影されている部分のみをユーザーが指定することにする。これにより、その部分についてのみ、200×200画素を使って情報を取得するモードで動作させることで、その点滅パターンのみを取得し、他の点滅パターンを取得することがなくなる。つまり、不要な情報源からの情報をシャットアウトすることができる。また、3次元計測を行いたい物体が投影されている部分をユーザーが指定すれば、その部分についてのみ、200×200画素を使って情報を取得するモードで動作させることで、その部分のみの3次元計測を行うことができる。
Further, in the above-described example, the position of 200 × 200 pixels is automatically changed (when the light flashing pattern is detected, the projected image is tracked, and 200 × 10 pixels to be read out so as to be always the center of 200 × 200 pixels). 200 pixels are determined in real time from an image sensor of 4 million pixels In the three-dimensional measurement using slit light, it is automatically changed in order from the upper left, and three-dimensional measurement is performed at all locations. However, the user who operates this apparatus may explicitly specify it. For example, if you are shooting multiple flashing patterns, but the user wants only information from a specific light source (information source), only the part where the information source (flashing pattern) is projected Will be specified. Thus, only that portion is operated in a mode in which information is acquired using 200 × 200 pixels, so that only the blinking pattern is obtained and no other blinking pattern is obtained. That is, information from unnecessary information sources can be shut out. Also, if the user designates a part on which an object to be subjected to three-dimensional measurement is projected, only that part is operated in a mode in which information is acquired using 200 × 200 pixels, so that only the
上記情報源は、1つあるいは複数が密に並べられた点光源とし、該点光源のそれぞれが時間とともにオン/オフすることで、二進数の情報を伝えるものとすることができる。 The information source may be a point light source in which one or more are closely arranged, and each of the point light sources is turned on / off with time, thereby transmitting binary information.
また、上述の例では、画像読み出しモードにおいては、400万画素を全部読み出し、図示しない表示デバイスに表示すると説明したが、解像度が必要のない場合には、400万画素の画像を縮小して、たとえば600×600画素程度の画像にして、表示デバイスに表示しても良い。 In the above example, in the image readout mode, it has been described that all 4 million pixels are read out and displayed on a display device (not shown). However, when the resolution is not necessary, the 4 million pixel image is reduced, For example, an image of about 600 × 600 pixels may be displayed on the display device.
また、上述の例では、特定の画素数、特定の動作周波数について述べていたが、上記以外のスペックの装置でも適用できることは言うまでもない。 In the above example, the specific number of pixels and the specific operating frequency are described, but it goes without saying that the present invention can be applied to apparatuses having specifications other than those described above.
10A〜10N LED、100,200 撮像装置、101 レンズ、102 絞り、103 撮像素子、104 カメラ信号処理回路、105,106A〜106D,107A〜107D,201 画像メモリ、108,109 画像解析回路、110 タイミングジェネレータ、110A レジスタ、111 制御回路、202 DSP 10A to 10N LED, 100, 200 imaging device, 101 lens, 102 aperture, 103 imaging element, 104 camera signal processing circuit, 105, 106A to 106D, 107A to 107D, 201 image memory, 108, 109 image analysis circuit, 110 timing Generator, 110A register, 111 control circuit, 202 DSP
Claims (10)
上記情報源が撮像素子に投影されている第1の領域を含む、該撮像素子の第2の領域を構成する画素を複数回読み出す制御を行う読み出し制御手段と、
上記撮像素子の第2の領域を構成する画素から複数回読み出された複数枚の第1の画像を取得し、上記複数の第1の画像同士の時間的変化により、上記第1の情報を求めて出力する情報処理手段とを備え、
上記読み出し制御手段は、上記第2の領域を構成する画素を複数回読み出す時間とは別の時間において、上記撮像素子のすべての画素を読み出すことで、撮像素子全体に投影されている被写体全体の第2の画像を出力することを特徴とする撮像装置。 An imaging apparatus that receives first information from an information source that transmits information by an optical signal that changes in a time direction,
Read control means for performing control to read out the pixels constituting the second region of the image sensor including the first region where the information source is projected onto the image sensor, a plurality of times;
The plurality of first images read out a plurality of times from the pixels constituting the second region of the imaging element are acquired, and the first information is obtained by temporal changes between the plurality of first images. Information processing means for obtaining and outputting,
The readout control means reads out all the pixels of the image sensor at a time different from the time for reading out the pixels constituting the second region a plurality of times, thereby An image pickup apparatus that outputs a second image.
上記読み出し制御手段は、上記撮像素子の複数の上記第2の領域を構成する画素をそれぞれ複数回読み出す制御を行うことを特徴とする請求項1記載の撮像装置。 There are multiple sources of information,
The image pickup apparatus according to claim 1, wherein the readout control unit performs control to read out pixels constituting the plurality of second regions of the image sensor a plurality of times.
上記読み出し制御手段は、上記撮像素子の移動する上記第2の領域を構成する画素を複数回読み出す制御を行うことを特徴とする請求項1記載の撮像装置。 The first area where the information source is projected onto the image sensor has moved in time,
The imaging apparatus according to claim 1, wherein the readout control unit performs control to read out pixels constituting the second region to which the imaging element moves a plurality of times.
上記情報源が撮像素子に投影されている第1の領域を含む、該撮像素子の第2の領域を構成する画素を複数回読み出して、複数枚の第1の画像を取得し、
上記複数の第1の画像同士の時間的変化により、上記第1の情報を求めて出力し、
上記第2の領域を構成する画素を複数回読み出す時間とは別の時間において、上記撮像素子のすべての画素を読み出すことで、撮像素子全体に投影されている被写体全体の第2の画像を出力することを特徴とする撮像制御方法。 An imaging control method for receiving first information from an information source that transmits information by an optical signal that changes in a time direction,
The information source includes a first area projected on the image sensor, and reads out pixels constituting the second area of the image sensor a plurality of times to obtain a plurality of first images,
Obtain and output the first information by temporal changes between the plurality of first images,
By reading all the pixels of the image sensor at a time different from the time for reading the pixels constituting the second area a plurality of times, a second image of the entire subject projected on the entire image sensor is output. An imaging control method characterized by:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004174768A JP4654610B2 (en) | 2004-06-11 | 2004-06-11 | Imaging apparatus and imaging control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004174768A JP4654610B2 (en) | 2004-06-11 | 2004-06-11 | Imaging apparatus and imaging control method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005354539A true JP2005354539A (en) | 2005-12-22 |
JP4654610B2 JP4654610B2 (en) | 2011-03-23 |
Family
ID=35588590
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004174768A Expired - Fee Related JP4654610B2 (en) | 2004-06-11 | 2004-06-11 | Imaging apparatus and imaging control method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4654610B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009296037A (en) * | 2008-06-02 | 2009-12-17 | Nec Corp | Blinking signal detection circuit, blinking signal detection method, and program |
JP2010130438A (en) * | 2008-11-28 | 2010-06-10 | Casio Computer Co Ltd | Information restoration apparatus, and information restoration method |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003036829A1 (en) * | 2001-10-23 | 2003-05-01 | Sony Corporation | Data communication system, data transmitter and data receiver |
JP2003169251A (en) * | 2001-09-20 | 2003-06-13 | Sony Corp | Solid-state image pickup unit and control method thereof |
JP2003179556A (en) * | 2001-09-21 | 2003-06-27 | Casio Comput Co Ltd | Information transmission method, information transmission system, imaging apparatus and information transmission method |
JP2003348459A (en) * | 2002-05-27 | 2003-12-05 | Sony Corp | Solid-state imaging apparatus and its drive method |
-
2004
- 2004-06-11 JP JP2004174768A patent/JP4654610B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003169251A (en) * | 2001-09-20 | 2003-06-13 | Sony Corp | Solid-state image pickup unit and control method thereof |
JP2003179556A (en) * | 2001-09-21 | 2003-06-27 | Casio Comput Co Ltd | Information transmission method, information transmission system, imaging apparatus and information transmission method |
WO2003036829A1 (en) * | 2001-10-23 | 2003-05-01 | Sony Corporation | Data communication system, data transmitter and data receiver |
JP2003348459A (en) * | 2002-05-27 | 2003-12-05 | Sony Corp | Solid-state imaging apparatus and its drive method |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009296037A (en) * | 2008-06-02 | 2009-12-17 | Nec Corp | Blinking signal detection circuit, blinking signal detection method, and program |
JP2010130438A (en) * | 2008-11-28 | 2010-06-10 | Casio Computer Co Ltd | Information restoration apparatus, and information restoration method |
Also Published As
Publication number | Publication date |
---|---|
JP4654610B2 (en) | 2011-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4389371B2 (en) | Image restoration apparatus and image restoration method | |
US10623656B2 (en) | Imaging device and flicker detection method | |
JP2004318823A (en) | Information display system, information processing apparatus, pointing device and pointer mark displaying method in information display system | |
JP2009130845A (en) | Flicker correction device and method, and imaging apparatus | |
JP2009077057A (en) | Imaging apparatus, and control method for imaging apparatus | |
JP2006050337A (en) | Imaging apparatus, imaging method, and imaging control program | |
JP2006279546A (en) | Electronic camera, image processing program, and image processing method | |
JP2007281555A (en) | Imaging apparatus | |
JP2007267184A (en) | Imaging apparatus | |
JP2003169246A (en) | Camera | |
JP2006054518A (en) | Imaging apparatus | |
JP4953770B2 (en) | Imaging device | |
JP2015177302A (en) | Imaging device and control method therefor | |
JP5298396B2 (en) | Electronic camera and image processing system | |
JP2008010958A (en) | Imaging apparatus and method | |
JP2012209775A (en) | Image capture device, image capture control method and program | |
JP4654610B2 (en) | Imaging apparatus and imaging control method | |
JP2010114566A (en) | Imaging apparatus, imaging method, and program | |
JP2005227931A (en) | Image processing apparatus | |
JP5484129B2 (en) | Imaging device | |
JP4936222B2 (en) | Motion vector collation device, image composition device, and program | |
JP2020184698A (en) | Imaging apparatus and control method of the same | |
JP2007266771A (en) | Camera shake detector and digital camera | |
JP4919165B2 (en) | Image composition apparatus and program | |
JP2001165622A (en) | Optical device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070516 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100329 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100928 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101102 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101124 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101207 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140107 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140107 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |