JP2016158079A - Mobile optical communication system, and optical transmitter thereof, and imaging control method - Google Patents
Mobile optical communication system, and optical transmitter thereof, and imaging control method Download PDFInfo
- Publication number
- JP2016158079A JP2016158079A JP2015034103A JP2015034103A JP2016158079A JP 2016158079 A JP2016158079 A JP 2016158079A JP 2015034103 A JP2015034103 A JP 2015034103A JP 2015034103 A JP2015034103 A JP 2015034103A JP 2016158079 A JP2016158079 A JP 2016158079A
- Authority
- JP
- Japan
- Prior art keywords
- optical
- optical receiver
- imaging control
- control unit
- gimbal mechanism
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
本発明の実施形態は、移動光通信システムに関する。 Embodiments described herein relate generally to a mobile optical communication system.
移動光通信システムは、空間を伝搬する光を媒体として用いる光通信システムである。この種のシステムは移動体通信などに用いられる。例えば車両間通信システムにこのシステムを適用し、一方の車両で撮影された大容量の映像データを他方の車両に伝送するシステムがある。あるいは飛行体から基地へのリアルタイム映像伝送など、幅広い応用が可能である。 A mobile optical communication system is an optical communication system that uses light propagating in space as a medium. This type of system is used for mobile communications. For example, there is a system that applies this system to an inter-vehicle communication system and transmits large-capacity video data captured by one vehicle to the other vehicle. Alternatively, a wide range of applications such as real-time video transmission from the flying object to the base are possible.
この種のシステムでは、伝送光（赤外線レーザなど）を用いて移動体間の光軸合わせも行う。送信局から目標（受信局）に伝送光を照射する装置はタレットと称される。タレットは、レーザ光発生機、レーザ光照射装置および撮像機と、これらを搭載するジンバル機構とを備える。タレットは、目標に伝送光を照射し、目標のコーナリフレクタで反射された伝送光を撮像機で受光する。撮像機で得られた画像から得られる目標の位置情報に基づいて、タレットは目標位置を高精度に検出し、レーザ光照射装置の光軸を補正する。 In this type of system, transmission light (infrared laser or the like) is used to align the optical axis between moving bodies. An apparatus that irradiates transmission light from a transmitting station to a target (receiving station) is called a turret. The turret includes a laser light generator, a laser light irradiation device, an image pickup device, and a gimbal mechanism for mounting them. The turret irradiates the target with transmission light, and the transmission light reflected by the target corner reflector is received by the imaging device. Based on the target position information obtained from the image obtained by the image pickup device, the turret detects the target position with high accuracy and corrects the optical axis of the laser light irradiation apparatus.
移動光通信システムにおいて、伝送光の光軸が外れると伝送光が受信局に届かなくなるので通信エラーが生じる。リアルタイム性を要求されるデータ（映像データなど）を伝送するためには通信エラーを極力、低減する必要がある。 In a mobile optical communication system, if the optical axis of the transmitted light deviates, the transmitted light does not reach the receiving station, causing a communication error. In order to transmit data (such as video data) that requires real-time performance, it is necessary to reduce communication errors as much as possible.
通信エラーを低減するためには送信局から受信局への光軸を精密に合わせこむ必要があり、そのための制御は大変難しい。光軸調整の精度は、撮像機で撮影された画像フレームの転送レート（フレームレート）に大きく左右される。フレームレートが低いと、目標の揺動や振動により生じる位置ずれの高周波成分を補正しきれなくなるからである。 In order to reduce communication errors, it is necessary to precisely align the optical axis from the transmitting station to the receiving station, and control for that is very difficult. The accuracy of the optical axis adjustment greatly depends on the transfer rate (frame rate) of the image frames taken by the imaging device. This is because if the frame rate is low, the high frequency component of the positional shift caused by the target swing or vibration cannot be corrected.
フレームレートを制限する要因は、露光時間、および、読み出し画素数の転送時間が支配的である。このうち読み出し画素数の転送時間を短縮するために、既存の技術では読み出し範囲を正方形とし、その正方形のサイズを変えることで読み出し画素数を減らすようにしていた。しかしながら一般に揺動及び振動方向は偏っているので、不要な範囲の画素データが転送されている可能性がある。フレームレートをさらに高速化し、光軸調整の精度をさらに高め得る技術が要望されている。 Factors that limit the frame rate are dominated by the exposure time and the transfer time of the number of readout pixels. Among them, in order to shorten the transfer time of the number of readout pixels, the existing technology has made the readout range square, and the size of the square is changed to reduce the number of readout pixels. However, since the oscillation and the oscillation direction are generally biased, there is a possibility that pixel data in an unnecessary range is transferred. There is a demand for a technique that can further increase the frame rate and further improve the accuracy of optical axis adjustment.
目的は、光軸調整の精度を向上させ、これにより通信エラーの低減を図った移動光通信システムとその光送信装置および撮像制御方法を提供することにある。 An object of the present invention is to provide a mobile optical communication system, an optical transmission device thereof, and an imaging control method that improve the accuracy of optical axis adjustment and thereby reduce communication errors.
実施形態によれば、移動光通信システムは、通信データを重畳された伝送光を送信する光送信装置と、空間を伝播する伝送光を受信する光受信装置とを具備する。光送信装置は、レーザ光照射装置と、ジンバル機構と、撮像部と、予測部と、指向制御部と、撮像制御部とを備える。レーザ光照射装置は、伝送光を光受信装置に向け照射する。ジンバル機構は、レーザ光照射装置を空間安定化させる。撮像部は、光受信装置から再帰的に反射された伝送光を含む画像を撮像する。予測部は、撮像部から出力される画像フレームにおける光受信装置の位置を予測する。指向制御部は、予測された位置に基づいて、ジンバル機構を制御して伝送光の光軸を光受信装置に指向させる。撮像制御部は、予測された位置に基づいて、画像フレームの読み出し範囲の形状を適応的に変化させる。 According to the embodiment, the mobile optical communication system includes an optical transmission device that transmits transmission light on which communication data is superimposed, and an optical reception device that receives transmission light propagating in space. The optical transmission device includes a laser light irradiation device, a gimbal mechanism, an imaging unit, a prediction unit, a directivity control unit, and an imaging control unit. The laser beam irradiation apparatus irradiates the transmission light toward the optical receiver. The gimbal mechanism stabilizes the laser beam irradiation device in space. The imaging unit captures an image including transmission light recursively reflected from the optical receiver. The prediction unit predicts the position of the optical reception device in the image frame output from the imaging unit. The directivity control unit controls the gimbal mechanism based on the predicted position to direct the optical axis of the transmitted light to the optical receiving device. The imaging control unit adaptively changes the shape of the readout range of the image frame based on the predicted position.
図１は、実施形態に係る移動光通信システムの一例を示す図である。この移動光通信システムは、空間を介して光通信する車両１および２を含む。車両１は光送信装置１００を備え、車両２は光受信装置２００を備える。光送信装置１００は、通信データを重畳された伝送光を光受信装置に向け照射する。この伝送光は光受信装置２００に備わるコーナリフレクタ（図示せず）により再帰的に反射され、光送信装置１００に戻る。光送信装置１００はこの反射光をトラッキングすることで、光受信装置への伝送光の光軸を合わせる。 FIG. 1 is a diagram illustrating an example of a mobile optical communication system according to an embodiment. This mobile optical communication system includes vehicles 1 and 2 that perform optical communication through space. The vehicle 1 includes an optical transmission device 100, and the vehicle 2 includes an optical reception device 200. The optical transmission device 100 irradiates the optical reception device with transmission light on which communication data is superimposed. The transmitted light is recursively reflected by a corner reflector (not shown) provided in the optical receiver 200 and returns to the optical transmitter 100. The optical transmission device 100 tracks the reflected light to align the optical axis of the transmission light to the optical reception device.
通信データは、例えば車両１で撮影された大容量の映像データなどである。この映像データに撮影場所のＧＰＳ（Global Positioning System）データや時刻情報をメタデータとして付加してもよい。また、映像データはリアルタイムに伝送されることも可能である。このような形態で利用される車両１は、プローブカーとも称される。 The communication data is, for example, large-capacity video data captured by the vehicle 1. GPS (Global Positioning System) data and time information of the shooting location may be added as metadata to the video data. Also, the video data can be transmitted in real time. The vehicle 1 used in such a form is also called a probe car.
図２は、図１に示されるシステムに用いられるタレットの一例を示す概略図である。すなわち光送信装置１００は、レーザ光照射装置としてのタレットに装荷される。このタレットは、２軸（アジマス（ＡＺ）軸およびエレベーション（ＥＬ）軸）周りに回動する支持機構を有するジンバル機構により空間安定化される。タレットは赤外線照射器１０１から伝送光を放射し、その反射光を撮像機１０２で受光する。この実施形態では伝送光として赤外線レーザ光を想定する。 FIG. 2 is a schematic diagram showing an example of a turret used in the system shown in FIG. That is, the optical transmission device 100 is loaded on a turret as a laser light irradiation device. This turret is spatially stabilized by a gimbal mechanism having a support mechanism that rotates about two axes (azimuth (AZ) axis and elevation (EL) axis). The turret emits transmission light from the infrared irradiator 101 and the reflected light is received by the imaging device 102. In this embodiment, infrared laser light is assumed as transmission light.
撮像機１０２は、光受信装置２００から再帰的に反射された反射光（伝送光）を含む画像を撮像する。タレットは、撮像機１０２により取得された画像から目標（例えば光受信装置２００）の位置情報を検出し、光軸を補正する。 The imaging device 102 captures an image including reflected light (transmitted light) recursively reflected from the optical receiver 200. The turret detects position information of a target (for example, the optical receiving device 200) from the image acquired by the imaging device 102, and corrects the optical axis.
図３は、この実施形態に関わる光送信装置１００の一例を示す機能ブロック図である。光送信装置１００は、タレット１０と、このタレットを制御する制御部２０とを備える。 FIG. 3 is a functional block diagram showing an example of the optical transmission apparatus 100 according to this embodiment. The optical transmission device 100 includes a turret 10 and a control unit 20 that controls the turret.
タレット１０は、ジンバル機構のジンバル角（ＡＺ，ＥＬ）と、撮像機１０２から出力される画像フレームとを制御部２０に渡す。画像フレームは画素データを含む。実施形態では画素データの画素数を最小限にすることでフレームレートを向上させる技術について説明する。 The turret 10 passes the gimbal angle (AZ, EL) of the gimbal mechanism and the image frame output from the imaging device 102 to the control unit 20. The image frame includes pixel data. In the embodiment, a technique for improving the frame rate by minimizing the number of pixels of pixel data will be described.
制御部２０は、画像生成部２１、目標位置算出部２２、露光時間算出部２３、撮像機制御部２４、目標位置予測部２５、タレット指向方向算出部２６およびレーザ光光軸補正部２７を備える。 The control unit 20 includes an image generation unit 21, a target position calculation unit 22, an exposure time calculation unit 23, an imaging device control unit 24, a target position prediction unit 25, a turret directing direction calculation unit 26, and a laser beam optical axis correction unit 27. .
画像生成部２１は、画素データを含む画像フレームから画像（画像データ）を生成し、目標位置算出部２２に渡す。また画像生成部２１は、画像フレームの輝度平均を算出して露光時間算出部２３に渡す。露光時間算出部２３は、この輝度平均に基づいて最適な露光時間を算出し、撮像機制御部２４に渡す。撮像機制御部２４は、この露光時間を撮像機１０２に設定する。 The image generation unit 21 generates an image (image data) from an image frame including pixel data, and passes it to the target position calculation unit 22. Further, the image generation unit 21 calculates the average luminance of the image frame and passes it to the exposure time calculation unit 23. The exposure time calculation unit 23 calculates an optimal exposure time based on this luminance average and passes it to the image pickup device control unit 24. The imaging device control unit 24 sets the exposure time in the imaging device 102.
目標位置算出部２２は、現在の画像フレームに含まれる目標（光受信装置２００）の位置（目標位置情報）を算出し、目標位置予測部２５に渡す。 The target position calculation unit 22 calculates the position (target position information) of the target (light receiving device 200) included in the current image frame and passes it to the target position prediction unit 25.
目標位置予測部２５は、目標位置情報を目標位置算出部２２から取得する。また目標位置予測部２５は、車両１のロール、ピッチ、ヨーの各軸ごとの姿勢角を各種センサ（図示せず）から取得する。さらに目標位置予測部２５は、ジンバル機構の軸ごとのジンバル角（ＡＺ，ＥＬ）をタレット１０から取得する。そして目標位置予測部２５は、取得したこれらの情報の少なくともいずれかに基づいて、次の画像フレームにおける目標の位置（目標予測範囲）を予測する。目標予測範囲は、例えば光受信装置２００の移動方向である。 The target position prediction unit 25 acquires target position information from the target position calculation unit 22. Further, the target position predicting unit 25 acquires the posture angle for each of the roll, pitch, and yaw axes of the vehicle 1 from various sensors (not shown). Further, the target position prediction unit 25 acquires the gimbal angle (AZ, EL) for each axis of the gimbal mechanism from the turret 10. Then, the target position prediction unit 25 predicts the target position (target prediction range) in the next image frame based on at least one of the acquired information. The target prediction range is, for example, the moving direction of the optical receiving device 200.
撮像機制御部２４は、目標予測範囲に基づいて、画像フレームの読み出し範囲の形状を適応的に変化させる。すなわち撮像機制御部２４は、画像フレームごとに画素データの読み出し領域を計算し、撮像機１０２に指示する。例えば撮像機制御部２４は、読み出し範囲の縦横比を、画像フレームごとに変化させる。この縦横比は、例えば予測された光受信装置の移動方向と、光送信装置１００の揺動方向および振動方向に基づいて計算され、画像フレームごとに設定される。 The imaging device control unit 24 adaptively changes the shape of the readout range of the image frame based on the target prediction range. That is, the image pickup device control unit 24 calculates a pixel data read area for each image frame and instructs the image pickup device 102. For example, the imaging device control unit 24 changes the aspect ratio of the readout range for each image frame. This aspect ratio is calculated based on, for example, the predicted movement direction of the optical receiver, the oscillation direction and the oscillation direction of the optical transmitter 100, and is set for each image frame.
タレット指向方向算出部２６は、目標予測範囲に基づいてタレットの指向方向を算出し、ジンバル機構を制御する。レーザ光光軸補正部２７は、ジンバル機構にレーザ光光軸補正角を与えて伝送光の光軸を光受信装置２００に指向させる。 The turret directivity direction calculation unit 26 calculates the turret directivity direction based on the target prediction range, and controls the gimbal mechanism. The laser beam optical axis correction unit 27 gives a laser beam optical axis correction angle to the gimbal mechanism and directs the optical axis of the transmission light to the optical receiver 200.
図４は、光送信装置１００の処理手順の一例を示すフローチャートである。手順が開始すると、光送信装置１００は通信相手としての目標（光受信装置２００）を捜索する（ステップＳ１）。このステップでは、光送信装置１００は例えばレーザ光の指向方向を変化させながら空間をスキャンし、反射光をキャッチすることで目標を捕捉する。この手順においては撮像機１０２のフレームレートを低くしても構わない。 FIG. 4 is a flowchart illustrating an example of a processing procedure of the optical transmission device 100. When the procedure starts, the optical transmitter 100 searches for a target (optical receiver 200) as a communication partner (step S1). In this step, the optical transmission device 100 scans the space while changing the direction of laser light, for example, and catches the target by catching the reflected light. In this procedure, the frame rate of the imaging device 102 may be lowered.
目標が捕捉されると、トラッキングモードが開始される（ステップＳ２）。このステップでは、光送信装置１００は目標からの反射光が途絶えないように目標をトラッキングする。トラッキングモードでは撮像機１０２のフレームレートを捜索モードよりも高くする。トラッキングが安定している状態で、光送信装置１００は画像データを重畳したレーザ光を光受信装置２００に向け送信する（ステップＳ４）。これにより通信が継続される。なお目標をロストすると（ステップＳ３でＹｅｓ）処理手順はステップＳ１の捜索モードに戻る。 When the target is captured, the tracking mode is started (step S2). In this step, the optical transmission device 100 tracks the target so that the reflected light from the target is not interrupted. In the tracking mode, the frame rate of the image pickup device 102 is set higher than that in the search mode. In a state where the tracking is stable, the optical transmitter 100 transmits the laser beam on which the image data is superimposed to the optical receiver 200 (step S4). As a result, communication is continued. If the target is lost (Yes in step S3), the processing procedure returns to the search mode in step S1.
図５は、目標位置の予測について説明するための図である。撮像機１０２から出力される画素データのフレームレートは、露光時間と、読み出し画素の転送時間とに制限される。特に、読み出し画素の転送時間が支配的である。そこで実施形態では画素データ範囲を制限することで読み出し画素数を最小限にし、転送時間を短縮することでフレームレートを高速化する。読み出し範囲は、予測された目標位置の近傍に設定され、目標位置は過去データの解析結果から算出される。 FIG. 5 is a diagram for explaining prediction of the target position. The frame rate of the pixel data output from the imaging device 102 is limited to the exposure time and the transfer time of the readout pixel. In particular, the transfer time of the readout pixel is dominant. Therefore, in the embodiment, the number of readout pixels is minimized by limiting the pixel data range, and the frame rate is increased by shortening the transfer time. The read range is set in the vicinity of the predicted target position, and the target position is calculated from the analysis result of the past data.
図５を参照して、目標位置予測部２５による目標予測範囲の算出について説明する。目標位置予測部２５は、姿勢角情報や目標位置情報などを取得し、例えば線形近似により予測点を算出する。 With reference to FIG. 5, the calculation of the target prediction range by the target position prediction unit 25 will be described. The target position prediction unit 25 acquires posture angle information, target position information, and the like, and calculates a prediction point by linear approximation, for example.
目標位置予測部２５は、ジンバル角（ＡＺ，ＥＬ）及び姿勢角（ロール、ピッチ、ヨー）の過去複数フレーム分のデータを保持する。姿勢角データと、予め設定された取付位置情報に基づいて、目標位置予測部２５は姿勢角をタレット座標系に変換する。さらに、目標位置予測部２５は、姿勢角の過去複数フレーム分のタレット座標系の位置情報にジンバル角（ＡＺ，ＥＬ）を加算して、タレット座標系での複数フレーム分にわたる目標位置情報を求める。 The target position prediction unit 25 holds data for a plurality of past frames of gimbal angles (AZ, EL) and posture angles (roll, pitch, yaw). Based on the attitude angle data and preset attachment position information, the target position prediction unit 25 converts the attitude angle into a turret coordinate system. Further, the target position prediction unit 25 adds the gimbal angle (AZ, EL) to the position information of the turret coordinate system for the past plural frames of the posture angle to obtain the target position information for the plurality of frames in the turret coordinate system. .
次に、求めたＡＺ及びＥＬの目標位置情報を微分して、目標位置情報を角速度情報に変換する（等角速度処理）。その結果をフレームごとに順にプロットして図５のグラフが得られる。図５の縦軸は角速度（θ）を示し、横軸は時間の経過を示す。最小二乗法によりこのグラフを直線近似し、得られた直線近似線から最も離れた点までの距離（角速度）を複数倍する。または、直線近似線からの距離（角速度）から標準偏差を求めて複数倍する。 Next, the obtained target position information of AZ and EL is differentiated to convert the target position information into angular velocity information (constant angular velocity processing). The results are plotted in order for each frame to obtain the graph of FIG. The vertical axis in FIG. 5 indicates the angular velocity (θ), and the horizontal axis indicates the passage of time. This graph is linearly approximated by the least square method, and the distance (angular velocity) to the point farthest from the obtained linear approximation line is multiplied by a plurality. Alternatively, the standard deviation is obtained from the distance (angular velocity) from the linear approximation line and multiplied by a plurality.
一方、角速度の算出結果を積分して角速度を角度に変換する。これらの２種類の結果に、予め設定した重み付け係数を乗じ、それぞれＡＺ，ＥＬに分離することで予測点と予測範囲を算出する。また、直線近似の決定係数を求める。 On the other hand, the angular velocity is converted into an angle by integrating the calculation result of the angular velocity. A prediction point and a prediction range are calculated by multiplying these two types of results by a preset weighting coefficient and separating them into AZ and EL, respectively. Further, a determination coefficient for linear approximation is obtained.
決定係数とは、残差の二乗和を標本値の平均からの差の二乗和で割った値を１から減算して得られる値である。例えば式（１）により決定係数を求めることができる。 The determination coefficient is a value obtained by subtracting from 1 a value obtained by dividing the sum of squares of the residual by the sum of squares of the difference from the average of the sample values. For example, the determination coefficient can be obtained by the equation (1).
式（１）における変数ｙは標本値を示し、変数ｆは近似式による推定値を示し、インデックスｉは標本数を示す。 In equation (1), variable y indicates a sample value, variable f indicates an estimated value based on an approximate expression, and index i indicates the number of samples.
さらに、目標位置予測部２５は、求めたＡＺ及びＥＬの目標位置情報を２回微分（２階微分）して、目標位置情報を角加速度情報に変換する（等角加速度移動処理、または等角加速度処理）。それらの結果を最小二乗法により直線近似し、得られた直線近似線から最も離れた点までの距離（角加速度）を複数倍する。または、直線近似線からの距離（角加速度）から標準偏差を求めて複数倍する。 Further, the target position predicting unit 25 differentiates the obtained target position information of AZ and EL twice (second-order differentiation), and converts the target position information into angular acceleration information (conformal acceleration movement processing or equiangularity). Acceleration processing). These results are linearly approximated by the method of least squares, and the distance (angular acceleration) to the point farthest from the obtained linear approximation line is multiplied by a plurality. Alternatively, the standard deviation is obtained from the distance (angular acceleration) from the linear approximation line and multiplied by a plurality.
さらに、角加速度の算出結果を２回（２階）積分して角加速度を角度に変換する。これらの２種類の結果に、予め設定した重み付け係数を乗じて、それぞれＡＺ，ＥＬに分離することで予測点と予測範囲を算出する。また、式（１）を用いて直線近似の決定係数を求める。 Further, the angular acceleration is converted into an angle by integrating the calculation result of the angular acceleration twice (second floor). These two types of results are multiplied by a preset weighting coefficient and separated into AZ and EL, respectively, thereby calculating a prediction point and a prediction range. In addition, a determination coefficient for linear approximation is obtained using equation (1).
そして、等角速度処理および等角加速度処理でそれぞれ求めた目標位置予測範囲に規格化された重み付け係数を乗じた和から、目標位置予測範囲を算出する。重み付け係数は、決定係数により決定することができる。特に、各処理で求めた決定係数の比率の和が１になるように規格化した値を重み付け係数とする。 Then, the target position prediction range is calculated from the sum obtained by multiplying the target position prediction range obtained by the equal angular velocity process and the equal angular acceleration process by the normalized weighting coefficient. The weighting factor can be determined by a determination factor. In particular, a value normalized so that the sum of the ratios of the determination coefficients obtained in each process becomes 1 is used as the weighting coefficient.
式（１）の左辺のＲ２は、直線近似線の近似らしさを示す指標である。等角速度処理および等角加速度処理ごとにＲ２を比較し、比率を求める（比率の和が１になるように規格化する）。この比率（決定係数）は、目標が等角度で動いているのか、等角速度なのか、角加速度なのかの程度を示す指標となる。区別のため等角度処理で得られる決定係数をＲ２ ａとし、等角速度処理で得られる決定係数をＲ２ ｂ、とし、等角加速度処理で得られる決定係数をＲ２ ｃとする。ここで、添え字ａは等角度処理で得られる値であることを示し、添え字ｂは等角速度処理で得られる値であることを示し、添え字ｃは等角加速度処理で得られる値であることを示す。 R 2 on the left side of Equation (1) is an index indicating the likelihood of approximation of a straight line approximation line. R 2 is compared for each equal angular velocity process and equal angular acceleration process to obtain a ratio (normalized so that the sum of the ratios becomes 1). This ratio (determination coefficient) is an index indicating the degree of whether the target is moving at an equal angle, an equal angular velocity, or an angular acceleration. The coefficient of determination obtained by equiangularly process for distinguishing and R 2 a, and the coefficient of determination obtained at a constant angular velocity processing R 2 b, and the coefficient of determination obtained by the conformal acceleration process and R 2 c. Here, the subscript a indicates a value obtained by the equiangular processing, the subscript b indicates a value obtained by the equiangular velocity processing, and the subscript c indicates a value obtained by the equiangular acceleration processing. Indicates that there is.
さらに、各処理（等角度処理、等角速度処理および等角加速度処理）における目標予測範囲を求める。データと近似線の差の標準偏差を求め、その例えば３倍の角度、または、近似線から最も離れたデータの角度差の例えば３倍を、予測範囲とする。 Further, a target prediction range in each process (equal angle process, equal angular velocity process, and equal angular acceleration process) is obtained. The standard deviation of the difference between the data and the approximate line is obtained, and the predicted range is, for example, an angle that is three times that of the data or an angle difference of the data that is farthest from the approximate line.
例えば、等角度処理（ΔθＡＺａ、ΔθＥＬａ）、等角速度処理（ΔθＡＺｂ、ΔθＥＬｂ）、等角加速度処理（ΔθＡＺｃ、ΔθＥＬｃ）として示す。これらの値から目標位置予測範囲を求めることができる。 For example, it is shown as equal angle processing (Δθ AZa , Δθ ELa ), equal angular velocity processing (Δθ AZb , Δθ ELb ), and equal angular acceleration processing (Δθ AZc , Δθ ELc ). The target position prediction range can be obtained from these values.
具体的には、求めた比率と予測範囲との積を処理ごとに求め、その総和を算出する。その結果を目標位置予測範囲とする。これをアジマス方向およびエレベーション方向ごとに求める。目標位置予測範囲のＡＺ方向成分をΔθＡＺとし、目標位置予測範囲のＥＬ方向成分：ΔθＥＬとすると、例えば式（２）により目標位置予測範囲を算出することができる。 Specifically, the product of the obtained ratio and the prediction range is obtained for each process, and the sum is calculated. The result is set as a target position prediction range. This is obtained for each azimuth direction and elevation direction. If the AZ direction component of the target position prediction range is Δθ AZ and the EL direction component of the target position prediction range is Δθ EL , the target position prediction range can be calculated by, for example, Expression (2).
図６は、実施形態により得られる効果を説明するための図である。図６（ａ）は既存技術を踏襲する手法を示し、画像フレーム内における読み出し範囲の形状は正方形である。点線丸印が１フレーム前の目標位置を示し、黒丸が現在の目標位置を示す。 FIG. 6 is a diagram for explaining an effect obtained by the embodiment. FIG. 6A shows a method that follows the existing technology, and the shape of the readout range in the image frame is a square. A dotted circle indicates the target position one frame before, and a black circle indicates the current target position.
図６（ａ）に示されるように、既存技術では正方形の読み出し範囲のサイズが変わるだけであり、その位置（中央の位置）は変わらない。よって読み出し範囲を最小限にしようとすると現目標位置は読み出し範囲の端に位置することが多くなる。目標予測位置が画像フレームの端に近づけば近づくほど正方形のサイズは大きくなり、読み出すべき画素数が多くなってフレームレートが低下する。 As shown in FIG. 6A, the existing technique only changes the size of the square readout range, and the position (center position) does not change. Therefore, when trying to minimize the reading range, the current target position is often located at the end of the reading range. The closer the target predicted position is to the end of the image frame, the larger the size of the square, and the number of pixels to be read increases and the frame rate decreases.
これに対し図６（ｂ）は、図３に示される制御部２０（目標位置予測部２５）により算出される読み出し範囲を示す。すなわち実施形態では画像フレームごとに目標位置を予測し、その結果に基づいて読み出し範囲の位置および縦横比を適応的に変化させる。これにより、予測された目標位置は読み出し範囲の中央で捕えられるようになる。また、縦横比を最適化することで読み出し範囲のサイズを必要最小限にでき、従って読み出し画素数も必要最小限にできる。 On the other hand, FIG. 6B shows a read range calculated by the control unit 20 (target position prediction unit 25) shown in FIG. That is, in the embodiment, the target position is predicted for each image frame, and the position and the aspect ratio of the reading range are adaptively changed based on the result. As a result, the predicted target position is captured at the center of the readout range. Further, by optimizing the aspect ratio, the size of the readout range can be minimized, and therefore the number of readout pixels can be minimized.
さらに、目標の移動方向、自装置の揺動方向、自装置の振動方向に基づいて読み出し範囲の縦横比を求めるようにしているので、目標の出現確率に応じて読み出し範囲を最適化することができる。例えば縦揺れが支配的であれば縦長の読み出し範囲を設定すればよい。つまり次の画像フレームにおける目標の出現確率の高い箇所に読み出し範囲を設定し、出現確率の低い領域を読み出し範囲から除くことで、自装置の揺動方向および振動方向の偏りに対処でき、不要な範囲の画素データが転送されないようにできる。 Furthermore, since the aspect ratio of the reading range is obtained based on the target moving direction, the own device swinging direction, and the own device vibration direction, the reading range can be optimized according to the target appearance probability. it can. For example, if the vertical shaking is dominant, a vertically long reading range may be set. In other words, by setting a reading range at a location where the target appearance probability is high in the next image frame and excluding an area where the appearance probability is low from the reading range, it is possible to cope with the swing direction and vibration direction bias of the own device, which is unnecessary. The range of pixel data can be prevented from being transferred.
以上説明したようにこの実施形態によれば、読み出し画素数を効果的に低減することができるようになり、従ってフレームレートの高速化を促進することができる。ひいては光軸調整の精度を高め、通信エラーを低減することができるようになる。これらのことから実施形態によれば、光軸調整の精度を向上させ、これにより通信エラーの低減を図った移動光通信システムとその光送信装置および撮像制御方法を提供することが可能となる。 As described above, according to this embodiment, it is possible to effectively reduce the number of readout pixels, and therefore it is possible to promote an increase in the frame rate. As a result, the accuracy of optical axis adjustment can be improved and communication errors can be reduced. Therefore, according to the embodiment, it is possible to provide a mobile optical communication system, an optical transmission apparatus, and an imaging control method that improve the accuracy of optical axis adjustment and thereby reduce communication errors.
なお、この発明は上記実施の形態に限定されるものではない。実施形態では移動光通信システムを車両間のデータ伝送に応用する例を示した。これに代えて本発明に関わる移動光通信システムは、空中に浮遊する主装置と、遠隔を飛行する無人飛行体との通信にも応用することが可能である。 The present invention is not limited to the above embodiment. The embodiment has shown an example in which the mobile optical communication system is applied to data transmission between vehicles. Instead, the mobile optical communication system according to the present invention can be applied to communication between a main apparatus floating in the air and an unmanned air vehicle flying remotely.
また実施形態では、目に見えず減衰も少ない赤外線レーザ光の利用を想定したが、これに限らず可視光領域や紫外線領域の光を用いても良い。また実施形態では読み出し範囲の縦横比を変化させるようにしたが、より一般的に、読み出し範囲の形状を変化させるようにしても良い。 In the embodiment, it is assumed that infrared laser light that is invisible and has little attenuation is used. However, the present invention is not limited to this, and light in the visible light region or ultraviolet region may be used. In the embodiment, the aspect ratio of the reading range is changed, but more generally, the shape of the reading range may be changed.
実施形態を説明したが、この実施形態は例として提示するものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although an embodiment has been described, this embodiment is presented as an example and is not intended to limit the scope of the invention. The novel embodiment can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. This embodiment and its modifications are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.
１，２…車両、１０…タレット、２０…制御部、２１…画像生成部、２２…目標位置算出部、２３…露光時間算出部、２４…撮像機制御部、２５…目標位置予測部、２６…タレット指向方向算出部、２７…レーザ光光軸補正部、１００…光送信装置、１０１…赤外線照射器、１０２…撮像機、２００…光受信装置 DESCRIPTION OF SYMBOLS 1, 2 ... Vehicle, 10 ... Turret, 20 ... Control part, 21 ... Image generation part, 22 ... Target position calculation part, 23 ... Exposure time calculation part, 24 ... Imaging device control part, 25 ... Target position prediction part, 26 Turret directing direction calculation unit 27 laser optical axis correction unit 100 optical transmission device 101 infrared irradiator 102 imaging device 200 optical reception device
Claims (9)
空間を伝播する前記伝送光を受信する光受信装置とを具備し、
前記光送信装置は、
前記伝送光を前記光受信装置に向け照射するレーザ光照射装置と、
前記レーザ光照射装置を空間安定化させるジンバル機構と、
前記光受信装置から再帰的に反射された前記伝送光を含む画像を撮像する撮像部と、
前記撮像部から出力される画像フレームにおける前記光受信装置の位置を予測する予測部と、
前記予測された位置に基づいて、前記ジンバル機構を制御して前記伝送光の光軸を前記光受信装置に指向させる指向制御部と、
前記予測された位置に基づいて、前記画像フレームの読み出し範囲の形状を適応的に変化させる撮像制御部とを備えることを特徴とする、移動光通信システム。 An optical transmitter that transmits transmission light on which communication data is superimposed;
An optical receiver for receiving the transmitted light propagating in space,
The optical transmitter is
A laser beam irradiation device for irradiating the transmission light toward the optical receiver device;
A gimbal mechanism for stabilizing the space of the laser beam irradiation device;
An imaging unit that captures an image including the transmission light recursively reflected from the optical receiver;
A prediction unit that predicts the position of the optical receiver in an image frame output from the imaging unit;
Based on the predicted position, the gimbal mechanism is controlled to direct the optical axis of the transmitted light to the optical receiver, and
A mobile optical communication system, comprising: an imaging control unit that adaptively changes a shape of a readout range of the image frame based on the predicted position.
前記撮像制御部は、前記予測された光受信装置の移動方向と、前記光送信装置の揺動方向および振動方向とに基づいて前記縦横比を変化させることを特徴とする、請求項２に記載の移動光通信システム。 The predicting unit predicts a moving direction of the optical receiver based on a gimbal angle for each axis of the gimbal mechanism;
The imaging control unit is configured to change the aspect ratio based on the predicted movement direction of the optical receiving device and the swinging direction and vibration direction of the optical transmitting device. Mobile optical communication system.
前記伝送光を前記光受信装置に向け照射するレーザ光照射装置と、
前記レーザ光照射装置を空間安定化させるジンバル機構と、
前記光受信装置から再帰的に反射された前記伝送光を含む画像を撮像する撮像部と、
前記撮像部から出力される画像フレームにおける前記光受信装置の位置を予測する予測部と、
前記予測された位置に基づいて、前記ジンバル機構を制御して前記伝送光の光軸を前記光受信装置に指向させる指向制御部と、
前記予測された位置に基づいて、前記画像フレームの読み出し範囲の形状を適応的に変化させる撮像制御部とを具備することを特徴とする、光送信装置。 In an optical transmission device that transmits transmission light on which communication data is superimposed to an optical reception device through space,
A laser beam irradiation device for irradiating the transmission light toward the optical receiver device;
A gimbal mechanism for stabilizing the space of the laser beam irradiation device;
An imaging unit that captures an image including the transmission light recursively reflected from the optical receiver;
A prediction unit that predicts the position of the optical receiver in an image frame output from the imaging unit;
Based on the predicted position, the gimbal mechanism is controlled to direct the optical axis of the transmitted light to the optical receiver, and
An optical transmission device comprising: an imaging control unit that adaptively changes a shape of a readout range of the image frame based on the predicted position.
前記撮像制御部は、前記予測された光受信装置の移動方向と、前記光送信装置の揺動方向および振動方向とに基づいて前記縦横比を変化させることを特徴とする、請求項５に記載の光送信装置。 The predicting unit predicts a moving direction of the optical receiver based on a gimbal angle for each axis of the gimbal mechanism;
6. The imaging control unit according to claim 5, wherein the imaging control unit changes the aspect ratio based on the predicted movement direction of the optical receiver and the swing direction and vibration direction of the optical transmitter. Optical transmitter.
ジンバル機構により空間安定化されるレーザ光照射装置により前記伝送光を前記光受信装置に向け照射し、
前記光受信装置から再帰的に反射された前記伝送光を含む画像を撮像する撮像部から出力される画像フレームにおける前記光受信装置の位置を予測し、
前記予測された位置に基づいて、前記ジンバル機構を制御して前記伝送光の光軸を前記光受信装置に指向させ、
前記予測された位置に基づいて、前記画像フレームの読み出し範囲の形状を適応的に変化させることを特徴とする、撮像制御方法。 In an imaging control method applicable to an optical transmitter that transmits transmission light on which communication data is superimposed to an optical receiver,
Irradiating the transmission light toward the optical receiver by a laser beam irradiation device that is spatially stabilized by a gimbal mechanism,
Predicting the position of the optical receiver in an image frame output from an imaging unit that captures an image including the transmitted light recursively reflected from the optical receiver;
Based on the predicted position, the gimbal mechanism is controlled to direct the optical axis of the transmitted light to the optical receiver,
An imaging control method characterized by adaptively changing the shape of the readout range of the image frame based on the predicted position.
前記予測された光受信装置の移動方向と、前記光送信装置の揺動方向および振動方向とに基づいて前記読み出し範囲の縦横比を変化させることを特徴とする、請求項８に記載の撮像制御方法。 Predicting the moving direction of the optical receiver based on the gimbal angle for each axis of the gimbal mechanism,
9. The imaging control according to claim 8, wherein an aspect ratio of the readout range is changed based on the predicted movement direction of the optical receiver, and the swing direction and the vibration direction of the optical transmitter. Method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015034103A JP6419601B2 (en) | 2015-02-24 | 2015-02-24 | Mobile optical communication system, optical transmitter thereof, and imaging control method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015034103A JP6419601B2 (en) | 2015-02-24 | 2015-02-24 | Mobile optical communication system, optical transmitter thereof, and imaging control method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016158079A true JP2016158079A (en) | 2016-09-01 |
| JP6419601B2 JP6419601B2 (en) | 2018-11-07 |
Family
ID=56826453
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015034103A Expired - Fee Related JP6419601B2 (en) | 2015-02-24 | 2015-02-24 | Mobile optical communication system, optical transmitter thereof, and imaging control method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6419601B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020161931A (en) * | 2019-03-26 | 2020-10-01 | ソフトバンク株式会社 | Communication device, communication method, charging device, control method, and program |
| JP7348979B1 (en) | 2022-03-22 | 2023-09-21 | ソフトバンク株式会社 | Communication device, program, and control method |
| JP7462819B2 (en) | 2023-07-27 | 2024-04-05 | ソフトバンク株式会社 | Power receiving device, program, and control method |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07125567A (en) * | 1993-11-04 | 1995-05-16 | Mitsubishi Motors Corp | Preceding car detecting mechanism of car traveling controller |
| JPH1091900A (en) * | 1996-09-18 | 1998-04-10 | Mitsubishi Heavy Ind Ltd | Inter-vehicle communication equipment |
| JPH10132935A (en) * | 1996-11-01 | 1998-05-22 | Nec Corp | Missile position measuring equipment |
| JP2001326671A (en) * | 2000-05-17 | 2001-11-22 | Nec Corp | Optical communication unit and inter-vehicle lan system using the same |
| JP2006151125A (en) * | 2004-11-26 | 2006-06-15 | Omron Corp | On-vehicle image processing device |
| JP2009260564A (en) * | 2008-04-15 | 2009-11-05 | Toshiba Corp | Mobile object image tracking apparatus |
| US7773116B1 (en) * | 2006-02-08 | 2010-08-10 | Lockheed Martin Corporation | Digital imaging stabilization |
| US7885548B1 (en) * | 2007-01-24 | 2011-02-08 | Lockheed Martin Corporation | Free space optical communication |
-
2015
- 2015-02-24 JP JP2015034103A patent/JP6419601B2/en not_active Expired - Fee Related
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07125567A (en) * | 1993-11-04 | 1995-05-16 | Mitsubishi Motors Corp | Preceding car detecting mechanism of car traveling controller |
| JPH1091900A (en) * | 1996-09-18 | 1998-04-10 | Mitsubishi Heavy Ind Ltd | Inter-vehicle communication equipment |
| JPH10132935A (en) * | 1996-11-01 | 1998-05-22 | Nec Corp | Missile position measuring equipment |
| JP2001326671A (en) * | 2000-05-17 | 2001-11-22 | Nec Corp | Optical communication unit and inter-vehicle lan system using the same |
| JP2006151125A (en) * | 2004-11-26 | 2006-06-15 | Omron Corp | On-vehicle image processing device |
| US7773116B1 (en) * | 2006-02-08 | 2010-08-10 | Lockheed Martin Corporation | Digital imaging stabilization |
| US7885548B1 (en) * | 2007-01-24 | 2011-02-08 | Lockheed Martin Corporation | Free space optical communication |
| JP2009260564A (en) * | 2008-04-15 | 2009-11-05 | Toshiba Corp | Mobile object image tracking apparatus |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020161931A (en) * | 2019-03-26 | 2020-10-01 | ソフトバンク株式会社 | Communication device, communication method, charging device, control method, and program |
| WO2020195114A1 (en) * | 2019-03-26 | 2020-10-01 | ソフトバンク株式会社 | Device for communication, communication device, communication method, device for charging, and program |
| JP2020171192A (en) * | 2019-03-26 | 2020-10-15 | ソフトバンク株式会社 | Charging device, control method, and program |
| JP2021166392A (en) * | 2019-03-26 | 2021-10-14 | ソフトバンク株式会社 | Communication device, communication method, and program |
| KR20210129155A (en) * | 2019-03-26 | 2021-10-27 | 소프트뱅크 가부시키가이샤 | Communication device, communication device, communication method, charging device, and program |
| GB2596972A (en) * | 2019-03-26 | 2022-01-12 | Softbank Corp | Device for communication, communication device, communication method, device for charging, and program |
| JP7035252B2 (en) | 2019-03-26 | 2022-03-14 | ソフトバンク株式会社 | Communication equipment, communication methods, and programs |
| GB2596972B (en) * | 2019-03-26 | 2023-04-12 | Softbank Corp | Device for communication, communication device, communication method, device for charging, and program |
| KR102525500B1 (en) * | 2019-03-26 | 2023-04-25 | 소프트뱅크 가부시키가이샤 | Device for communication, device for communication, method for communication, device for charging, and program |
| US11870494B2 (en) | 2019-03-26 | 2024-01-09 | Softbank Corp. | Device for communication, communication device, communication method, device for charging, and computer readable storage medium |
| JP7348979B1 (en) | 2022-03-22 | 2023-09-21 | ソフトバンク株式会社 | Communication device, program, and control method |
| JP7462819B2 (en) | 2023-07-27 | 2024-04-05 | ソフトバンク株式会社 | Power receiving device, program, and control method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6419601B2 (en) | 2018-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI624170B (en) | Image scanning system and method thereof | |
| US7773116B1 (en) | Digital imaging stabilization | |
| KR20170137934A (en) | Depth image acquisition method, device and UAV | |
| CN109428648B (en) | Method and device for realizing alignment of wireless optical transmitting and receiving ends | |
| US7920794B1 (en) | Free space optical communication | |
| CN111226154B (en) | Autofocus camera and system | |
| JP2022517505A (en) | Two-mirror tracking system for free-space optical communication | |
| KR101953352B1 (en) | Gimbal Composite Sensor Homming System | |
| JP2006252473A (en) | Obstacle detector, calibration device, calibration method and calibration program | |
| JP2011151722A (en) | Radio apparatus, radio system, and antenna tracking method | |
| WO2017117749A1 (en) | Follow focus system and method based on multiple ranging approaches, and photographing system | |
| CN109945861B (en) | Alignment tracking device and method for unidirectional wireless optical communication between small unmanned aerial vehicle and ground | |
| JP6419601B2 (en) | Mobile optical communication system, optical transmitter thereof, and imaging control method | |
| CN106209225A (en) | A kind of wireless optical channel construction method and device | |
| JP2019184267A (en) | Position measurement method, position measurement device, and position measurement system | |
| US11605181B2 (en) | Control apparatus, control system and control method | |
| JP6475693B2 (en) | Base station design support system using unmanned aerial vehicles and server used in the system | |
| CN112422197B (en) | Underwater optical communication capturing device and method based on acousto-optic combination | |
| KR101944423B1 (en) | Gimbal Composite Sensor Homming Device and Method | |
| EP3255455A1 (en) | Single pulse lidar correction to stereo imaging | |
| JP5611735B2 (en) | Target tracking device and target tracking method | |
| US20190103669A1 (en) | Communication apparatus, method for controlling communication apparatus, and storage medium storing program | |
| CN113794843B (en) | Video monitoring accurate interference method and system based on coaxial light path structure | |
| JP6289305B2 (en) | Imaging optical device and flying object | |
| JP6175885B2 (en) | Optical space communication system, mobile station, and control method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170816 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20170904 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20170905 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180727 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180911 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181010 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6419601 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |