JP2006279648A - Image display method based on fluctuation correction and remote control system for automobile model or the like using the method - Google Patents

Image display method based on fluctuation correction and remote control system for automobile model or the like using the method Download PDF

Info

Publication number
JP2006279648A
JP2006279648A JP2005096938A JP2005096938A JP2006279648A JP 2006279648 A JP2006279648 A JP 2006279648A JP 2005096938 A JP2005096938 A JP 2005096938A JP 2005096938 A JP2005096938 A JP 2005096938A JP 2006279648 A JP2006279648 A JP 2006279648A
Authority
JP
Japan
Prior art keywords
image
information
received
operation machine
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005096938A
Other languages
Japanese (ja)
Inventor
Yuji Katayama
雄二 片山
Yutaka Kidawara
豊 木俵
Mina Aoki
美奈 青木
Kenji Tanaka
健二 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SANRITSU OOTOMEISHIYON KK
National Institute of Information and Communications Technology
Original Assignee
SANRITSU OOTOMEISHIYON KK
National Institute of Information and Communications Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SANRITSU OOTOMEISHIYON KK, National Institute of Information and Communications Technology filed Critical SANRITSU OOTOMEISHIYON KK
Priority to JP2005096938A priority Critical patent/JP2006279648A/en
Publication of JP2006279648A publication Critical patent/JP2006279648A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image display method capable of obtaining an image having no non-naturality by executing fluctuation correcting processing, in the case of transmitting a moving image from a traveling body such as an automobile model loaded with a camera arranged on a remote place to a personal computer or the like connected through the Internet, and to provide a remote control system for an automobile model which can perform accurate remote control by adopting the method. <P>SOLUTION: An operation machine displays received images on a monitor to remotely control a traveling body such as the automobile model or the like, while allowing a user to view the monitor display of images transmitted from the camera loaded on the traveling body and received through the network. In the operation machine, the plotting of the received images on the monitor is performed at previously determined plotting timing, and a plotted image is a predicted image obtained by the delay processing of a received image. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、ゆらぎ補正による画像表示方法及びその方法を用いた模型自動車等用リモートコントロールシステムに係り、より詳細には、ゆらぎ補正による画像表示方法及びその方法を用いた、オペレーションマシンの操作者の操縦により、模型自動車等の走行体の走行やスピード制御等を遠隔的に行なうリモートコントロール機能を備えた模型自動車等用リモートコントロールシステムに関する。   The present invention relates to an image display method by fluctuation correction and a remote control system for a model car or the like using the method, and more specifically, an image display method by fluctuation correction and an operator of an operation machine using the method. The present invention relates to a remote control system for a model car or the like having a remote control function for remotely controlling the speed of a traveling body such as a model car or controlling the speed by maneuvering.

撮影領域等を遠隔操作で変更できる遠隔カメラ装置や遠隔監視システム装置が提案されている。このような遠隔カメラ装置として、例えば、伝送遅延や信号処理遅延による監視カメラ部の制御行き過ぎ量を補正することのできる遠隔カメラ装置が提案されている(特開平6−38087号公報)。遠隔監視システム装置としては、例えば、カメラを動作させているときに受信側で表示する画像を、その時点でカメラが撮影している範囲に近づくようにシフトして表示し、あたかも画像の遅れが発生していないように見えるように表示範囲を加工し、カメラの遠隔操作による遅延を感じられないような監視システム装置が提案されている(特開2002−185956号公報)。   A remote camera device and a remote monitoring system device that can change an imaging region and the like by remote operation have been proposed. As such a remote camera device, for example, a remote camera device that can correct the control overshoot amount of the monitoring camera unit due to transmission delay or signal processing delay has been proposed (Japanese Patent Laid-Open No. 6-38087). As a remote monitoring system device, for example, an image to be displayed on the receiving side when the camera is operated is shifted and displayed so as to approach the range that the camera is capturing at that time, as if there is a delay in the image. A monitoring system device has been proposed in which a display range is processed so that it does not appear and a delay due to remote operation of the camera is not felt (Japanese Patent Laid-Open No. 2002-185556).

しかしながら、これらの技術は、有線回線による動画伝送を前提としており、固定遅延時間分の補正を行なうことにより、違和感のない動画を伝送することができるが、インターネットや無線LANによる動画伝送を行なう場合には、均一な通信速度が得られないために、動画データの到達時間にゆらぎが発生する。   However, these technologies are premised on moving image transmission via a wired line, and by performing correction for a fixed delay time, it is possible to transmit a moving image with no sense of incongruity. However, when moving image transmission by the Internet or wireless LAN is performed. In this case, since a uniform communication speed cannot be obtained, fluctuation occurs in the arrival time of the moving image data.

即ち、通信の遅れがバラつくことにより描画タイミングがバラつき、時には通信エラーによるデータ消失が起こり、その結果、動画に違和感を感じる事態が発生する(図20乃至22参照)。   In other words, the drawing timing varies due to variations in communication delay, and data loss sometimes occurs due to a communication error. As a result, a situation in which the moving image feels strange (see FIGS. 20 to 22) occurs.

上述する理由により、このようなカメラを模型自動車等の走行体に搭載して、パーソナルコンピュータ等のモニタでカメラからの映像を見ながら操作するような場合は、このゆらぎが動画データの不連続性を生み、操作者が模型自動車等の動きを予想できなくなって、的確な操作ができなくなり、遠隔操作の操縦性が悪くなる。   For the reasons described above, when such a camera is mounted on a traveling body such as a model car and operated while watching the image from the camera on a monitor such as a personal computer, this fluctuation is a discontinuity of moving image data. As a result, the operator cannot predict the movement of the model car or the like, and the accurate operation cannot be performed, and the maneuverability of the remote operation is deteriorated.

この対策として従来は、ゆらぎ変化範囲をカバーする量の動画データを受信側で蓄積することにより、ゆらぎを抑えるという方法が採られている。しかし、この手法の場合、動画データの蓄積分の動画遅延が発生するという問題が生ずる。   Conventionally, as a countermeasure, a method of suppressing fluctuation by accumulating moving image data in an amount that covers the fluctuation change range on the receiving side is employed. However, in the case of this method, there arises a problem that a moving image delay corresponding to the accumulation of moving image data occurs.

特開平6−38087号公報JP-A-6-38087 特開2002−185956号公報Japanese Patent Laid-Open No. 2002-185556

本発明は上記問題を解決することを課題としてなされたもので、遠隔地に設置されたカメラを搭載した模型自動車等の走行体からインターネットを介して接続されるパーソナルコンピュータ等に動画伝送を行なう場合に、ゆらぎ補正処理を行なうことにより、不自然さのない映像が得られる画像表示方法、並びに、この方法を採用することにより、的確な遠隔操作が可能となる模型自動車等用リモートコントロールシステムを提供することを課題とする。   The present invention has been made in order to solve the above problems, and when moving images are transmitted from a traveling body such as a model car equipped with a camera installed at a remote place to a personal computer or the like connected via the Internet. In addition, by providing fluctuation correction processing, we provide an image display method that provides unnatural images, and a remote control system for model automobiles that enables accurate remote operation by adopting this method. The task is to do.

請求項1に記載の発明は、ネットワークを介して受信する模型自動車等の走行体のカメラからの画像のモニタ表示を見ながら前記走行体を遠隔制御可能にするための前記モニタへの前記受信画像の表示を行なうオペレーションマシンにおいて、
前記受信画像の前記モニタへの描画は予め定められた描画タイミング間隔で行ない、且つ、前記描画画像は、前記受信画像を遅れ処理した予測画像とする、という方法により上記課題を達成する。
According to the first aspect of the present invention, the received image to the monitor for enabling remote control of the traveling body while observing a monitor display of an image from a camera of the traveling body such as a model car received via a network. In the operation machine that displays
The above-described problem is achieved by a method in which drawing of the received image on the monitor is performed at predetermined drawing timing intervals, and the drawn image is a predicted image obtained by delaying the received image.

請求項2に記載した発明は、請求項1に記載のゆらぎ補正による画像表示方法において、前記遅れ処理した予測画像は、前記描画タイミング時のシステム時刻から、そのとき受信している画像情報に付加されているタイムスタンプを差し引いた遅れ予測時間経過後の擬似的画像であることを特徴とする。   According to a second aspect of the present invention, in the image display method by fluctuation correction according to the first aspect, the delayed predicted image is added to the image information received at that time from the system time at the drawing timing. It is a pseudo image after the lapse of the estimated delay time after subtracting the time stamp.

請求項3に記載した発明は、請求項1に記載のゆらぎ補正による画像表示方法において、前記遅れ予測画像は、前記受信画像を、前記遅れ予測時間と車速、操舵角度、バッテリー電圧値等のセンサー情報に基いて画像処理するものであることを特徴とする。   According to a third aspect of the present invention, in the image display method by fluctuation correction according to the first aspect, the delayed predicted image is obtained by using the received image as a sensor of the delayed predicted time, vehicle speed, steering angle, battery voltage value, and the like. The image processing is based on the information.

請求項4に記載した発明は、請求項3に記載のゆらぎ補正による画像表示方法において、前記画像処理は、前記センサー情報に基いて前記受信画像をズームし及び/又は左右にシフトするものであることを特徴とする。   According to a fourth aspect of the present invention, in the image display method by fluctuation correction according to the third aspect, the image processing zooms and / or shifts the received image to the left and right based on the sensor information. It is characterized by that.

請求項5に記載の発明は、模型自動車等の走行体からの画像情報に基づいて前記走行体を遠隔制御するためのオペレーションマシンを備えた模型自動車等用リモートコントロールシステムであって、
前記オペレーションマシンは、前記走行体の車載カメラからの画像情報とセンサー情報とを受信する画像描画用情報受信手段と、前記受信した画像描画用情報内の画像データを伸張する画像伸張手段と、前記伸張した画像データを、受信した前記センサー情報に基づいて加工する画像加工手段と、コントローラによって入力された操作入力値を前記走行体に対する制御情報へ変換処理する操作入力手段と、前記操作入力手段によって生成された制御情報を前記走行体へ送信する制御情報送信手段とを備え、
前記走行体は、前記車載カメラの画像に内部時計の時刻をタイムスタンプとして付加し、前記オペレーションマシンへ送信する画像情報として画像圧縮する画像圧縮手段と、前記車速センサーからの車速及びバッテリーからのバッテリー電圧値を、前記オペレーションマシンへ送信するセンサー情報として取り込むセンサー取込手段と、前記画像情報と前記センサー情報とを画像描画用情報として前記オペレーションマシンへ送信する画像描画用情報送信手段と、前記オペレーションマシンから前記制御情報を受信する制御情報受信手段と、受信した前記制御情報に基づいてサーボ及びモータを制御する制御処理手段、とを備える、ことにより上記課題を達成する。
The invention according to claim 5 is a remote control system for a model car or the like equipped with an operation machine for remotely controlling the traveling body based on image information from a traveling body such as a model car,
The operation machine includes: an image drawing information receiving unit that receives image information and sensor information from an in-vehicle camera of the traveling body; an image expansion unit that expands image data in the received image drawing information; By the image processing means for processing the expanded image data based on the received sensor information, the operation input means for converting the operation input value input by the controller into the control information for the traveling body, and the operation input means Control information transmitting means for transmitting the generated control information to the traveling body,
The traveling body includes an image compression means for adding an internal clock time as a time stamp to an image of the in-vehicle camera and compressing the image as image information to be transmitted to the operation machine, a vehicle speed from the vehicle speed sensor, and a battery from a battery. Sensor capturing means for capturing a voltage value as sensor information to be transmitted to the operation machine, image drawing information transmitting means for transmitting the image information and the sensor information as image drawing information to the operation machine, and the operation The object is achieved by comprising control information receiving means for receiving the control information from a machine and control processing means for controlling a servo and a motor based on the received control information.

請求項6に記載した発明は、請求項5に記載の模型自動車等用リモートコントロールシステムにおいて、前記画像加工手段は、前記伸張された画像データを、受信した前記センサー情報に基づいて、出力するタイミング及び表示させる画像の描画エリアを調整することを特徴とする。   According to a sixth aspect of the present invention, in the remote control system for a model car or the like according to the fifth aspect, the image processing means outputs the decompressed image data based on the received sensor information. And a drawing area of an image to be displayed is adjusted.

請求項7に記載した発明は、請求項6に記載の模型自動車等用リモートコントロールシステムにおいて、前記画像加工手段は、前記伸張された画像データに格納されたタイムスタンプの時刻を現在のシステム時刻から差し引いた描画遅れ時間を算出し、前記描画遅れ時間と車速から画像拡大率を算出すると共に、前記描画遅れ時間と操舵位置から画像左右シフト量を算出し、前記画像拡大率と前記画像左右シフト量とから前記描画エリアを指定することを特徴とする。   According to a seventh aspect of the present invention, in the remote control system for a model car or the like according to the sixth aspect, the image processing means calculates the time of the time stamp stored in the decompressed image data from the current system time. A drawing delay time that is subtracted is calculated, an image enlargement ratio is calculated from the drawing delay time and the vehicle speed, and an image right / left shift amount is calculated from the drawing delay time and the steering position, and the image enlargement ratio and the image left / right shift amount are calculated. The drawing area is designated from the above.

請求項8に記載した発明は、請求項5に記載の模型自動車等用リモートコントロールシステムにおいて、前記センサー情報は、前記走行体に搭載の車速センサーからの車速値と、バッテリーの電圧値とを含むことを特徴とする。   According to an eighth aspect of the present invention, in the remote control system for a model vehicle or the like according to the fifth aspect, the sensor information includes a vehicle speed value from a vehicle speed sensor mounted on the traveling body and a voltage value of a battery. It is characterized by that.

本発明に係るゆらぎ補正による画像表示方法によれば、受信画像から画像処理して得られた予測画像(擬似的画像)が定間隔置きに表示されるためにゆらぎがなくなり、遠隔地に設置されたカメラを搭載した模型自動車等の走行体からインターネットを介して接続されるパーソナルコンピュータ等に動画伝送を行なう場合に、このゆらぎ補正処理を行なうことにより、不自然さのない映像が得られ、以て的確な遠隔操作が可能となる。   According to the image display method by fluctuation correction according to the present invention, the predicted images (pseudo images) obtained by performing image processing from the received images are displayed at regular intervals, so that fluctuations are eliminated and the image is installed in a remote place. When moving images are transmitted from a traveling body such as a model car equipped with a camera to a personal computer or the like connected via the Internet, this fluctuation correction processing provides an image without unnaturalness. And accurate remote operation is possible.

以下、本発明の好適な実施形態について、添付図面を参照して詳細に説明する。図1は、模型自動車とオペレーションマシン2から成る、本発明に係る模型自動車等用リモートコントロールシステムの全体構成を表したものである。このシステムは、カメラを搭載した走行体である模型自動車1と、模型自動車1から離れた場所で模型自動車1を操縦する操作者のモニタ付きオペレーションマシン2と、インターネット4等の通信手段とから構成されている。   DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of the invention will be described in detail with reference to the accompanying drawings. FIG. 1 shows an overall configuration of a remote control system for a model car or the like according to the present invention, which is composed of a model car and an operation machine 2. This system is composed of a model car 1 which is a traveling body equipped with a camera, an operation machine 2 with a monitor of an operator who operates the model car 1 at a location away from the model car 1, and a communication means such as the Internet 4. Has been.

オペレーションマシン2では、そのモニタに模型自動車1のカメラ映像が出力される。操作者は、模型自動車1のカメラ映像を見ながらステアリングコントローラ、ジョイスティック等のゲームコントローラその他のコントローラ3で制御情報を入力して、模型自動車1を操縦することが可能である。そして、当該制御情報を受け取った模型自動車1では、その車載コンピュータにより当該制御情報から各制御用データが読み込まれ、既に駆動されているサーボ(操舵)や駆動モータが制御されることにより、模型自動車1は、オペレーションマシン2で入力された制御情報に従って動作することが可能になる。   In the operation machine 2, the camera image of the model car 1 is output to the monitor. An operator can control the model car 1 by inputting control information using a controller 3 such as a steering controller or a joystick while watching the camera image of the model car 1. Then, in the model car 1 that has received the control information, the control data is read from the control information by the in-vehicle computer, and the already driven servo (steering) and drive motor are controlled, thereby the model car. 1 can operate in accordance with the control information input by the operation machine 2.

図2は、本実施形態における模型自動車1の構成を表したブロック図である。本実施形態における模型自動車1は、無線LANに接続されており、模型自動車1内のセンサーからセンサー情報生成を行なう機能や、カメラキャプチャー画像にタイムスタンプ値の付加等を行なう画像情報生成機能等の送信情報処理機能の他、サーボや駆動モータに対して所定の処理を行なう制御機能も備えている。本実施形態の模型自動車1では、画像情報生成機能を実現するためのカメラ5、センサー情報生成機能を実現するための車速センサー6、バッテリー7、制御機能を実現するためのサーボ8及び駆動モータ9、9a、ギアボックス10、10a、並びに、各種機能処理手段として機能する車載コンピュータ11を備えている。   FIG. 2 is a block diagram showing the configuration of the model automobile 1 in the present embodiment. The model car 1 in this embodiment is connected to a wireless LAN, and includes a function for generating sensor information from sensors in the model car 1, an image information generation function for adding a time stamp value to a camera capture image, and the like. In addition to the transmission information processing function, a control function for performing predetermined processing on the servo and drive motor is also provided. In the model automobile 1 of the present embodiment, a camera 5 for realizing an image information generation function, a vehicle speed sensor 6 for realizing a sensor information generation function, a battery 7, a servo 8 and a drive motor 9 for realizing a control function. , 9a, a gear box 10, 10a, and an in-vehicle computer 11 that functions as various function processing means.

車載コンピュータ11は、各装置の制御やデータの計算・加工を行なうCPU、一度書き込んだ内容は消去できないが電源を切っても内容が消えないF−ROM、半導体素子を利用したRAM、内部時計13、ビデオキャプチャー部12、画像圧縮部、センサー入力部16、モータ制御部15、無線LAN通信部14を備えている。   The in-vehicle computer 11 is a CPU that controls each device and calculates / processes data. An F-ROM that cannot be erased once written but cannot be erased even when the power is turned off, a RAM that uses semiconductor elements, and an internal clock 13 , A video capture unit 12, an image compression unit, a sensor input unit 16, a motor control unit 15, and a wireless LAN communication unit 14.

また、車載コンピュータ11は、カメラ5、車速センサー6、バッテリー7、サーボ8、及び駆動モータ9、9aが接続されており(図2、図3参照)、図4に示すように、オペレーションマシン2へ送信する情報の処理と、オペレーションマシン2から受信した情報の処理を行なう。   The in-vehicle computer 11 is connected to a camera 5, a vehicle speed sensor 6, a battery 7, a servo 8, and drive motors 9 and 9a (see FIGS. 2 and 3). As shown in FIG. Processing of information to be transmitted to and processing of information received from the operation machine 2 are performed.

オペレーションマシン2へ送信する情報の処理としては、ビデオキャプチャー部12からの画像に内部時計13のタイムスタンプ値を付加して画像を圧縮する画像圧縮処理と、車速センサー6によって得られた車速とバッテリー電圧値をセンサー情報として取り込むセンサー取込処理とがある。オペレーションマシン2から受信した情報の処理はモータ制御処理で、受信した制御情報に従って、サーボ8及び駆動モータ9、9aを制御する。   Processing of information to be transmitted to the operation machine 2 includes image compression processing for compressing the image by adding the time stamp value of the internal clock 13 to the image from the video capture unit 12, vehicle speed and battery obtained by the vehicle speed sensor 6. There is a sensor acquisition process for acquiring a voltage value as sensor information. Processing of information received from the operation machine 2 is motor control processing, and the servo 8 and the drive motors 9 and 9a are controlled according to the received control information.

本実施形態のオペレーションマシン2は、車載カメラ5の映像のうちの所定の描画エリアをモニタに表示する。そして、模型自動車1に設置されているセンサー等の検出結果から模型自動車1の状態を認識、判断し、その結果に応じた車載カメラ映像やスピードメーター・バッテリー残量表示を出力するという機能を、この模型自動車1からの画像情報やセンサー情報と連動して実行する。例えば、「画像データ、タイムスタンプ、車速、バッテリー電圧値」等の画像描画用情報を受信する処理を行ない、この画像描画用情報に含まれる画像情報、センサー情報を判別して、次の映像に応じた処理を実行する。   The operation machine 2 of the present embodiment displays a predetermined drawing area in the video of the in-vehicle camera 5 on the monitor. And the function of recognizing and judging the state of the model car 1 from the detection result of the sensor etc. installed in the model car 1, and outputting the vehicle camera image and the speed meter / battery remaining amount display according to the result, This is executed in conjunction with image information and sensor information from the model car 1. For example, processing for receiving image drawing information such as “image data, time stamp, vehicle speed, battery voltage value” is performed, and image information and sensor information included in this image drawing information are determined, and the next video is displayed. Perform the appropriate process.

ここで、上記システムに採用される本発明に係るゆらぎ補正による画像表示方法について、より詳細に説明する。該画像表示方法は、ネットワークを介して受信する模型自動車等の走行体のカメラからの画像のモニタ表示を見ながら前記走行体を遠隔制御可能にするための前記モニタへの前記受信画像の表示を行なうオペレーションマシンにおいて、
前記受信画像の前記モニタへの描画は予め定められた描画タイミング間隔で行ない、且つ、前記描画画像は、前記受信画像を遅れ処理した予測画像とすることを特徴とするものである。
Here, the image display method by fluctuation correction according to the present invention employed in the above system will be described in more detail. The image display method displays the received image on the monitor for enabling the traveling body to be remotely controlled while viewing a monitor display of an image from a camera of the traveling body such as a model car received via a network. In the operation machine to perform,
The received image is drawn on the monitor at a predetermined drawing timing interval, and the drawn image is a predicted image obtained by delaying the received image.

前記遅れ処理した予測画像は、前記描画タイミング時のシステム時刻から、そのとき受信している画像情報に付加されているタイムスタンプを差し引いた遅れ予測時間経過後の擬似的画像であり、前記遅れ予測画像は、前記受信画像を、前記遅れ予測時間と車速、操舵角度、バッテリー電圧値等のセンサー情報に基いて画像処理するものであり、また、前記画像処理は、前記センサー情報に基いて前記受信画像をズームし及び/又は左右にシフトするものである。   The delayed predicted image is a pseudo image after the delay predicted time has elapsed, which is obtained by subtracting the time stamp added to the image information received at that time from the system time at the drawing timing. The image is obtained by subjecting the received image to image processing based on sensor information such as the estimated delay time, vehicle speed, steering angle, battery voltage value, etc., and the image processing is based on the sensor information. The image is zoomed and / or shifted left and right.

このゆらぎ補正の方法について、図5乃至図8を参照して詳細に説明する。図5において、送り側画像の段のSa、Sb、Sc、Sd、Seは、カメラからの画像取り込み時の撮像時刻を示し、ゆらぎの段のSa、Sb、Sc、Sd、Seは、画像情報にカメラからの画像取り込み時の撮像時刻が付加されたタイムスタンプを示し、受け側画像描画の段のTa、Tb、Tc、Td、Teは、描画タイミング時刻を示している。   This fluctuation correction method will be described in detail with reference to FIGS. In FIG. 5, Sa, Sb, Sc, Sd, and Se in the stage of the sending side image indicate imaging times at the time of capturing an image from the camera, and Sa, Sb, Sc, Sd, and Se in the stage of fluctuation are image information. Represents a time stamp to which an imaging time at the time of capturing an image from the camera is added, and Ta, Tb, Tc, Td, and Te in the receiving image drawing stage indicate the drawing timing time.

受け側画像描画では、等間隔で遅れ予測画像が描画されることになるので、描画タイミングにバラつきがなく、換言すれば、ゆらぎがなく、スムーズな動画が得られることになる。その遅れ予測時間tは、描画タイミング時刻Tから、そのとき受信している画像情報に付加されているタイムスタンプSを差し引いた時間T−Sである。   In receiving image drawing, delayed prediction images are drawn at equal intervals, so there is no variation in drawing timing, in other words, there is no fluctuation and a smooth moving image can be obtained. The estimated delay time t is a time TS obtained by subtracting the time stamp S added to the image information received at that time from the drawing timing time T.

図6乃至図8は、オペレーションマシン2の遅れ予測画像の描画機能について説明するものである。オペレーションマシン2は、図6に示されるように、受信画像上の描画エリアを指定することで、その範囲をビデオメモリにメモリ転送する機能を有する。この機能によって、受信画像の任意のエリアを表示することが可能となる。   6 to 8 are for explaining the rendering function of the delay prediction image of the operation machine 2. As shown in FIG. 6, the operation machine 2 has a function of designating a drawing area on the received image and transferring the range to the video memory. This function makes it possible to display an arbitrary area of the received image.

また、図7は、模型自動車1の直進時の描画エリアの変化について説明するものであり、そこには、模型自動車1がA地点からB地点へ直進した場合の、オペレーションマシン2のモニタに表示される領域の変化が示されている。この描画エリアの変化を見ても分かるように、単に模型自動車1が直進する場合には、受信画像に対して視点の中心を変えずに、領域だけを中心へズームさせればよい。この場合のズーム量は、センサー情報である車速から算出される。   FIG. 7 illustrates changes in the drawing area when the model car 1 goes straight, which is displayed on the monitor of the operation machine 2 when the model car 1 goes straight from point A to point B. The change in the area being shown is shown. As can be seen from the change in the drawing area, when the model automobile 1 simply goes straight, it is only necessary to zoom to the center without changing the center of the viewpoint with respect to the received image. The zoom amount in this case is calculated from the vehicle speed that is sensor information.

更に、図8は、模型自動車1の右カーブ時の描画エリアの変化について説明するものであり、そこには、模型自動車1が右カーブしようとA地点からB地点へ移動した場合の、オペレーションマシン2のモニタに表示される領域の変化が示されている。この描画エリアの変化を見ても分かるように、模型自動車1が右カーブする場合には、受信画像に対して徐々に視点の中心を右側へ移動させながらズームさせればよい。この場合のズーム量及びシフト量は、センサー情報である車速と操舵角度から算出される。   Further, FIG. 8 explains the change of the drawing area when the model car 1 turns to the right, and there is an operation machine when the model car 1 moves from point A to point B so as to make a right turn. The change of the area | region displayed on 2 monitors is shown. As can be seen from the change in the drawing area, when the model automobile 1 turns to the right, the received image may be zoomed while gradually moving the center of the viewpoint to the right. The zoom amount and shift amount in this case are calculated from the vehicle speed and the steering angle, which are sensor information.

このように、本発明に係る画像表示方法においては、センサー情報を利用して、受信画像の遅れ予測時間経過時の遅れ予測画像を生成し、これを描画タイミング時刻に描画するので、通信のゆらぎが是正され、不自然さのないリアルタイムの動画が得られるのである。   As described above, in the image display method according to the present invention, the predicted delay image when the predicted delay time of the received image elapses is generated using the sensor information, and is drawn at the drawing timing time. Is corrected, and a real-time video with no unnaturalness is obtained.

次に、上記画像表示方法を採用した本発明に係るシステムの、模型自動車1、オペレーションマシン2、及び操作者の操作による一連の処理の流れを、図9のフローチャートを参照して簡単に説明する。まず、模型自動車1では、カメラ画像に内部時計13によるタイムスタンプが付されて画像圧縮処理され、この画像情報がオペレーションマシン2へ送信される第1のデータとされる。   Next, a flow of a series of processing by the operation of the model car 1, the operation machine 2, and the operator of the system according to the present invention adopting the image display method will be briefly described with reference to the flowchart of FIG. . First, in the model car 1, a time stamp by the internal clock 13 is attached to the camera image and image compression processing is performed, and this image information is used as first data transmitted to the operation machine 2.

また、車速センサー6で得られた車速値と、バッテリー電圧値とがセンサー取込処理によって取り込まれ、センサー情報としてオペレーションマシン2へ送信される第2のデータとされる。   Further, the vehicle speed value obtained by the vehicle speed sensor 6 and the battery voltage value are captured by the sensor capture process, and are used as second data transmitted to the operation machine 2 as sensor information.

画像圧縮処理により生成された画像情報、センサー取込処理により生成されたセンサー情報は、オペレーションマシン2へ送信される情報として通信処理によって送信される。オペレーションマシン2は、この情報を通信処理によって受信し、画像情報を画像伸張処理へ、センサー情報を画像加工処理へ引き渡す。   The image information generated by the image compression process and the sensor information generated by the sensor capture process are transmitted by the communication process as information transmitted to the operation machine 2. The operation machine 2 receives this information through communication processing, and passes the image information to the image expansion processing and the sensor information to the image processing processing.

画像加工処理では、画像情報内の画像データを伸張し、画像加工処理へ引き渡す。画像加工処理では、伸張された画像データ、タイムスタンプ、センサー情報からモニタに描画する画像を生成してモニタに出力する。   In the image processing, the image data in the image information is expanded and transferred to the image processing. In the image processing, an image to be drawn on the monitor is generated from the decompressed image data, time stamp, and sensor information, and is output to the monitor.

操作者は、モニタに映し出されたカメラからの映像を見ながらゲームコントローラを操作する。ゲームコントローラの操作によって入力された制御情報は、通信処理によって模型自動車1へ送信され、模型自動車1では、受信した制御情報を基に、サーボ6、駆動モータ7、7aを制御する。   The operator operates the game controller while viewing the video from the camera displayed on the monitor. The control information input by the operation of the game controller is transmitted to the model car 1 by communication processing, and the model car 1 controls the servo 6 and the drive motors 7 and 7a based on the received control information.

以下、上述した図9のフローチャートにおける各処理について詳細に説明する。まず、本発明に係る車載コンピュータ11の無線LAN通信処理を、図10のフローチャートに基づいて説明する。車載コンピュータ11の無線LAN通信部14は、平時は、オペレーションマシン2からのシステム接続情報を受信するために待機している(S101)。   Hereafter, each process in the flowchart of FIG. 9 mentioned above is demonstrated in detail. First, the wireless LAN communication processing of the in-vehicle computer 11 according to the present invention will be described based on the flowchart of FIG. The wireless LAN communication unit 14 of the in-vehicle computer 11 is on standby to receive system connection information from the operation machine 2 during normal times (S101).

そして、情報を受信すると、それがオペレーションマシン2からのシステム接続情報であるかどうかを確認し(S102)、オペレーションマシン2からのシステム接続情報であれば、認証コードが正常かどうかの確認をする(S103)。   When the information is received, it is confirmed whether it is system connection information from the operation machine 2 (S102). If it is system connection information from the operation machine 2, it is confirmed whether the authentication code is normal. (S103).

接続コードが正常であれば、送信元のオペレーションマシン2へ接続応答情報を送信してシステム状態を接続中へ切り替え(S104、S105)、内部時計13をシステム接続情報中のシステム時刻データに合わせる(S106)。   If the connection code is normal, connection response information is transmitted to the transmission source operation machine 2 to switch the system state to connected (S104, S105), and the internal clock 13 is set to the system time data in the system connection information ( S106).

オペレーションマシン2からの受信情報がシステム接続情報ではない場合には(S102)、それが制御情報であれば(S107)、システム状態が接続中であるかどうかのチェックを行なう(S108)。システムが接続中であれば、モータ制御処理へ制御情報を受け渡し(S109)、内部時計調時処理を行なう(S110)。もし、制御情報の受信エラーが発生した場合には(S111)、システム状態を未接続に切り替える(S112)。   If the information received from the operation machine 2 is not system connection information (S102), if it is control information (S107), it is checked whether or not the system state is connected (S108). If the system is connected, the control information is transferred to the motor control process (S109), and the internal clock timing process is performed (S110). If a control information reception error occurs (S111), the system state is switched to unconnected (S112).

システム情報を受信していないときには、逆に、オペレーションマシン2へ送信情報があるかどうかのチェックを行ない(S113)、送信情報があれば、システム状態が接続中であるかどうかを確認して(S114)、送信情報を送信する(S115)。   When the system information is not received, on the contrary, it is checked whether there is transmission information to the operation machine 2 (S113). If there is transmission information, it is confirmed whether the system state is connected ( S114), transmission information is transmitted (S115).

本発明に係る車載コンピュータ11の画像圧縮処理を、図11のフローチャートを参照して説明する。車載コンピュータ11は、平時、オペレーションマシン2とシステム上接続されているかどうかの判断をしており(S201)、接続されていれば、ビデオキャプチャーを開始する(S202)。 キャプチャーされた画像は圧縮され(S203)、内部時計13から生成されたタイムスタンプが付加されて画像情報が作成され(S204、S205)、無線LAN通信処理へ受け渡される(S206)。   The image compression processing of the in-vehicle computer 11 according to the present invention will be described with reference to the flowchart of FIG. The in-vehicle computer 11 judges whether or not it is connected to the operation machine 2 on the system during normal times (S201), and if connected, starts video capture (S202). The captured image is compressed (S203), and a time stamp generated from the internal clock 13 is added to create image information (S204, S205), which is transferred to the wireless LAN communication process (S206).

次いで、本発明に係る車載コンピュータ11のモータ制御処理及びセンサー入力処理を、図12のフローチャートを参照して説明する。モータ制御部15は、平時は、オペレーションマシン2からの制御情報の受信に備えて待機している(S301)。制御情報を受信すると、制御情報に含まれている駆動モータ値、サーボ位置の情報に従って、駆動モータ9、9a及びサーボ8を制御するように出力する(S302、S303)。   Next, the motor control process and sensor input process of the in-vehicle computer 11 according to the present invention will be described with reference to the flowchart of FIG. The motor control unit 15 stands by in preparation for receiving control information from the operation machine 2 during normal times (S301). When the control information is received, the drive motors 9 and 9a and the servo 8 are output to be controlled in accordance with the drive motor value and servo position information included in the control information (S302, S303).

モータ制御処理で制御された直後の車速、バッテリー電圧値をオペレーションマシン2へ送信するセンサー情報として利用するために、モータ制御処理で駆動モータ9、9a、サーボ8が制御されると、連動してセンサー入力処理が開始される(S304)。   In order to use the vehicle speed and battery voltage value immediately after being controlled in the motor control process as sensor information to be transmitted to the operation machine 2, when the drive motors 9, 9a and servo 8 are controlled in the motor control process, Sensor input processing is started (S304).

センサー入力部16では、モータ制御部15のモータ制御処理による処理起動命令を受けると(S401)、車速センサー6から車速、バッテリー7からバッテリー電圧をそれぞれ取り込み(S402、S403)、それらを元にセンサー情報を作成し(S404)、オペレーションマシン2へセンサー情報を送信するために、無線LAN通信部14へセンサー情報を受け渡す(S405)。   When the sensor input unit 16 receives a process start command by the motor control process of the motor control unit 15 (S401), the vehicle speed is read from the vehicle speed sensor 6 and the battery voltage is read from the battery 7 (S402, S403). Information is created (S404), and sensor information is transferred to the wireless LAN communication unit 14 in order to transmit the sensor information to the operation machine 2 (S405).

本発明に係る車載コンピュータ11の内部時計調時処理を、図13のフローチャートを参照して説明する。内部時計調時処理では、制御情報の送信時間、通信遅延時間から内部時計13とオペレーションマシン2のシステム時刻の時間差を割り出し、調時時間を算出する(S501〜S503)。調時時間は、時間差の20分の1とし、急激な変化を吸収する。この処理は、オペレーションマシン2がシステム接続されたときに行なわれる。   The internal clock adjustment process of the in-vehicle computer 11 according to the present invention will be described with reference to the flowchart of FIG. In the internal clock timing processing, the time difference between the system time of the internal clock 13 and the operation machine 2 is calculated from the transmission time of the control information and the communication delay time, and the timing time is calculated (S501 to S503). The timing time is set to 1/20 of the time difference to absorb a sudden change. This process is performed when the operation machine 2 is connected to the system.

算出された調時時間が1ms未満であれば内部時計13は再設定されないが、1ms以上であれば、内部時計13の時間に調時時間を加えて内部時計13を再設定する(S504、S505)。   If the calculated timing is less than 1 ms, the internal clock 13 is not reset, but if it is 1 ms or more, the internal clock 13 is reset by adding the timing to the time of the internal clock 13 (S504, S505). ).

オペレーションマシン2は、模型自動車1を遠隔操作するためのプログラムが記憶されたパーソナルコンピュータである。操作者は、オペレーションマシン2を操作して模型自動車1をリモートコントロールすることができる。   The operation machine 2 is a personal computer in which a program for remotely operating the model car 1 is stored. An operator can remotely control the model car 1 by operating the operation machine 2.

次に、本発明に係るオペレーションマシン2の処理について説明する。オペレーションマシン2で行なわれる処理は、図14に示すように、模型自動車1から送信されたデータに基づく処理と、操作者によるゲームコントローラ3からの入力に基づく処理に大別される。   Next, processing of the operation machine 2 according to the present invention will be described. As shown in FIG. 14, the processing performed by the operation machine 2 is roughly divided into processing based on data transmitted from the model car 1 and processing based on input from the game controller 3 by the operator.

模型自動車1から送信されたデータに基づく処理は、無線LAN通信処理で受信した画像情報を伸張する画像伸張処理と、画像伸張処理によって伸張された画像を、受信したセンサー情報に基づいてモニタに映し出すためのビデオ信号を生成する画像加工処理である。   The process based on the data transmitted from the model car 1 includes an image expansion process for expanding the image information received in the wireless LAN communication process, and an image expanded by the image expansion process is displayed on the monitor based on the received sensor information. Image processing for generating a video signal.

一方、操作者によるゲームコントローラ3からの入力に基づく処理は、操作入力処理として図示されているが、ここで処理された制御情報が、無線LAN通信処理によって模型自動車1へ送信される。   On the other hand, the process based on the input from the game controller 3 by the operator is illustrated as the operation input process, but the control information processed here is transmitted to the model car 1 by the wireless LAN communication process.

本発明に係るオペレーションマシン2の無線LAN通信処理を、図15のフローチャートを参照して説明する。オペレーションマシン2の無線LAN通信処理では、平時、模型自動車1との接続が保たれているかどうかのチェックがなされる(S601)。   The wireless LAN communication process of the operation machine 2 according to the present invention will be described with reference to the flowchart of FIG. In the wireless LAN communication process of the operation machine 2, it is checked whether or not the connection with the model car 1 is maintained during normal times (S601).

模型自動車1との接続が保たれていない場合には、前回接続時に送信したシステム接続情報を送信してから指定時間経過したかどうかを判断して(S602)、指定時間経過している場合には、再度、システム接続情報を送信する(S603)。   When the connection with the model car 1 is not maintained, it is determined whether or not the specified time has elapsed since the transmission of the system connection information transmitted at the previous connection (S602). Transmits the system connection information again (S603).

そして、模型自動車1からの接続応答情報が受信されれば(S604)、その応答コードから正常接続されたかどうかを判断して(S605)、正常に接続されていれば、システムの状態を接続中へ切り替える(S606)。   If connection response information is received from the model car 1 (S604), it is determined from the response code whether the connection is normal (S605). If the connection is normal, the system status is being connected. (S606).

模型自動車1との接続が保たれている場合には(S601)、常に、模型自動車1からの受信情報があるかどうかをチェックしている(S607)。模型自動車1からの受信情報が画像情報であれば(S608)、画像伸張処理プログラムへ画像情報が受け渡される(S609)。   When the connection with the model car 1 is maintained (S601), it is always checked whether there is information received from the model car 1 (S607). If the information received from the model car 1 is image information (S608), the image information is transferred to the image expansion processing program (S609).

受信情報が画像情報でなく、センサー情報であれば(S610)、現在時刻と通信時刻とから通信遅延時間を算出し(S611)、画像加工処理へセンサー情報を受け渡し(S612)、通信監視タイマーをリセットする(S613)。   If the received information is not image information but sensor information (S610), a communication delay time is calculated from the current time and communication time (S611), the sensor information is transferred to the image processing (S612), and a communication monitoring timer is set. Reset (S613).

模型自動車1からの受信情報がないときには、逆に模型自動車への送信情報があるかどうかをチェックしており(S614)、送信情報があれば、送信情報を送信して(S615)、通信監視タイマーをリセットする(S616)。受信情報も送信情報もない状態が続き、通信監視時間がタイムアウトしてしまうと(S617)、システム状態が未接続に切り替わる(S618)。   When there is no reception information from the model car 1, it is checked whether or not there is transmission information to the model car (S614). If there is transmission information, the transmission information is sent (S615) to monitor communication. The timer is reset (S616). When the state in which there is neither reception information nor transmission information continues and the communication monitoring time is timed out (S617), the system state is switched to unconnected (S618).

本発明に係るオペレーションマシン2の画像伸張処理を、図16のフローチャートを参照して説明する。オペレーションマシン2の画像伸張処理では、平時、模型自動車1からの画像情報の受信に備えて待機している(S701)。そして、画像情報を受信すると、画像情報に含まれるタイムスタンプを格納し(S702)、画像データを伸張して、1フレーム分の画像を画像加工処理へ受け渡す(S703)。   The image expansion processing of the operation machine 2 according to the present invention will be described with reference to the flowchart of FIG. In the image expansion process of the operation machine 2, it is on standby in preparation for the reception of image information from the model car 1 during normal times (S 701). When the image information is received, the time stamp included in the image information is stored (S702), the image data is expanded, and an image for one frame is transferred to the image processing (S703).

続いて、本発明に係るオペレーションマシン2の画像加工処理を、図17のフローチャートを参照して説明する。オペレーションマシン2の画像加工処理では、システムに接続された状態で画像伸張処理された画像が更新されると(S801、S802)、まず、更新された画像に格納されたタイムスタンプの時刻を現在のシステム時刻から差し引いた時間、即ち、描画遅れ時間を算出する(S803)。描画遅れ時間が算出されると、その描画遅れ時間と車速から画像拡大率を算出し(S804)、描画遅れ時間と操舵位置から画像左右シフト量を算出する(S805)。   Next, image processing of the operation machine 2 according to the present invention will be described with reference to the flowchart of FIG. In the image processing processing of the operation machine 2, when an image that has been subjected to image expansion processing is updated while connected to the system (S801, S802), first, the time of the time stamp stored in the updated image is set to the current time. The time subtracted from the system time, that is, the drawing delay time is calculated (S803). When the drawing delay time is calculated, the image enlargement ratio is calculated from the drawing delay time and the vehicle speed (S804), and the image right / left shift amount is calculated from the drawing delay time and the steering position (S805).

そして、算出された画像拡大率、画像左右シフト量から描画エリアを指定し(S806)、ビデオメモリに転送される(S807)。一方、センサー情報内の車速データとバッテリー電圧データを元に、スピードメーター、バッテリー残量の上書き描画も行なわれる(S808)。   Then, a drawing area is designated from the calculated image enlargement ratio and image right / left shift amount (S806), and is transferred to the video memory (S807). On the other hand, based on the vehicle speed data and the battery voltage data in the sensor information, the speedometer and the remaining battery charge are overwritten (S808).

本発明に係るオペレーションマシン2の操作入力処理を、図18のフローチャートを参照して説明する。本実施形態におけるオペレーションマシン2では、システムの制御周期を50msとし、ゲームコントローラ3からの入力が50msの定周期で入力されているかどうかが監視される(S901)。そして、ゲームコントローラ3から50msの定周期で入力があると、そのステアリング値、アクセル・ブレーキペダル値を取り込む(S902)。そして、その取り込まれたステアリング値を操舵位置として、アクセル・ブレーキペダル値を駆動モータ値として変換し、これを模型自動車1へ送信するための制御値とする(S903)。   The operation input process of the operation machine 2 according to the present invention will be described with reference to the flowchart of FIG. In the operation machine 2 in the present embodiment, the control cycle of the system is set to 50 ms, and it is monitored whether or not the input from the game controller 3 is input at a fixed cycle of 50 ms (S901). If there is an input from the game controller 3 at a fixed cycle of 50 ms, the steering value and accelerator / brake pedal value are fetched (S902). Then, the acquired steering value is converted into a steering position, and the accelerator / brake pedal value is converted into a drive motor value, which is used as a control value for transmission to the model vehicle 1 (S903).

変換された制御値に変化がなく(S904)、前回制御情報を送信してから500ms以上送信履歴がなければ(S905)、現在の制御値から制御情報を作成し、無線LAN通信処理へ受け渡す(S906)。変換された制御値に変化があれば、新しい制御値から制御情報を作成し、無線LAN通信処理へ受け渡す(S906)。   If there is no change in the converted control value (S904) and there is no transmission history for 500 ms or more after the previous transmission of control information (S905), the control information is created from the current control value and transferred to the wireless LAN communication process. (S906). If there is a change in the converted control value, control information is created from the new control value and transferred to the wireless LAN communication process (S906).

本発明における通信データをまとめると、図19に示すとおりである。オペレーションマシン2をシステムに接続する際に送信されるシステム接続情報は、認証コードとシステム時刻とで構成される。ここで、認証コードとは、オペレーションマシン2がシステム接続を行なうためのコードであり、システム時刻とは、オペレーションマシン2の時刻であり、システム接続時に車載コンピュータ11の内部時計13を調時するために利用される。   The communication data in the present invention is summarized as shown in FIG. The system connection information transmitted when the operation machine 2 is connected to the system includes an authentication code and a system time. Here, the authentication code is a code for the operation machine 2 to make a system connection, and the system time is the time of the operation machine 2 to adjust the internal clock 13 of the in-vehicle computer 11 when the system is connected. Used for

この発明をある程度詳細にその最も好ましい実施形態について説明してきたが、この発明の精神と範囲に反することなしに広範に異なる実施形態を構成することができることは明白なので、この発明は添付請求の範囲において限定した以外はその特定の実施形態に制約されるものではない。   Although the present invention has been described in some detail with respect to its most preferred embodiments, it will be apparent that a wide variety of different embodiments can be constructed without departing from the spirit and scope of the invention, the invention being defined by the appended claims. It is not restricted to the specific embodiment other than limiting in.

本発明の一実施形態におけるオペレーションマシンを使用した、模型自動車用リモートコントロールシステムについてのシステム構成図を表したものである。1 is a system configuration diagram of a model car remote control system using an operation machine according to an embodiment of the present invention. FIG. 本発明の一実施形態における模型自動車の構成を示すブロック図である。It is a block diagram which shows the structure of the model vehicle in one Embodiment of this invention. 車載コンピュータの構成図である。It is a block diagram of a vehicle-mounted computer. 車載コンピュータの処理を示すブロック図である。It is a block diagram which shows the process of a vehicle-mounted computer. ゆらぎ補正を説明するための図である。It is a figure for demonstrating fluctuation correction. オペレーションマシンの描画機能を説明するための図である。It is a figure for demonstrating the drawing function of an operation machine. 模型自動車の直進時の描画エリアの変化を示す図である。It is a figure which shows the change of the drawing area at the time of the model vehicle going straight. 模型自動車の右カーブ時の描画エリアの変化を示す図である。It is a figure which shows the change of the drawing area at the time of the right curve of a model vehicle. ハードウェアと操作者による一連の処理のフローチャートである。It is a flowchart of a series of processes by hardware and an operator. 模型自動車側の通信処理のフローチャートである。It is a flowchart of the communication process on the model car side. 画像圧縮処理のフローチャートである。It is a flowchart of an image compression process. モータ操作処理とセンサー入力処理のフローチャートである。It is a flowchart of a motor operation process and a sensor input process. 内部時計調時処理のフローチャートである。It is a flowchart of an internal clock timing process. オペレーションマシンの処理を示すブロック図である。It is a block diagram which shows the process of an operation machine. オペレーションマシン側の通信処理のフローチャートである。It is a flowchart of the communication processing on the operation machine side. 画像伸張処理のフローチャートである。It is a flowchart of an image expansion process. 画像加工処理のフローチャートである。It is a flowchart of an image processing process. 操作入力処理のフローチャートである。It is a flowchart of operation input processing. 模型自動車用リモートコントロールシステムの通信データの構成図である。It is a block diagram of the communication data of the remote control system for model cars. 通信のゆらぎを説明するための図である。It is a figure for demonstrating the fluctuation of communication. ゆらぎによるフレーム描画タイミングへの影響を説明するための図である。It is a figure for demonstrating the influence on the frame drawing timing by fluctuation. エラーによるフレーム描画タイミングへの影響を説明するための図である。It is a figure for demonstrating the influence on the frame drawing timing by an error.

符号の説明Explanation of symbols

1 模型自動車
2 オペレーションマシン
3 コントローラ
4 インターネット
5 カメラ
6 車速センサー
7 バッテリー
8 サーボ
9 駆動モータ
9a 駆動モータ
10 ギアボックス
10a ギアボックス
11 車載コンピュータ
12 ビデオキャプチャー部
13 内部時計
14 無線LAN通信部
15 モータ制御部
16 センサー入力部
DESCRIPTION OF SYMBOLS 1 Model vehicle 2 Operation machine 3 Controller 4 Internet 5 Camera 6 Vehicle speed sensor 7 Battery 8 Servo 9 Drive motor 9a Drive motor 10 Gear box 10a Gear box 11 Car-mounted computer 12 Video capture part 13 Internal clock 14 Wireless LAN communication part 15 Motor control part 16 Sensor input section

Claims (8)

ネットワークを介して受信する模型自動車等の走行体のカメラからの画像のモニタ表示を見ながら前記走行体を遠隔制御可能にするための前記モニタへの前記受信画像の表示を行なうオペレーションマシンにおいて、
前記受信画像の前記モニタへの描画は予め定められた描画タイミング間隔で行ない、且つ、前記描画画像は、前記受信画像を遅れ処理した予測画像とすることを特徴とするゆらぎ補正による画像表示方法。
In an operation machine for displaying the received image on the monitor for enabling remote control of the traveling body while viewing a monitor display of an image from a camera of the traveling body such as a model car received via a network,
An image display method by fluctuation correction, wherein the received image is drawn on the monitor at a predetermined drawing timing interval, and the drawn image is a predicted image obtained by delaying the received image.
前記遅れ処理した予測画像は、前記描画タイミング時のシステム時刻から、そのとき受信している画像情報に付加されているタイムスタンプを差し引いた遅れ予測時間経過後の擬似的画像である請求項1に記載のゆらぎ補正による画像表示方法。 The predicted image subjected to the delay process is a pseudo image after a delay predicted time has elapsed by subtracting a time stamp added to the image information received at that time from the system time at the drawing timing. An image display method by fluctuation correction as described. 前記遅れ予測画像は、前記受信画像を、前記遅れ予測時間と車速、操舵角度、バッテリー電圧値等のセンサー情報に基いて画像処理するものである請求項1に記載のゆらぎ補正による画像表示方法。 The image display method by fluctuation correction according to claim 1, wherein the delay prediction image is obtained by performing image processing on the received image based on sensor information such as the delay prediction time, vehicle speed, steering angle, battery voltage value, and the like. 前記画像処理は、前記センサー情報に基いて前記受信画像をズームし及び/又は左右にシフトするものである請求項3に記載のゆらぎ補正による画像表示方法。 The image display method according to claim 3, wherein the image processing is to zoom the received image and / or shift left and right based on the sensor information. 模型自動車等の走行体からの画像情報に基づいて前記走行体を遠隔制御するためのオペレーションマシンを備えた模型自動車等用リモートコントロールシステムであって、
前記オペレーションマシンは、
前記走行体の車載カメラからの画像情報とセンサー情報とを受信する画像描画用情報受信手段と、
前記受信した画像描画用情報内の画像データを伸張する画像伸張手段と、
前記伸張した画像データを、受信した前記センサー情報に基づいて加工する画像加工手段と、
コントローラによって入力された操作入力値を前記走行体に対する制御情報へ変換処理する操作入力手段と、
前記操作入力手段によって生成された制御情報を前記走行体へ送信する制御情報送信手段とを備え、
前記走行体は、
前記車載カメラの画像に内部時計の時刻をタイムスタンプとして付加し、前記オペレーションマシンへ送信する画像情報として画像圧縮する画像圧縮手段と、
前記車速センサーからの車速及びバッテリーからのバッテリー電圧値を、前記オペレーションマシンへ送信するセンサー情報として取り込むセンサー取込手段と、
前記画像情報と前記センサー情報とを画像描画用情報として前記オペレーションマシンへ送信する画像描画用情報送信手段と、
前記オペレーションマシンから前記制御情報を受信する制御情報受信手段と、
受信した前記制御情報に基づいてサーボ及びモータを制御する制御処理手段、
とを備えることを特徴とする模型自動車等用リモートコントロールシステム。
A remote control system for a model car or the like provided with an operation machine for remotely controlling the running body based on image information from a running body such as a model car,
The operation machine is
Image drawing information receiving means for receiving image information and sensor information from the vehicle-mounted camera of the traveling body;
Image expansion means for expanding image data in the received image drawing information;
Image processing means for processing the expanded image data based on the received sensor information;
Operation input means for converting the operation input value input by the controller into control information for the traveling body;
Control information transmitting means for transmitting control information generated by the operation input means to the traveling body,
The traveling body is
Image compression means for adding the time of an internal clock to the image of the in-vehicle camera as a time stamp and compressing the image as image information to be transmitted to the operation machine;
A sensor take-in means for taking in the vehicle speed from the vehicle speed sensor and the battery voltage value from the battery as sensor information to be transmitted to the operation machine;
Image drawing information transmitting means for transmitting the image information and the sensor information as image drawing information to the operation machine;
Control information receiving means for receiving the control information from the operation machine;
Control processing means for controlling the servo and the motor based on the received control information;
A remote control system for a model car or the like characterized by comprising:
前記画像加工手段は、前記伸張された画像データを、受信した前記センサー情報に基づいて、出力するタイミング及び表示させる画像の描画エリアを調整する請求項5に記載の模型自動車等用リモートコントロールシステム。 The remote control system for a model car or the like according to claim 5, wherein the image processing means adjusts a timing for outputting the decompressed image data based on the received sensor information and a drawing area of an image to be displayed. 前記画像加工手段は、前記伸張された画像データに格納されたタイムスタンプの時刻を現在のシステム時刻から差し引いた描画遅れ時間を算出し、前記描画遅れ時間と車速から画像拡大率を算出すると共に、前記描画遅れ時間と操舵位置から画像左右シフト量を算出し、前記画像拡大率と前記画像左右シフト量とから前記描画エリアを指定する請求項6に記載の模型自動車等用リモートコントロールシステム。 The image processing means calculates a drawing delay time obtained by subtracting a time stamp stored in the decompressed image data from a current system time, calculates an image enlargement ratio from the drawing delay time and the vehicle speed, The remote control system for a model car or the like according to claim 6, wherein an image left / right shift amount is calculated from the drawing delay time and the steering position, and the drawing area is designated from the image enlargement ratio and the image left / right shift amount. 前記センサー情報は、前記走行体に搭載の車速センサーからの車速値と、バッテリーの電圧値とを含む請求項5に記載の模型自動車等用リモートコントロールシステム。 6. The remote control system for a model automobile or the like according to claim 5, wherein the sensor information includes a vehicle speed value from a vehicle speed sensor mounted on the traveling body and a voltage value of a battery.
JP2005096938A 2005-03-30 2005-03-30 Image display method based on fluctuation correction and remote control system for automobile model or the like using the method Pending JP2006279648A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005096938A JP2006279648A (en) 2005-03-30 2005-03-30 Image display method based on fluctuation correction and remote control system for automobile model or the like using the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005096938A JP2006279648A (en) 2005-03-30 2005-03-30 Image display method based on fluctuation correction and remote control system for automobile model or the like using the method

Publications (1)

Publication Number Publication Date
JP2006279648A true JP2006279648A (en) 2006-10-12

Family

ID=37213897

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005096938A Pending JP2006279648A (en) 2005-03-30 2005-03-30 Image display method based on fluctuation correction and remote control system for automobile model or the like using the method

Country Status (1)

Country Link
JP (1) JP2006279648A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009000158A (en) * 2007-06-19 2009-01-08 Konami Digital Entertainment:Kk Traveling toy system
JP2010262477A (en) * 2009-05-07 2010-11-18 Ihi Corp Remote control system
US8421797B2 (en) 2008-11-28 2013-04-16 Yamaha Hatsudoki Kabushiki Kaisha Remote control system and remote control apparatus
WO2015060393A1 (en) * 2013-10-25 2015-04-30 独立行政法人産業技術総合研究所 Remote action guidance system and processing method therefor
WO2019065809A1 (en) * 2017-09-29 2019-04-04 株式会社小松製作所 Display control device and display control method

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009000158A (en) * 2007-06-19 2009-01-08 Konami Digital Entertainment:Kk Traveling toy system
US8257133B2 (en) 2007-06-19 2012-09-04 Konami Digital Entertainment Co., Ltd. Travelling toy system
US8421797B2 (en) 2008-11-28 2013-04-16 Yamaha Hatsudoki Kabushiki Kaisha Remote control system and remote control apparatus
JP2010262477A (en) * 2009-05-07 2010-11-18 Ihi Corp Remote control system
WO2015060393A1 (en) * 2013-10-25 2015-04-30 独立行政法人産業技術総合研究所 Remote action guidance system and processing method therefor
US9538131B2 (en) 2013-10-25 2017-01-03 National Institute Of Advanced Industrial Science And Technology Remote behavior navigation system and processing method thereof
JPWO2015060393A1 (en) * 2013-10-25 2017-03-09 国立研究開発法人産業技術総合研究所 Remote action guidance system and processing method thereof
WO2019065809A1 (en) * 2017-09-29 2019-04-04 株式会社小松製作所 Display control device and display control method
JP2019068254A (en) * 2017-09-29 2019-04-25 株式会社小松製作所 Display controller and display control method
AU2018338861B2 (en) * 2017-09-29 2021-06-10 Komatsu Ltd. Display control device and display control method
AU2018338861B9 (en) * 2017-09-29 2021-06-17 Komatsu Ltd. Display control device and display control method
US11537144B2 (en) 2017-09-29 2022-12-27 Komatsu Ltd. Display control device and display control method

Similar Documents

Publication Publication Date Title
US7668626B2 (en) Image displaying method with fluctuation correction and remote control system for moving unit using the method
JP4716815B2 (en) Inter-vehicle communication device, inter-vehicle communication system, and moving image information application applicability determination method
US8558924B2 (en) Camera platform system and imaging system
CN109689458B (en) Parking assistance method and device
EP2265482A1 (en) Vehicle parking assist system and method
CN104660985A (en) Image processing apparatus, electronic apparatus, and image processing method
JP2006279648A (en) Image display method based on fluctuation correction and remote control system for automobile model or the like using the method
CN105580358A (en) Information provision system
KR101957621B1 (en) Steering system for automatic driving of vehicles
WO2017002708A1 (en) Image display control device
JP2008252307A (en) Image display system
JP2002367080A (en) Method and device for visual support for vehicle
JP2008207627A (en) In-vehicle imaging system, imaging device, and display control device
JP5140889B2 (en) Image display method by fluctuation correction and moving object remote control system using the method
JP2012065225A (en) In-vehicle image processing apparatus, periphery monitoring apparatus, and vehicle
JP2011175507A (en) Parking support system
KR20130136940A (en) Improved control of an image capturing device
JP2002293271A (en) Accident information storing system for vehicle
JP2008174078A (en) Device and method for controlling in-vehicle camera
JP6304391B2 (en) Image display system for vehicles
JP4814752B2 (en) Display control device
JP4225131B2 (en) Magnetic field correction data generation device
JP2009065472A (en) Device, method, and program for photographing running image
WO2023210288A1 (en) Information processing device, information processing method, and information processing system
JP6327144B2 (en) Image processing system and image processing apparatus