JP2006244181A - Device and program for correcting online coordinate value - Google Patents

Device and program for correcting online coordinate value Download PDF

Info

Publication number
JP2006244181A
JP2006244181A JP2005059663A JP2005059663A JP2006244181A JP 2006244181 A JP2006244181 A JP 2006244181A JP 2005059663 A JP2005059663 A JP 2005059663A JP 2005059663 A JP2005059663 A JP 2005059663A JP 2006244181 A JP2006244181 A JP 2006244181A
Authority
JP
Japan
Prior art keywords
value
coordinate value
coordinate
covariance matrix
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005059663A
Other languages
Japanese (ja)
Other versions
JP4551245B2 (en
Inventor
Toshihiko Misu
俊彦 三須
Masaki Takahashi
正樹 高橋
Makoto Tadenuma
眞 蓼沼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2005059663A priority Critical patent/JP4551245B2/en
Publication of JP2006244181A publication Critical patent/JP2006244181A/en
Application granted granted Critical
Publication of JP4551245B2 publication Critical patent/JP4551245B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an online coordinate value correcting device for temporally smoothly perform correction without deteriorating continuity in a corrected coordinate value when the coordinate value to be detected by automatic processing is corrected by manual processing. <P>SOLUTION: The online coordinate value correcting device 1 comprises: a detection information input means 10 for inputting a detection coordinate value and a reliability value relative to the detection coordinate value from a position detecting part 2; a specified information input means 20 for inputting a specified coordinate value, which indicates a position to be specified by an operator from a coordinate specification device 3 to be operated by the operator, and a pressure value, which is added to the coordinate specification device 3 by the operator; and a weighting and synthesizing means 30 for calculating a correction coordinate value, which is obtained by correcting the detection coordinate value, by weighting and synthesizing the detection coordinate value and the specified coordinate value, based on the reliability value and the pressure value. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、時系列に検出される検出対象の位置を示す検出座標値を修正するオンライン座標値修正装置およびオンライン座標値修正プログラムに関する。   The present invention relates to an online coordinate value correcting device and an online coordinate value correcting program for correcting a detected coordinate value indicating a position of a detection target detected in time series.

従来、画像計測等において、時間とともに位置が変化する対象を検出し、その位置を示す座標(検出座標値)を出力する技術(位置検出装置)が開示されている(例えば、特許文献1参照)。
しかし、時間とともに変化する対象を検出する場合、対象が複数存在したり、画像にノイズ等が発生したりすることで、その検出された位置は必ずしも正確であるとはいえない。
そこで、特許文献1に開示されている映像オブジェクト検出・追跡装置では、検出されたオブジェクトの位置の信頼度(確度を示す信頼性値)を、オブジェクト毎に付し、検出対象となるオブジェクトの検出精度を高めている。
2. Description of the Related Art Conventionally, a technique (position detection device) that detects an object whose position changes with time in image measurement or the like and outputs coordinates (detection coordinate values) indicating the position has been disclosed (for example, see Patent Document 1). .
However, when detecting an object that changes with time, the detected position is not necessarily accurate due to the presence of a plurality of objects or the occurrence of noise or the like in an image.
Therefore, in the video object detection / tracking device disclosed in Patent Document 1, the reliability of the position of the detected object (reliability value indicating the accuracy) is assigned to each object, and detection of the object to be detected is detected. Increases accuracy.

しかし、このように検出精度を高めても、100%の検出精度を得ることはできない。そこで、このような位置検出装置で検出対象を自動で検出する場合、その自動検出された座標値の時系列が所望の結果でないときには、操作者は、自動の検出動作から手動の修正動作に切り替え、マウス、ペンタブレット等のポインティングデバイスによる入力、あるいは、キーボードからの数値入力によって、座標値を修正する必要がある。
なお、手動で画面上の対象の座標位置を指定する際に、操作者が誤差を伴って入力した座標値を、画面内のオブジェクト配置等の情報に基づいて、適応的に修正し、再入力の手間を軽減する技術が開示されている(例えば、特許文献2参照)。
特開2002−358526号公報(段落0019〜76、図1) 特開平8−272526公報(段落0017〜0022、図1)
However, even if the detection accuracy is increased in this way, 100% detection accuracy cannot be obtained. Therefore, when the detection target is automatically detected by such a position detection device, when the time series of the automatically detected coordinate values is not a desired result, the operator switches from the automatic detection operation to the manual correction operation. It is necessary to correct the coordinate value by inputting with a pointing device such as a mouse or a pen tablet, or by numerical input from a keyboard.
In addition, when manually specifying the target coordinate position on the screen, the coordinate value input by the operator with an error is adaptively corrected based on information such as the object arrangement on the screen and re-inputted. Has been disclosed (for example, see Patent Document 2).
JP 2002-358526 A (paragraphs 0019 to 76, FIG. 1) JP-A-8-272526 (paragraphs 0017 to 0022, FIG. 1)

しかし、自動で行っていた検出動作を手動に切り替えて座標値の修正を行うと、切り替えの前後において、連続性が損なわれるため、検出対象の位置(座標)の「飛び」が発生し、時間的な滑らかさが失われてしまうという問題がある。また、逆に、手動処理から自動処理に切り替える場合においても、同様に連続性が損なわれてしまう。
例えば、検出対象の位置(座標)を映像とともに放送する場合に、座標値の連続性が損なわれると、視聴者に対して、放送局側あるいはテレビ受像機において故障が発生したのではないかと思わせてしまうという問題がある。
一方、特許文献2に記載の技術は、手動処理と自動処理とを連携させてはいるものの、入力した座標値を対象(オブジェクト)の座標位置に修正するものであって、検出対象の位置を滑らかに繋ぐことを目的とはしていない。すなわち、特許文献2に記載の技術においても、手動により座標値の修正を行うと、座標値の連続性が損なわれ、時間的な滑らかさが失われてしまうという問題がある。
However, if the detection operation that was automatically performed is switched to manual and the coordinate value is corrected, the continuity is lost before and after the switching, so a “jump” of the position (coordinates) to be detected occurs and the time There is a problem that the smoothness is lost. Conversely, when switching from manual processing to automatic processing, the continuity is similarly impaired.
For example, when the position (coordinates) to be detected is broadcast together with the video, if the continuity of the coordinate values is impaired, the viewer may have experienced a failure on the broadcast station side or on the television receiver. There is a problem of letting go.
On the other hand, although the technique described in Patent Document 2 links manual processing and automatic processing, the input coordinate value is corrected to the coordinate position of the target (object), and the position of the detection target is changed. It is not intended to connect smoothly. That is, even in the technique described in Patent Document 2, if the coordinate values are manually corrected, there is a problem that the continuity of the coordinate values is lost and the temporal smoothness is lost.

本発明は、以上のような問題を解決するためになされたものであり、自動処理により検出される検出対象の座標値を、手動処理により修正する場合であっても、検出対象の座標値の修正を、連続性を損なうことなく、時間的に滑らかに行うことを可能にしたオンライン座標値修正装置およびオンライン座標値修正プログラムを提供することを目的とする。   The present invention has been made to solve the above-described problems. Even when the coordinate value of the detection target detected by the automatic process is corrected by the manual process, the coordinate value of the detection target is changed. It is an object of the present invention to provide an on-line coordinate value correcting apparatus and an on-line coordinate value correcting program that can be corrected smoothly in time without impairing continuity.

本発明は、前記目的を達成するために創案されたものであり、まず、請求項1に記載のオンライン座標値修正装置は、位置検出装置によって検出された検出対象の位置を示す検出座標値を修正するオンライン座標値修正装置であって、検出情報入力手段と、指示情報入力手段と、加重合成手段とを備える構成とした。   The present invention was devised to achieve the above object. First, the on-line coordinate value correcting device according to claim 1 provides a detected coordinate value indicating a position of a detection target detected by the position detecting device. An on-line coordinate value correction device for correction, comprising a detection information input means, an instruction information input means, and a weighted synthesis means.

かかる構成において、オンライン座標値修正装置は、検出情報入力手段によって、位置検出装置から時系列に検出座標値を入力し、指示情報入力手段によって、操作者が操作する座標指示装置から出力される指示座標値と、操作者がその座標指示装置に対して加えた加圧値とを入力する。
この位置検出装置は、検出対象の位置を座標値(検出座標値)として出力するものであれば何でもよい。例えば、この位置検出装置は、映像から被写体を検出し、その位置を示す座標値を出力するものや、GPS衛星からの電波、タイヤの回転速度、ジャイロセンサ情報等に基づいて、車両やロボットを検出し、その位置を示す座標値を出力するものであってもよい。
In such a configuration, the on-line coordinate value correcting device inputs detection coordinate values from the position detection device in time series by the detection information input means, and an instruction output from the coordinate instruction device operated by the operator by the instruction information input means. The coordinate value and the pressurization value applied to the coordinate pointing device by the operator are input.
This position detection device may be anything as long as it outputs the position of the detection target as a coordinate value (detected coordinate value). For example, this position detection device detects a subject from an image and outputs a coordinate value indicating the position, a radio wave from a GPS satellite, tire rotation speed, gyro sensor information, etc. It may detect and output a coordinate value indicating the position.

しかし、この検出座標値は、ノイズ等によって誤った位置を示す場合がある。そこで、オンライン座標値修正装置は、操作者が指し示す位置(指示座標値)に座標値を修正するように動作する。このとき、オンライン座標値修正装置は、加重合成手段によって、予め定めた検出座標値の確度を示す信頼性値と加圧値とに基づいて、検出座標値と指示座標値とを加重合成することで、検出座標値を修正した修正座標値を算出する。
これによって、操作者が座標指示装置に対して強く圧力を加えるほど、検出座標値は指示座標値に近い位置に修正されることになる。例えば、座標指示装置を筆圧感知機能付きのペンタブレット装置とすることで、オンライン座標値修正装置は、その筆圧値(加圧値)に応じて、検出座標値が修正されることになる。
However, the detected coordinate value may indicate an incorrect position due to noise or the like. Therefore, the online coordinate value correcting apparatus operates so as to correct the coordinate value to a position (indicated coordinate value) indicated by the operator. At this time, the online coordinate value correcting device weights and synthesizes the detected coordinate value and the designated coordinate value based on the reliability value indicating the accuracy of the predetermined detected coordinate value and the pressurization value by the weighted synthesizer. Then, a corrected coordinate value obtained by correcting the detected coordinate value is calculated.
Thus, the detected coordinate value is corrected to a position closer to the indicated coordinate value as the operator applies more pressure to the coordinate indicating device. For example, by making the coordinate pointing device a pen tablet device with a writing pressure sensing function, the detected coordinate value of the online coordinate value correcting device is corrected in accordance with the writing pressure value (pressing value). .

なお、信頼性値は、使用する位置検出装置の精度が高い場合は高い値に、精度が低い場合は低い値に予め設定しておく。これによって、同じ加圧値が入力された場合であっても、信頼性値が高い場合は検出座標値の修正量が少なく、信頼性値が低い場合は検出座標値の修正量が多くなる。   The reliability value is set in advance to a high value when the accuracy of the position detection device to be used is high, and to a low value when the accuracy is low. Thus, even when the same pressurization value is input, the correction amount of the detected coordinate value is small when the reliability value is high, and the correction amount of the detection coordinate value is large when the reliability value is low.

また、請求項2に記載のオンライン座標値修正装置は、位置検出装置から確度を示す信頼性値とともに出力される、検出対象の位置を示す検出座標値を修正するオンライン座標値修正装置であって、検出情報入力手段と、指示情報入力手段と、加重合成手段とを備える構成とした。   The on-line coordinate value correcting device according to claim 2 is an on-line coordinate value correcting device for correcting a detected coordinate value indicating a position of a detection target, which is output together with a reliability value indicating accuracy from the position detecting device. The detection information input unit, the instruction information input unit, and the weighted synthesis unit are provided.

かかる構成において、オンライン座標値修正装置は、検出情報入力手段によって、位置検出装置から時系列に検出座標値と信頼性値とを入力し、指示情報入力手段によって、操作者が操作する座標指示装置から出力される指示座標値と、操作者がその座標指示装置に対して加えた加圧値とを入力する。
そして、オンライン座標値修正装置は、加重合成手段によって、信頼性値と加圧値とに基づいて、検出座標値と指示座標値とを加重合成することで、検出座標値を修正した修正座標値を算出する。
これによって、信頼性値が高い場合は検出座標値の修正量が少なく、加圧値が高い場合は検出座標値の修正量が多くなる。
In such a configuration, the on-line coordinate value correcting device inputs the detected coordinate value and the reliability value in time series from the position detecting device by the detection information input unit, and the coordinate indicating device operated by the operator by the instruction information input unit. And the pressurization value applied by the operator to the coordinate pointing device.
The on-line coordinate value correcting device corrects the detected coordinate value by weighted combining the detected coordinate value and the designated coordinate value based on the reliability value and the pressure value by the weighted combining unit. Is calculated.
Thereby, when the reliability value is high, the correction amount of the detected coordinate value is small, and when the pressurization value is high, the correction amount of the detection coordinate value is large.

さらに、請求項3に記載のオンライン座標値修正装置は、請求項1または請求項2に記載のオンライン座標値修正装置において、前記加重合成手段が、第1重み係数算出手段と、第2重み係数算出手段と、座標値修正手段とを備える構成とした。   Furthermore, the online coordinate value correcting device according to claim 3 is the online coordinate value correcting device according to claim 1 or 2, wherein the weighting synthesis unit includes a first weighting factor calculating unit, a second weighting factor calculating unit, and a second weighting factor calculating unit. The calculation means and the coordinate value correction means are provided.

かかる構成において、オンライン座標値修正装置は、第1重み係数算出手段によって、予め定めた算出式により、加重合成を行うための信頼性値の重みを第1重み係数として算出する。例えば、この算出式は、信頼性値が高いほど重み係数の値を大きくし、信頼性値が低いほど重み係数の値を小さくするものとする。
また、オンライン座標値修正装置は、第2重み係数算出手段によって、予め定めた算出式により、加重合成を行うための加圧値の重みを第2重み係数として算出する。例えば、この算出式は、加圧値が高いほど重み係数の値を大きくし、加圧値が低いほど重み係数の値を小さくするものとする。
In such a configuration, the online coordinate value correcting apparatus calculates the weight of the reliability value for performing weighted synthesis as the first weighting factor by the first weighting factor calculating means using a predetermined calculation formula. For example, in this calculation formula, the value of the weighting factor is increased as the reliability value is higher, and the value of the weighting factor is decreased as the reliability value is lower.
In the online coordinate value correcting device, the second weighting factor calculating means calculates the weight of the pressurization value for performing weighted synthesis as the second weighting factor by a predetermined calculation formula. For example, in this calculation formula, the higher the pressurization value, the larger the weighting factor value, and the lower the pressurization value, the smaller the weighting factor value.

そして、オンライン座標値修正装置は、座標値修正手段によって、検出座標値と第1重み係数との乗算値と、指示座標値と第2重み係数との乗算値との加算値に対して、第1重み係数と第2重み係数との加算値を除算することで修正座標値を算出する。
これによって、修正座標値は、検出座標値と指示座標値に対して、第1重み係数と第2重み係数との比に対応して比例案分された座標値として算出されることになる。
Then, the online coordinate value correcting device uses the coordinate value correcting means to calculate the added value of the multiplied value of the detected coordinate value and the first weighting factor and the multiplied value of the indicated coordinate value and the second weighting factor. A corrected coordinate value is calculated by dividing the added value of the first weight coefficient and the second weight coefficient.
Accordingly, the corrected coordinate value is calculated as a coordinate value proportionally proportional to the detected coordinate value and the designated coordinate value corresponding to the ratio between the first weighting factor and the second weighting factor.

また、請求項4に記載のオンライン座標値修正装置は、請求項1または請求項2に記載のオンライン座標値修正装置において、前記加重合成手段が、第1観測共分散行列算出手段と、第2観測共分散行列算出手段と、第1濾波推定手段と、第2濾波推定手段と、予測推定手段と、選択手段とを備える構成とした。   Further, the online coordinate value correcting device according to claim 4 is the online coordinate value correcting device according to claim 1 or 2, wherein the weighted synthesis means includes a first observation covariance matrix calculating means, An observation covariance matrix calculation unit, a first filter estimation unit, a second filter estimation unit, a prediction estimation unit, and a selection unit are provided.

かかる構成において、オンライン座標値修正装置は、第1観測共分散行列算出手段によって、信頼性値の共分散行列を、検出情報入力手段において観測される第1観測共分散行列として算出する。なお、信頼性値が高い場合に共分散行列の成分の値を小さくし、信頼性値が低い場合に共分散行列の成分の値を大きくすることで、信頼性値を、共分散行列で表すことができる。
また、オンライン座標値修正装置は、第2観測共分散行列算出手段によって、信頼性値と同様に、加圧値の共分散行列を、指示情報入力手段において観測される第2観測共分散行列として算出する。
In such a configuration, the online coordinate value correction apparatus calculates the covariance matrix of the reliability value as the first observation covariance matrix observed in the detection information input means by the first observation covariance matrix calculation means. Note that the reliability value is expressed as a covariance matrix by decreasing the value of the covariance matrix component when the reliability value is high and increasing the value of the covariance matrix component when the reliability value is low. be able to.
Further, the online coordinate value correction apparatus uses the second observation covariance matrix calculation means to convert the covariance matrix of the pressurization value as the second observation covariance matrix observed in the instruction information input means, similarly to the reliability value. calculate.

そして、オンライン座標値修正装置は、第1濾波推定手段によって、検出座標値および第1観測共分散行列に基づいて、検出対象の位置を示す座標値を含んだ状態ベクトルおよび状態共分散行列を予測した状態ベクトル予測推定値および状態共分散行列予測推定値から、現在の状態(状態ベクトルの各成分)を推定した仮状態ベクトルおよび仮状態共分散行列を算出する。
なお、状態ベクトルには、検出対象の位置だけでなく、その検出対象が移動する単位時間あたりの移動量(速度)等を含ませることで、推定の精度を高めることができる。
このように、第1濾波推定手段は、1時点前の情報により予測された状態ベクトル予測推定値および状態共分散行列予測推定値から、現時点で観測された情報である検出座標値および第1観測共分散行列に基づいて、現在の状態を推定(濾波)するカルマンフィルタの濾波推定部として機能する。
Then, the online coordinate value correcting device predicts a state vector and a state covariance matrix including the coordinate value indicating the position of the detection target based on the detected coordinate value and the first observation covariance matrix by the first filtering estimation unit. The temporary state vector and the temporary state covariance matrix that estimate the current state (each component of the state vector) are calculated from the estimated state vector prediction value and the state covariance matrix prediction value.
The accuracy of estimation can be improved by including not only the position of the detection target but also the movement amount (speed) per unit time that the detection target moves in the state vector.
In this way, the first filtering estimation means uses the detected coordinate value and the first observation, which are information currently observed, from the state vector prediction estimation value and the state covariance matrix prediction estimation value predicted by the information one time before. Based on the covariance matrix, it functions as a filter estimation unit of a Kalman filter that estimates (filters) the current state.

また、オンライン座標値修正装置は、第2濾波推定手段によって、指示座標値および第2観測共分散行列に基づいて、仮状態ベクトルおよび仮状態共分散行列を補正した状態ベクトル濾波推定値および状態共分散行列濾波推定値を算出する。
すなわち、第2濾波推定手段は、第1濾波推定手段で推定された仮状態ベクトルおよび仮状態共分散行列から、現時点で観測された情報である指示座標値および第2観測共分散行列に基づいて、さらに、現在の状態を推定(濾波)するカルマンフィルタの濾波推定部として機能する。
The on-line coordinate value correction apparatus also corrects the temporary state vector and the temporary state covariance matrix based on the designated coordinate value and the second observed covariance matrix by the second filtered estimation means. Calculate the dispersion matrix filtering estimate.
That is, the second filtered estimation means is based on the indicated coordinate value and the second observed covariance matrix, which are information currently observed, from the temporary state vector and the temporary state covariance matrix estimated by the first filtered estimation means. Furthermore, it functions as a filter estimation unit of a Kalman filter that estimates (filters) the current state.

そして、オンライン座標値修正装置は、予測推定手段によって、第2濾波推定手段で算出された状態ベクトル濾波推定値および状態共分散行列濾波推定値を遅延し、予め定めた状態遷移規則に基づいて、状態ベクトル予測推定値および状態共分散行列予測推定値を予測する。すなわち、予測推定手段は、1時点前の状態ベクトルおよび状態共分散行列から、現時点の状態ベクトルおよび状態共分散行列を予測する。この予測結果である状態ベクトル予測推定値および状態共分散行列予測推定値は、第1濾波推定手段の濾波推定に利用される。これによって、オンライン座標値修正装置は、濾波推定処理と予測推定処理とにおいてループを形成し、逐次状態ベクトルと状態共分散行列とが推定されることになる。   Then, the online coordinate value correcting device delays the state vector filtered estimated value and the state covariance matrix filtered estimated value calculated by the second filtered estimating unit by the prediction estimating unit, and based on a predetermined state transition rule, Predict state vector prediction estimates and state covariance matrix prediction estimates. That is, the prediction estimation means predicts the current state vector and state covariance matrix from the state vector and state covariance matrix one point before. The state vector prediction estimation value and the state covariance matrix prediction estimation value, which are the prediction results, are used for the filter estimation of the first filter estimation means. Thus, the online coordinate value correcting apparatus forms a loop in the filtering estimation process and the prediction estimation process, and the state vector and the state covariance matrix are estimated sequentially.

また、第2濾波推定手段で算出された状態ベクトル濾波推定値(状態ベクトル)には、常に検出座標値が修正された値が含まれることになる。
そこで、オンライン座標値修正装置は、選択手段によって、第2濾波推定手段で算出された状態ベクトル濾波推定値(状態ベクトル)から、検出対象の位置(検出座標値)を選択し、修正座標値とする。
Further, the state vector filtered estimated value (state vector) calculated by the second filtered estimating means always includes a value obtained by correcting the detected coordinate value.
Therefore, the online coordinate value correcting apparatus selects the position (detected coordinate value) of the detection target from the state vector filtered estimated value (state vector) calculated by the second filtered estimating unit by the selecting unit, and the corrected coordinate value and To do.

さらに、請求項5に記載のオンライン座標値修正装置は、請求項1乃至請求項4のいずれか一項に記載のオンライン座標値修正装置において、前記位置検出装置は、映像から前記検出対象の位置を検出するものであって、修正座標位置図形作画手段と、映像合成手段とを備えた映像表示手段を備える構成とした。   Furthermore, the online coordinate value correction device according to claim 5 is the online coordinate value correction device according to any one of claims 1 to 4, wherein the position detection device detects the position of the detection target from an image. And a video display means including a corrected coordinate position graphic drawing means and a video composition means.

かかる構成において、オンライン座標値修正装置は、映像表示手段における修正座標位置図形作画手段によって、修正座標値で示される位置に対応する図形を作画する。なお、この図形は、位置を視覚的に特定することができる図形であれば、点、直線、矩形等その形状は問わない。
また、オンライン座標値修正装置は、映像表示手段における映像合成手段によって、修正座標位置図形作画手段で作画された図形と、位置検出装置が位置検出を行った映像とを合成する。これによって、オンライン座標値修正装置は、修正された位置が、映像内のどの位置に対応するのかを操作者に視覚的に提示する。
In such a configuration, the online coordinate value correction apparatus draws a graphic corresponding to the position indicated by the corrected coordinate value by the corrected coordinate position graphic drawing means in the video display means. In addition, as long as this figure can identify a position visually, the shape, such as a point, a straight line, and a rectangle, does not ask | require.
The on-line coordinate value correcting apparatus combines the graphic drawn by the corrected coordinate position graphic drawing means with the video whose position has been detected by the position detecting device by the video synthesizing means in the video display means. As a result, the online coordinate value correction apparatus visually presents to the operator which position in the video the corrected position corresponds to.

また、請求項6に記載のオンライン座標値修正装置は、請求項1乃至請求項4のいずれか一項に記載のオンライン座標値修正装置において、前記位置検出装置は、映像から前記検出対象の位置を検出するものであって、検出座標位置図形作画手段と、映像合成手段とを備えた映像表示手段を備える構成とした。   Moreover, the online coordinate value correction device according to claim 6 is the online coordinate value correction device according to any one of claims 1 to 4, wherein the position detection device detects the position of the detection target from an image. And a video display means including a detected coordinate position graphic drawing means and a video composition means.

かかる構成において、オンライン座標値修正装置は、映像表示手段における検出座標位置図形作画手段によって、検出座標値で示される位置に対応する図形を作画する。そして、オンライン座標値修正装置は、映像表示手段における映像合成手段によって、検出座標位置図形作画手段で作画された図形と、位置検出装置が位置検出を行った映像とを合成する。これによって、オンライン座標値修正装置は、位置検出装置が映像内のどの位置で検出対象を検出したかを操作者に視覚的に提示する。   In such a configuration, the online coordinate value correcting apparatus draws a figure corresponding to the position indicated by the detected coordinate value by the detected coordinate position figure drawing means in the video display means. Then, the online coordinate value correcting apparatus synthesizes the graphic drawn by the detected coordinate position graphic drawing means and the video whose position has been detected by the position detecting device by the video synthesizing means in the video display means. As a result, the online coordinate value correcting apparatus visually presents to the operator at which position in the video the position detection apparatus has detected the detection target.

また、請求項7に記載のオンライン座標値修正装置は、請求項1乃至請求項4のいずれか一項に記載のオンライン座標値修正装置において、前記位置検出装置は、映像から前記検出対象の位置を検出するものであって、検出座標位置図形作画手段と、修正座標位置図形作画手段と、映像合成手段とを備えた映像表示手段を備える構成とした。   Moreover, the online coordinate value correction device according to claim 7 is the online coordinate value correction device according to any one of claims 1 to 4, wherein the position detection device detects the position of the detection target from an image. And a video display means including a detected coordinate position graphic drawing means, a corrected coordinate position graphic drawing means, and a video composition means.

かかる構成において、オンライン座標値修正装置は、映像表示手段における検出座標位置図形作画手段によって、検出座標値で示される位置に対応する図形を作画し、映像表示手段における修正座標位置図形作画手段によって、修正座標値で示される位置に対応する図形を作画する。そして、オンライン座標値修正装置は、映像表示手段における映像合成手段によって、検出座標位置図形作画手段で作画された図形と、修正座標位置図形作画手段で作画された図形と、位置検出装置が位置検出を行った映像とを合成する。
これによって、オンライン座標値修正装置は、位置検出装置が映像内のどの位置で検出対象を検出したか、また、その位置がどの位置に修正されたかを操作者に視覚的に提示する。
In such a configuration, the online coordinate value correcting device draws a figure corresponding to the position indicated by the detected coordinate value by the detected coordinate position figure drawing means in the video display means, and by the corrected coordinate position figure drawing means in the video display means, A figure corresponding to the position indicated by the corrected coordinate value is drawn. The on-line coordinate value correcting device detects the figure drawn by the detected coordinate position figure drawing means, the figure drawn by the corrected coordinate position figure drawing means, and the position detection device detects the position by the image synthesizing means in the image display means. Is combined with the video.
As a result, the online coordinate value correction device visually presents to the operator which position in the video the position detection device has detected the detection target and to which position the position has been corrected.

さらに、請求項8に記載のオンライン座標値修正プログラムは、位置検出装置から確度を示す信頼性値とともに出力される、検出対象の位置を示す検出座標値を、操作者によって操作される座標指示装置から出力される指示座標値と、前記座標指示装置に対して加えられた加圧値とに基づいて修正するために、コンピュータを、第1重み係数算出手段、第2重み係数算出手段、座標値修正手段として機能させる構成とした。   Furthermore, the on-line coordinate value correction program according to claim 8 is a coordinate indicating device in which a detection coordinate value indicating a position of a detection target, which is output together with a reliability value indicating accuracy from the position detection device, is operated by an operator. In order to correct based on the indicated coordinate value output from the pressure value applied to the coordinate indicating device, the computer is connected to a first weight coefficient calculating means, a second weight coefficient calculating means, a coordinate value The configuration is made to function as correction means.

かかる構成において、オンライン座標値修正プログラムは、第1重み係数算出手段によって、加重合成を行うための信頼性値の重みを第1重み係数として算出する。例えば、信頼性値が高いほど重み係数の値を大きくし、信頼性値が低いほど重み係数の値を小さくする。
また、オンライン座標値修正装置は、第2重み係数算出手段によって、加重合成を行うための加圧値の重みを第2重み係数として算出する。例えば、加圧値が高いほど重み係数の値を大きくし、加圧値が低いほど重み係数の値を小さくする。
そして、オンライン座標値修正装置は、座標値修正手段によって、検出座標値と第1重み係数との乗算値と、指示座標値と第2重み係数との乗算値との加算値に対して、第1重み係数と第2重み係数との加算値を除算することで修正座標値を算出する。
これによって、修正座標値は、検出座標値と指示座標値に対して、第1重み係数と第2重み係数との比に対応して比例案分された座標値として算出されることになる。
In such a configuration, the online coordinate value correction program calculates the weight of the reliability value for performing weighted synthesis as the first weighting factor by the first weighting factor calculation means. For example, the weighting factor value is increased as the reliability value is higher, and the weighting factor value is decreased as the reliability value is lower.
In addition, the online coordinate value correcting apparatus calculates the weight of the pressurization value for performing weighted synthesis as the second weighting coefficient by the second weighting coefficient calculating means. For example, the weighting factor value is increased as the pressure value is higher, and the weighting factor value is decreased as the pressure value is lower.
Then, the online coordinate value correcting device uses the coordinate value correcting means to calculate the added value of the multiplied value of the detected coordinate value and the first weighting factor and the multiplied value of the indicated coordinate value and the second weighting factor. A corrected coordinate value is calculated by dividing the added value of the first weight coefficient and the second weight coefficient.
Accordingly, the corrected coordinate value is calculated as a coordinate value proportionally proportional to the detected coordinate value and the designated coordinate value corresponding to the ratio between the first weighting factor and the second weighting factor.

また、請求項9に記載のオンライン座標値修正プログラムは、位置検出装置から確度を示す信頼性値とともに出力される、検出対象の位置を示す検出座標値を、操作者によって操作される座標指示装置から出力される指示座標値と、前記座標指示装置に対して加えられた加圧値とに基づいて修正するために、コンピュータを、第1観測共分散行列算出手段、第2観測共分散行列算出手段、第1濾波推定手段、第2濾波推定手段、予測推定手段、選択手段として機能させる構成とした。   The on-line coordinate value correcting program according to claim 9 is a coordinate indicating device in which a detected coordinate value indicating a position of a detection target, which is output together with a reliability value indicating accuracy from the position detecting device, is operated by an operator. In order to make correction based on the indicated coordinate value output from the pressure value applied to the coordinate indicating device, the computer is provided with first observation covariance matrix calculation means and second observation covariance matrix calculation. Means, first filtering estimation means, second filtering estimation means, prediction estimation means, and selection means.

かかる構成において、オンライン座標値修正プログラムは、第1観測共分散行列算出手段によって、信頼性値の共分散行列を第1観測共分散行列として算出する。また、オンライン座標値修正プログラムは、第2観測共分散行列算出手段によって、加圧値の共分散行列を第2観測共分散行列として算出する。
そして、オンライン座標値修正プログラムは、第1濾波推定手段によって、検出座標値および第1観測共分散行列に基づいて、検出対象の位置を示す座標値を含んだ状態ベクトルおよび状態共分散行列を予測した状態ベクトル予測推定値および状態共分散行列予測推定値から、現在の状態(状態ベクトルの各成分)を推定した仮状態ベクトルおよび仮状態共分散行列を算出する。
また、オンライン座標値修正プログラムは、第2濾波推定手段によって、指示座標値および第2観測共分散行列に基づいて、仮状態ベクトルおよび仮状態共分散行列を補正した状態ベクトル濾波推定値および状態共分散行列濾波推定値を算出する。
In such a configuration, the online coordinate value correction program calculates the covariance matrix of the reliability value as the first observation covariance matrix by the first observation covariance matrix calculation means. The online coordinate value correction program calculates the covariance matrix of the pressurized value as the second observation covariance matrix by the second observation covariance matrix calculation means.
Then, the online coordinate value correction program predicts a state vector and a state covariance matrix including coordinate values indicating the position of the detection target based on the detected coordinate values and the first observation covariance matrix by the first filtering estimation unit. The temporary state vector and the temporary state covariance matrix that estimate the current state (each component of the state vector) are calculated from the estimated state vector prediction value and the state covariance matrix prediction value.
In addition, the online coordinate value correction program corrects the temporary state vector and the temporary state covariance matrix based on the designated coordinate value and the second observed covariance matrix by the second filtered estimation means. Calculate the dispersion matrix filtering estimate.

そして、オンライン座標値修正プログラムは、予測推定手段によって、第2濾波推定手段で算出された状態ベクトル濾波推定値および状態共分散行列濾波推定値を遅延し、予め定めた状態遷移規則に基づいて、状態ベクトル予測推定値および状態共分散行列予測推定値を予測する。さらに、オンライン座標値修正プログラムは、選択手段によって、第2濾波推定手段で算出された状態ベクトル濾波推定値(状態ベクトル)から、検出対象の位置(検出座標値)を選択し、修正座標値とする。   Then, the online coordinate value correction program delays the state vector filtered estimated value and the state covariance matrix filtered estimated value calculated by the second filtered estimating means by the prediction estimating means, and based on a predetermined state transition rule, Predict state vector prediction estimates and state covariance matrix prediction estimates. Further, the online coordinate value correction program selects the position (detected coordinate value) of the detection target from the state vector filtered estimated value (state vector) calculated by the second filtered estimating unit by the selecting unit, and the corrected coordinate value and To do.

請求項1に記載の発明によれば、位置検出装置によって自動検出された検出座標値を、操作者が座標指示装置によって指示する指示座標値によって修正を行うため、自動検出中においても位置の修正が可能になる。また、本発明は、座標指示装置に対して加えられた加圧値に基づいて検出座標値の修正を行うため、操作者が加圧値を制御することで、急激に修正座標を変化させることなく、時間的に滑らかに座標値の修正を行うことができる。   According to the first aspect of the present invention, the detected coordinate value automatically detected by the position detecting device is corrected by the indicated coordinate value indicated by the operator using the coordinate indicating device, so that the position is corrected even during automatic detection. Is possible. Further, the present invention corrects the detected coordinate value based on the pressurization value applied to the coordinate pointing device, so that the operator can change the correction coordinate rapidly by controlling the pressurization value. The coordinate values can be corrected smoothly in time.

請求項2に記載の発明によれば、位置検出装置によって自動検出された検出座標値の信頼性値と、操作者が座標指示装置に対して加えた加圧値とに基づいて、検出座標値と指示座標値とを比例案分することで修正座標値を算出するため、この修正座標値は、一度に指示座標値に修正されることがない。このため、時間的に滑らかに修正を行うことができる。   According to the second aspect of the present invention, the detected coordinate value is based on the reliability value of the detected coordinate value automatically detected by the position detecting device and the pressurization value applied to the coordinate indicating device by the operator. Therefore, the corrected coordinate value is not corrected to the specified coordinate value at a time. For this reason, correction can be performed smoothly in time.

請求項3または請求項8に記載の発明によれば、位置検出装置によって自動検出された検出座標値と、操作者が座標指示装置によって指示する指示座標値とを、信頼性値と加圧値との比による単純な四則演算のみで算出することができるため、構成の単純化や、処理の高速化を実現することができる。   According to the invention described in claim 3 or claim 8, the detected coordinate value automatically detected by the position detecting device and the indicated coordinate value indicated by the operator using the coordinate indicating device are represented by the reliability value and the pressurizing value. Therefore, the configuration can be simplified and the processing speed can be increased.

請求項4または請求項9に記載の発明によれば、座標の修正を、濾波および予測の各処理によって、回帰型処理で実現している。このため、位置検出装置によって自動検出された検出座標値や、操作者が座標指示装置によって指示する指示座標値のいずれか一方または両方が一時的に欠落しても、時系列の修正座標値が出力されるため、修正座標値が大きく変化することがなく、時間的に滑らかな修正座標値が出力される。   According to invention of Claim 4 or Claim 9, the correction of a coordinate is implement | achieved by the regression type process by each process of a filtering and prediction. For this reason, even if one or both of the detected coordinate value automatically detected by the position detection device and the instruction coordinate value designated by the operator using the coordinate instruction device are temporarily lost, the time-series corrected coordinate value is not Therefore, the corrected coordinate value does not change greatly, and a corrected coordinate value that is smooth in time is output.

請求項5に記載の発明によれば、操作者が、映像内において、修正された修正座標値を図形によって視覚的に確認することができるため、その位置の正誤を素早く認識することができ、操作性を高めることができる。   According to the invention described in claim 5, the operator can visually confirm the corrected coordinate value corrected by a graphic in the video, so that the correctness of the position can be recognized quickly, Operability can be improved.

請求項6に記載の発明によれば、操作者が、映像内において、位置検出装置によって自動検出された検出座標値を図形によって視覚的に確認することができるため、操作者は、映像を見ながら操作を行うことができ、操作性を高めることができる。   According to the sixth aspect of the invention, since the operator can visually confirm the detected coordinate value automatically detected by the position detection device in the image with a figure, the operator views the image. The operation can be performed while improving operability.

請求項7に記載の発明によれば、操作者が、映像内において、位置検出装置によって自動検出された検出座標値と修正された修正座標値とを図形によって、映像上で確認することができるため、座標値の修正作業の操作性を高めることができる。   According to the seventh aspect of the present invention, the operator can confirm the detected coordinate value automatically detected by the position detecting device and the corrected corrected coordinate value on the video with a graphic in the video. Therefore, the operability of the coordinate value correction work can be improved.

以下、本発明の実施の形態について図面を参照して説明する。
≪第1の実施の形態≫
[オンライン座標値修正装置の構成]
まず、図1を参照して、オンライン座標値修正装置の構成について説明する。図1は、本発明における第1の実施の形態に係るオンライン座標値修正装置の構成を示すブロック図である。
図1に示したオンライン座標値修正装置1は、位置検出装置2から出力される検出対象の位置を示す検出座標値を修正するものである。なお、オンライン座標値修正装置1には、位置検出装置2以外に、座標指示装置3と、表示装置4とが接続されている。
Embodiments of the present invention will be described below with reference to the drawings.
<< First Embodiment >>
[Configuration of online coordinate value correction device]
First, the configuration of the online coordinate value correcting apparatus will be described with reference to FIG. FIG. 1 is a block diagram showing a configuration of an on-line coordinate value correcting apparatus according to the first embodiment of the present invention.
The online coordinate value correction apparatus 1 shown in FIG. 1 corrects the detected coordinate value indicating the position of the detection target output from the position detection apparatus 2. In addition to the position detecting device 2, a coordinate indicating device 3 and a display device 4 are connected to the online coordinate value correcting device 1.

位置検出装置2は、検出対象の位置を示す検出座標値を時系列に出力するものである。なお、ここでは、位置検出装置2は、映像から、その映像に含まれるオブジェクト(検出対象)を検出するものとし、そのオブジェクトの検出座標値と、その確度を示す信頼性値とを出力することとする。例えば、位置検出装置2は、特開2002−358526号公報で開示されている映像オブジェクト検出・追跡装置を用い、映像オブジェクト検出・追跡装置で検出される推定位置を検出座標値とし、その推定位置の信頼度を信頼性値とする。なお、この検出座標値および信頼性値は、1次元の値であってもよいし、多次元のベクトル値であってもよい。   The position detection device 2 outputs detection coordinate values indicating the position of the detection target in time series. Here, it is assumed that the position detection device 2 detects an object (detection target) included in the video from the video, and outputs a detection coordinate value of the object and a reliability value indicating the accuracy. And For example, the position detection device 2 uses a video object detection / tracking device disclosed in Japanese Patent Application Laid-Open No. 2002-358526, uses an estimated position detected by the video object detection / tracking device as a detected coordinate value, and the estimated position. The reliability of the is a reliability value. The detected coordinate value and the reliability value may be a one-dimensional value or a multi-dimensional vector value.

座標指示装置3は、操作者が指示した座標を検出するとともに、操作者が当該座標指示装置3に対して加えた圧力の強さを示す加圧値を検出し、その座標である指示座標値と加圧値とを出力するものである。例えば、座標指示装置3は、筆圧感知機能付きのペンタブレット装置や、タッチパネル装置を用い、検出された2次元座標値を指示座標値とし、筆圧値を加圧値とする。なお、指示座標値は、2次元座標値のうちの1つである1次元座標値のみとしてもよいし、2次元座標を幾何変換することで、1次元乃至多次元の座標とすることとしてもよい。また、加圧値は、ペンタブレット装置におけるスタイラスペンにおいて検知される圧力値を用いてもよいし、タッチパネル装置において、スタイラスペン、タッチパネル装置本体、あるいは操作者の身体に装着された圧力センサによって検知された圧力値を用いることとしてもよい。   The coordinate pointing device 3 detects the coordinate pointed by the operator, detects a pressure value indicating the strength of the pressure applied by the operator to the coordinate pointing device 3, and indicates the pointed coordinate value that is the coordinate. And the pressure value are output. For example, the coordinate indicating device 3 uses a pen tablet device with a writing pressure sensing function or a touch panel device, and uses the detected two-dimensional coordinate value as the indicating coordinate value and the writing pressure value as the pressurizing value. The indicated coordinate value may be only a one-dimensional coordinate value that is one of the two-dimensional coordinate values, or may be converted to a one-dimensional to multi-dimensional coordinate by geometrically converting the two-dimensional coordinate. Good. The pressure value may be a pressure value detected by a stylus pen in a pen tablet device, or may be detected by a pressure sensor attached to the stylus pen, the touch panel device body, or the operator's body in the touch panel device. It is good also as using the made pressure value.

表示装置4は、ブラウン管、液晶ディスプレイ、プラズマディスプレイ等の一般的な表示手段であって、位置検出装置2が検出を行うための映像や、位置検出装置2において検出された検出座標値や、オンライン座標値修正装置1において修正された修正座標値を表示するものである。なお、表示装置4は、例えば、タブレット(座標指示装置3)が一体化された液晶ディスプレイ装置としてもよい。また、表示装置4は、液晶ディスプレイ、プラズマディスプレイ等の表示デバイス上に、透明または半透明のタッチパネル(座標指示装置)を備える構成であってもよい。   The display device 4 is a general display means such as a cathode ray tube, a liquid crystal display, a plasma display, etc., and includes an image for the position detection device 2 to detect, a detected coordinate value detected by the position detection device 2, an online The corrected coordinate value corrected in the coordinate value correcting apparatus 1 is displayed. The display device 4 may be, for example, a liquid crystal display device in which a tablet (coordinate indicating device 3) is integrated. The display device 4 may be configured to include a transparent or translucent touch panel (coordinate indicating device) on a display device such as a liquid crystal display or a plasma display.

以下、オンライン座標値修正装置1の構成について詳細に説明を行う。ここでは、オンライン座標値修正装置1は、検出情報入力手段10と、指示情報入力手段20と、加重合成手段30と、映像表示手段40とを備えている。   Hereinafter, the configuration of the online coordinate value correcting apparatus 1 will be described in detail. Here, the online coordinate value correcting apparatus 1 includes detection information input means 10, instruction information input means 20, weighted synthesis means 30, and video display means 40.

検出情報入力手段10は、位置検出装置2において映像から検出された、オブジェクトの検出座標値と、その信頼性値とを入力するものである。この入力された検出座標値と信頼性値とは、加重合成手段30に出力される。なお、検出座標値は、映像表示手段40にも出力される。   The detection information input means 10 inputs the detected coordinate value of the object detected from the video in the position detection device 2 and its reliability value. The input detected coordinate value and reliability value are output to the weighted synthesis means 30. The detected coordinate value is also output to the video display means 40.

指示情報入力手段20は、操作者によって操作された座標指示装置3において検出された指示座標値と加圧値(以下、筆圧値とする)とを入力するものである。この入力された指示座標値と筆圧値とは、加重合成手段30に出力される。   The instruction information input unit 20 inputs an instruction coordinate value and a pressure value (hereinafter referred to as a writing pressure value) detected by the coordinate indicating device 3 operated by the operator. The input designated coordinate value and writing pressure value are output to the weighted synthesis means 30.

加重合成手段30は、検出情報入力手段10から入力された信頼性値と、指示情報入力手段20から入力された筆圧値とに基づいて、検出情報入力手段10から入力された検出座標値と、指示情報入力手段20から入力された指示座標値とを加重合成することで、検出座標値を修正した修正座標値を算出するものである。ここでは、加重合成手段30は、第1重み係数算出手段31と、第2重み係数算出手段32と、座標値修正手段33とを備えている。   Based on the reliability value input from the detection information input unit 10 and the writing pressure value input from the instruction information input unit 20, the weighted synthesis unit 30 detects the detected coordinate value input from the detection information input unit 10 The corrected coordinate value obtained by correcting the detected coordinate value is calculated by performing weighted synthesis with the indicated coordinate value input from the indicated information input means 20. Here, the weighting synthesis unit 30 includes a first weighting factor calculation unit 31, a second weighting factor calculation unit 32, and a coordinate value correction unit 33.

第1重み係数算出手段31は、検出情報入力手段10から入力された信頼性値に基づいて、第1重み係数を算出するものである。例えば、第1重み係数算出手段31は、信頼性値の取り得る最小値から最大値までの値を、“0”から“1”の範囲の値に変換する。
すなわち、第1重み係数算出手段31は、信頼性値をr、その信頼性値rが高い場合に大きなスカラ量を出力する関数(第1重み係数算出関数)をf(r)としたとき、第1重み係数waを、以下の式(1)により算出する。なお、第1重み係数waの値は、“0”以上であるとする。
The first weighting factor calculation unit 31 calculates a first weighting factor based on the reliability value input from the detection information input unit 10. For example, the first weighting coefficient calculating unit 31 converts the value from the minimum value to the maximum value that the reliability value can take into a value in the range of “0” to “1”.
That is, the first weighting factor calculation means 31 has a reliability value r, and a function (first weighting factor calculation function) that outputs a large scalar quantity when the reliability value r is high is f (r). The first weighting coefficient w a is calculated by the following equation (1). It is assumed that the value of the first weight coefficient w a is “0” or more.

Figure 2006244181
Figure 2006244181

この第1重み係数算出手段31で算出された第1重み係数は、座標値修正手段33に出力される。   The first weighting factor calculated by the first weighting factor calculating unit 31 is output to the coordinate value correcting unit 33.

第2重み係数算出手段32は、指示情報入力手段20から入力された筆圧値に基づいて、第2重み係数を算出するものである。例えば、第2重み係数算出手段32は、筆圧値の取り得る最小値から最大値までの値を、“0”から“1”の範囲の値に変換する。
すなわち、第2重み係数算出手段32は、筆圧値をp、その筆圧値pが高い場合に大きなスカラ量を出力する関数(第2重み係数算出関数)をg(p)としたとき、第2重み係数wmを、以下の式(2)により算出する。なお、第2重み係数wmの値は、“0”以上であるとする。ただし、wa+wm>0とする。
The second weighting factor calculating unit 32 calculates a second weighting factor based on the writing pressure value input from the instruction information input unit 20. For example, the second weighting coefficient calculating unit 32 converts the value from the minimum value to the maximum value that the writing pressure value can take into a value in the range of “0” to “1”.
In other words, the second weighting factor calculating means 32 assumes that the writing pressure value is p and a function (second weighting factor calculating function) that outputs a large scalar quantity when the writing pressure value p is high is g (p). The second weight coefficient w m is calculated by the following equation (2). It is assumed that the value of the second weighting coefficient w m is “0” or more. However, w a + w m > 0.

Figure 2006244181
Figure 2006244181

なお、ここでは、式(2)は、筆圧値pが高い場合に大きなスカラ量を出力することとして説明を行ったが、例えば、ペンタブレット(座標指示装置3)に常に筆圧を加えておき、指示を行いたいときに、筆圧を減らすような動作を行わせたいときは、式(2)は、筆圧値pが低い場合に大きなスカラ量を出力する関数とする。
この第2重み係数算出手段32で算出された第2重み係数は、座標値修正手段33に出力される。
Here, although the expression (2) has been described as outputting a large scalar amount when the writing pressure value p is high, for example, the writing pressure is always applied to a pen tablet (coordinate indicating device 3). When it is desired to perform an operation to reduce the writing pressure when it is desired to give an instruction, Equation (2) is a function that outputs a large scalar quantity when the writing pressure value p is low.
The second weighting coefficient calculated by the second weighting coefficient calculating means 32 is output to the coordinate value correcting means 33.

座標値修正手段33は、第1重み係数算出手段31および第2重み係数算出手段32からそれぞれ入力された第1重み係数および第2重み係数に基づいて、検出情報入力手段10および指示情報入力手段20からそれぞれ入力された検出座標値および指示座標値を比例案分することで、検出座標値を修正した修正座標値を算出するものである。
すなわち、座標値修正手段33は、検出座標値をya、指示座標値をymとしたとき、第1重み係数waおよび第2重み係数wmを用いて、修正座標値youtを以下の式(3)により算出する。
The coordinate value correcting means 33 is based on the first weight coefficient and the second weight coefficient input from the first weight coefficient calculating means 31 and the second weight coefficient calculating means 32, respectively, and the detection information input means 10 and the instruction information input means. The corrected coordinate value obtained by correcting the detected coordinate value is calculated by proportionally dividing the detected coordinate value and the designated coordinate value input from 20 respectively.
That is, the coordinate value correcting means 33, the detection coordinate value y a, when the indicated coordinate value was y m, using a first weighting coefficient w a and the second weighting factor w m, the following correction coordinate value y out (3) is calculated.

Figure 2006244181
Figure 2006244181

この座標値修正手段33で算出された修正座標値は、オンライン座標値修正装置1において修正された座標として、外部に出力される。なお、修正座標値は、映像表示手段40にも出力される。
これによって、操作者が座標指示装置3の操作において、筆圧をより強くすることで、検出座標値は、操作者が指示した位置により近づく方向に修正(大きく修正)される。また、筆圧を弱くすることで、検出座標値に対する修正量は小さくなる。
The corrected coordinate value calculated by the coordinate value correcting means 33 is output to the outside as the coordinate corrected by the online coordinate value correcting device 1. The corrected coordinate value is also output to the video display means 40.
Accordingly, when the operator increases the writing pressure in the operation of the coordinate indicating device 3, the detected coordinate value is corrected (largely corrected) in a direction closer to the position instructed by the operator. Further, by reducing the writing pressure, the correction amount for the detected coordinate value is reduced.

映像表示手段40は、オンライン座標値修正装置1において修正される座標を視覚的に提示するものである。ここでは、映像表示手段40は、検出座標位置図形作画手段41と、修正座標位置図形作画手段42と、映像合成手段43とを備えている。   The video display means 40 visually presents the coordinates to be corrected in the online coordinate value correction apparatus 1. Here, the video display means 40 includes a detected coordinate position graphic drawing means 41, a corrected coordinate position graphic drawing means 42, and a video composition means 43.

検出座標位置図形作画手段41は、検出情報入力手段10から入力された検出座標値に対応する位置を示す図形を、図示を省略したメモリ(ビデオメモリ等)に作画するものである。これによって、位置検出装置2が検出した検出対象の位置を視覚的に示すことが可能になる。   The detected coordinate position graphic drawing means 41 draws a graphic indicating the position corresponding to the detected coordinate value input from the detection information input means 10 in a memory (video memory or the like) (not shown). As a result, the position of the detection target detected by the position detection device 2 can be visually indicated.

修正座標位置図形作画手段42は、加重合成手段30の座標値修正手段33から入力された修正座標値に対応する位置を示す図形を、図示を省略したメモリ(ビデオメモリ等)に作画するものである。これによって、検出座標値が修正された位置を視覚的に示すことが可能になる。   The corrected coordinate position graphic drawing means 42 draws a graphic indicating the position corresponding to the corrected coordinate value input from the coordinate value correcting means 33 of the weighted synthesis means 30 in a memory (video memory or the like) (not shown). is there. This makes it possible to visually indicate the position where the detected coordinate value is corrected.

映像合成手段43は、検出座標位置図形作画手段41および修正座標位置図形作画手段42において、図示を省略したメモリに作画された図形を、位置検出装置2に入力された映像と同一の映像に対して合成し、外部の表示装置4に出力するものである。
これによって、位置検出装置2が検出した検出対象の位置および検出座標値が修正された位置が表示装置4の画面上に表示されることになり、操作者は、視覚的にその修正が正しいかどうかを確認することができる。
The image synthesizing means 43 uses the detected coordinate position figure drawing means 41 and the corrected coordinate position figure drawing means 42 to display the figure drawn in the memory (not shown) on the same image as the image input to the position detection device 2. Are combined and output to the external display device 4.
As a result, the position of the detection target detected by the position detection device 2 and the position where the detected coordinate value is corrected are displayed on the screen of the display device 4, and the operator can visually confirm that the correction is correct. You can check whether.

ここで、図5を参照(適宜図1参照)して、オンライン座標値修正装置1が、表示装置4に表示する映像について説明する。図5は、オンライン座標値修正装置が表示装置に表示する表示画面の例を示す図である。
図5に示すように、ここでは、一例として、サッカー競技場を撮影した映像を表示した例を示している。また、ここでは、位置検出装置2は、映像上の選手(図示せず)を追跡することで、オフサイドラインの位置を検出し、逐次、オフサイドラインのサイドライン方向の座標を検出座標値とし、その信頼性値とともに出力するものとしている。
Here, an image displayed on the display device 4 by the online coordinate value correcting apparatus 1 will be described with reference to FIG. FIG. 5 is a diagram illustrating an example of a display screen displayed on the display device by the online coordinate value correcting device.
As shown in FIG. 5, here, as an example, an example in which an image of a soccer stadium is displayed is shown. Further, here, the position detection device 2 detects the position of the offside line by tracking a player (not shown) on the image, and sequentially uses the coordinates in the sideline direction of the offside line as detection coordinate values. Output together with the reliability value.

すなわち、オンライン座標値修正装置1は、位置検出装置2が検出したオフサイドラインの位置である検出座標値に基づいて作画された検出座標図形La(ここでは、破線の線分)を、表示画面D上に表示する。これによって、操作者は、位置検出装置2が検出したオフサイドラインの位置を確認しながら操作を行うことができる。
また、オンライン座標値修正装置1は、修正座標値に基づいて作画された修正座標図形Lout(ここでは、実線の線分)を、表示画面D上に表示する。これによって、操作者は、位置修正後におけるオフサイドラインの位置の正誤を視覚的に確認することができる。
That is, the online coordinate value correcting device 1 is detected coordinate geometry L a (here, dashed line) were animation based on the detected coordinates are located offside line position detecting apparatus 2 detects the display screen Display on D. Thus, the operator can perform an operation while confirming the position of the offside line detected by the position detection device 2.
The online coordinate value correcting apparatus 1 displays a corrected coordinate figure L out (here, a solid line segment) drawn based on the corrected coordinate value on the display screen D. Thereby, the operator can visually confirm the correctness of the position of the offside line after the position correction.

このようにオンライン座標値修正装置1を構成することで、オンライン座標値修正装置1は、位置検出装置2によって検出された検出対象の位置(検出座標値)と、操作者が座標指示装置3によって指示した位置(指示座標値)とを、信頼性値と筆圧値(加圧値)とに基づいて比例案分するため、修正座標値が、検出座標値から指示座標値に一度に変化することがない。このため、検出座標値は、操作者の筆圧の変化に伴って、滑らかに修正が行われることになる。   By configuring the online coordinate value correcting apparatus 1 in this way, the online coordinate value correcting apparatus 1 can detect the position of the detection target (detected coordinate value) detected by the position detecting apparatus 2, and the operator can use the coordinate indicating apparatus 3. Since the designated position (designated coordinate value) is proportionally divided based on the reliability value and the pen pressure value (pressurized value), the corrected coordinate value changes from the detected coordinate value to the designated coordinate value at a time. There is nothing. For this reason, the detected coordinate value is smoothly corrected as the operator's writing pressure changes.

なお、オンライン座標値修正装置1は、一般的なコンピュータを、前記した各手段として機能させることで実現することができる。このプログラム(オンライン座標値修正プログラム)は、通信回線を介して配布することも可能であるし、CD−ROM等の記録媒体に書き込んで配布することも可能である。   The online coordinate value correcting apparatus 1 can be realized by causing a general computer to function as each of the means described above. This program (online coordinate value correction program) can be distributed via a communication line, or can be distributed by writing on a recording medium such as a CD-ROM.

以上、本発明に係るオンライン座標値修正装置の構成について説明したが、本発明はこの構成に限定されるものではない。例えば、位置検出装置2が信頼性値を出力せず、時系列に検出座標値のみを出力するものである場合、検出情報入力手段10は、検出座標値のみを入力し、第1重み係数算出手段31では、予め定めた検出座標値の信頼性値により、第1重み係数として固定の重み係数を出力することとする。例えば、前記式(3)において、第1重み係数waを“0.5”とする。 The configuration of the online coordinate value correcting apparatus according to the present invention has been described above, but the present invention is not limited to this configuration. For example, when the position detection device 2 does not output the reliability value but outputs only the detected coordinate value in time series, the detection information input means 10 inputs only the detected coordinate value and calculates the first weighting coefficient. The means 31 outputs a fixed weighting factor as the first weighting factor based on a reliability value of a predetermined detected coordinate value. For example, in the formula (3), the first weighting coefficient w a is set to “0.5”.

また、映像表示手段40において、映像合成手段43が、検出座標位置図形作画手段41で作画された図形と、修正座標位置図形作画手段42で作画された図形との両方を映像に合成することとしたが、いずれか一方のみを映像と合成することとしてもよい。この場合、検出座標位置図形作画手段41または修正座標位置図形作画手段42のいずれか一方を構成から省略することとしてもよい。   Further, in the video display means 40, the video composition means 43 synthesizes both the graphic drawn by the detected coordinate position graphic drawing means 41 and the graphic drawn by the corrected coordinate position graphic drawing means 42 to the video. However, only one of them may be combined with the video. In this case, either the detected coordinate position figure drawing means 41 or the corrected coordinate position figure drawing means 42 may be omitted from the configuration.

また、ここでは、加重合成手段30において、信頼性値および筆圧値から重み係数を算出し、その重み係数に基づく比例案分により、検出座標値を修正することとしたが、信頼性値および筆圧値の共分散に基づいて、検出座標値を修正することとしてもよい。なお、この信頼性値および筆圧値の共分散に基づいて、検出座標値を修正するオンライン座標値修正装置については、第2の実施の形態として、後で詳細に説明を行う。   Here, the weighting synthesis unit 30 calculates the weighting coefficient from the reliability value and the writing pressure value, and corrects the detected coordinate value by the proportional proportion based on the weighting coefficient. The detected coordinate value may be corrected based on the covariance of the pen pressure value. Note that an online coordinate value correcting apparatus that corrects the detected coordinate value based on the covariance of the reliability value and the writing pressure value will be described in detail later as a second embodiment.

[オンライン座標値修正装置の動作]
次に、図2を参照(構成については、適宜図1参照)して、オンライン座標値修正装置の動作について説明する。図2は、本発明における第1の実施の形態に係るオンライン座標値修正装置の動作を示すフローチャートである。ここでは、オンライン座標値修正装置1において修正座標値を算出する加重合成手段30の動作を主に説明することとする。
[Operation of online coordinate value correction device]
Next, the operation of the online coordinate value correcting apparatus will be described with reference to FIG. FIG. 2 is a flowchart showing the operation of the online coordinate value correction apparatus according to the first embodiment of the present invention. Here, the operation of the weighted combining means 30 for calculating the corrected coordinate value in the online coordinate value correcting apparatus 1 will be mainly described.

まず、オンライン座標値修正装置1は、検出情報入力手段10において、位置検出装置2から、検出対象の位置である検出座標値と、その確度を示す信頼性値とが入力されたかどうかを判定し(ステップS1)、入力されるまで待機する(ステップS1でNo)。
そして、オンライン座標値修正装置1は、検出座標値と信頼性値とが入力された段階(ステップS1でYes)で、加重合成手段30の第1重み係数算出手段31によって、信頼性値から第1重み係数を前記式(1)により算出する(ステップS2)。
First, the online coordinate value correction apparatus 1 determines whether or not the detection information input means 10 has input from the position detection apparatus 2 a detection coordinate value that is a position to be detected and a reliability value that indicates its accuracy. (Step S1) Wait until input (No in Step S1).
Then, the online coordinate value correcting apparatus 1 determines the reliability value from the reliability value by the first weighting factor calculation unit 31 of the weighting synthesis unit 30 when the detected coordinate value and the reliability value are input (Yes in step S1). One weighting coefficient is calculated by the equation (1) (step S2).

また、オンライン座標値修正装置1は、指示情報入力手段20において、座標指示装置3から、操作者が指示した位置である指示座標値と、筆圧の強さを示す筆圧値とが入力されたかどうかを判定する(ステップS3)。
そして、オンライン座標値修正装置1は、指示座標値と筆圧値とが入力された場合(ステップS3でYes)、加重合成手段30の第2重み係数算出手段32によって、筆圧値から第2重み係数を前記式(2)により算出し(ステップS4)、ステップS6に進む。
一方、指示座標値と筆圧値とが入力されていない場合(ステップS3でNo)、オンライン座標値修正装置1は、座標値修正手段33において、第2重み係数に“0”を設定する(ステップS5)。
In the online coordinate value correcting apparatus 1, the instruction information input unit 20 receives an instruction coordinate value that is a position instructed by the operator and a writing pressure value indicating the writing pressure intensity from the coordinate indicating apparatus 3. It is determined whether or not (step S3).
Then, when the designated coordinate value and the writing pressure value are input (Yes in step S3), the online coordinate value correcting device 1 uses the second weighting coefficient calculating unit 32 of the weighting synthesis unit 30 to calculate the second value from the writing pressure value. The weighting coefficient is calculated by the equation (2) (step S4), and the process proceeds to step S6.
On the other hand, when the designated coordinate value and the writing pressure value are not input (No in step S3), the online coordinate value correcting apparatus 1 sets “0” in the second weighting coefficient in the coordinate value correcting unit 33 ( Step S5).

そして、オンライン座標値修正装置1は、座標値修正手段33によって、ステップS2で算出された第1重み係数と、ステップS4で算出された(またはステップS5で設定された)第2重み係数との比により、検出情報入力手段10および指示情報入力手段20からそれぞれ入力された検出座標値および指示座標値を、前記式(3)に示すように比例案分することで、検出座標値を修正した修正座標値を算出し、出力する(ステップS6)。そして、オンライン座標値修正装置1は、ステップS1に戻って動作を継続する。
これによって、オンライン座標値修正装置1は、時系列に入力される検出座標値を、操作者が操作する座標指示装置3における筆圧の変化に伴って、滑らかに修正することができる。
Then, the online coordinate value correcting apparatus 1 uses the coordinate value correcting unit 33 to calculate the first weighting factor calculated in step S2 and the second weighting factor calculated in step S4 (or set in step S5). The detected coordinate value is corrected by proportionally dividing the detected coordinate value and the designated coordinate value input from the detected information input means 10 and the designated information input means 20 according to the ratio as shown in the equation (3). A corrected coordinate value is calculated and output (step S6). And the online coordinate value correction apparatus 1 returns to step S1, and continues operation | movement.
Thereby, the online coordinate value correcting apparatus 1 can smoothly correct the detected coordinate values input in time series in accordance with the change of the writing pressure in the coordinate indicating apparatus 3 operated by the operator.

なお、フローチャートとしては図示していないが、オンライン座標値修正装置1は、検出座標値が入力された段階で、検出座標位置図形作画手段41によって、検出座標値に対応する位置を示す図形を、図示を省略したメモリに描画する。また、オンライン座標値修正装置1は、ステップS6において、修正座標値が算出された段階で、修正座標位置図形作画手段42によって、修正座標値に対応する位置を示す図形をメモリに描画する。   Although not shown in the flowchart, the online coordinate value correcting apparatus 1 is configured to detect a figure indicating a position corresponding to the detected coordinate value by the detected coordinate position figure drawing means 41 when the detected coordinate value is input. Drawing in a memory not shown. Further, in step S6, the online coordinate value correcting apparatus 1 draws a graphic indicating the position corresponding to the corrected coordinate value in the memory by the corrected coordinate position graphic drawing means 42 when the corrected coordinate value is calculated.

そして、オンライン座標値修正装置1は、映像合成手段43によって、メモリ上に描画された図形を、位置検出装置2に入力された映像と同一の映像に対して合成し、外部の表示装置4に出力する。
これによって、操作者は検出座標値および修正座標値の位置を視認することができる。
Then, the online coordinate value correcting apparatus 1 combines the graphic drawn on the memory with the same video as the video input to the position detecting device 2 by the video synthesizing unit 43, and displays it on the external display device 4. Output.
As a result, the operator can visually recognize the positions of the detected coordinate value and the corrected coordinate value.

≪第2の実施の形態≫
[オンライン座標値修正装置の構成]
次に、図3を参照して、第2の実施の形態に係るオンライン座標値修正装置の構成について説明する。図3は、本発明における第2の実施の形態に係るオンライン座標値修正装置の構成を示すブロック図である。この第2の実施の形態に係るオンライン座標値修正装置1Bは、図1で説明したオンライン座標値修正装置1と比較して、加重合成手段30(30B)のみが異なっているため、ここでは、その異なる構成となる加重合成手段についてのみ説明を行う。また、加重合成手段以外の構成については、オンライン座標値修正装置1と同一であるため、適宜図1を参照することとし、図示および説明を省略する。
<< Second Embodiment >>
[Configuration of online coordinate value correction device]
Next, the configuration of the online coordinate value correcting apparatus according to the second embodiment will be described with reference to FIG. FIG. 3 is a block diagram showing the configuration of the online coordinate value correcting apparatus according to the second embodiment of the present invention. Since the online coordinate value correcting apparatus 1B according to the second embodiment is different from the online coordinate value correcting apparatus 1 described in FIG. 1 only in the weighting synthesis means 30 (30B), here, Only the weighted combining means having the different configuration will be described. Further, since the configuration other than the weighted synthesis means is the same as that of the online coordinate value correcting apparatus 1, FIG. 1 will be referred to as appropriate, and illustration and description thereof will be omitted.

加重合成手段30Bは、検出情報入力手段10から入力された信頼性値と、指示情報入力手段20から入力された筆圧値とのそれぞれの共分散に基づいて、検出情報入力手段10から入力された検出座標値と、指示情報入力手段20から入力された指示座標値とを加重合成することで、検出座標値を修正した修正座標値を算出するものである。ここでは、加重合成手段30Bは、第1観測共分散行列算出手段31Bと、第2観測共分散行列算出手段32Bと、座標値修正手段33Bとを備えている。   The weighting synthesis unit 30B is input from the detection information input unit 10 based on the respective covariances of the reliability value input from the detection information input unit 10 and the writing pressure value input from the instruction information input unit 20. The corrected coordinate value obtained by correcting the detected coordinate value is calculated by performing weighted synthesis of the detected coordinate value and the specified coordinate value input from the specified information input means 20. Here, the weighted synthesis unit 30B includes a first observation covariance matrix calculation unit 31B, a second observation covariance matrix calculation unit 32B, and a coordinate value correction unit 33B.

第1観測共分散行列算出手段(第1重み係数算出手段)31Bは、検出情報入力手段10から入力された信頼性値から、第1重み係数となる共分散(第1観測共分散行列)を算出するものである。例えば、第1観測共分散行列算出手段31Bは、以下の式(4)により、信頼性値rを第1観測共分散行列Raに変換する。 The first observation covariance matrix calculation means (first weighting coefficient calculation means) 31B determines the covariance (first observation covariance matrix) that becomes the first weighting coefficient from the reliability value input from the detection information input means 10. Is to be calculated. For example, the first observation covariance matrix calculation means 31B is the following formula (4), converts the reliability value r to the first observation covariance matrix R a.

Figure 2006244181
Figure 2006244181

この関数J(r)は、半正定値行列(固有値がすべて“0”以上)を出力する関数(第1観測共分散行列算出関数)とする。例えば、検出座標値が2次元(例えば、x座標値、y座標値)の場合、関数J(r)は、2行2列の半正定値行列とする。
また、検出座標値がN次元の場合、関数J(r)は、以下の式(5)に示すN行N列のような対角行列を用いることができる。
This function J (r) is a function (first observation covariance matrix calculation function) that outputs a semi-positive definite matrix (all eigenvalues are “0” or more). For example, when the detected coordinate value is two-dimensional (for example, x coordinate value, y coordinate value), the function J (r) is a 2 × 2 half positive definite matrix.
When the detected coordinate value is N-dimensional, the function J (r) can use a diagonal matrix such as N rows and N columns shown in the following equation (5).

Figure 2006244181
Figure 2006244181

なお、fk(r)(k=1,2,…,N)は、検出座標値の第k成分の信頼性値rの分散を示し、分散値が小さいほど、信頼性が高いといえる。そこで、すべてのkにおいて、fk(r)>0とし、信頼性値rが、検出座標値の第k成分の信頼性が高いことを表す場合には、fk(r)に小さな値を設定するものとする。例えば、fk(r)は、検出座標値の第k成分の信頼性値rが取り得る最大値から最小値までの値を、“0”から“1”の範囲で設定する。
この第1観測共分散行列算出手段31Bで算出された第1観測共分散行列は、座標値修正手段33Bに出力される。
Note that f k (r) (k = 1, 2,..., N) indicates the variance of the reliability value r of the k-th component of the detected coordinate value, and it can be said that the smaller the variance value, the higher the reliability. Therefore, in all k, if f k (r)> 0 and the reliability value r indicates that the reliability of the k-th component of the detected coordinate value is high, a small value is set for f k (r). Shall be set. For example, f k (r) sets a value from the maximum value to the minimum value that can be taken by the reliability value r of the k-th component of the detected coordinate value in the range of “0” to “1”.
The first observation covariance matrix calculated by the first observation covariance matrix calculation means 31B is output to the coordinate value correction means 33B.

第2観測共分散行列算出手段(第2重み係数算出手段)32Bは、指示情報入力手段20から入力された筆圧値から、第2重み係数となる共分散(第2観測共分散行列)を算出するものである。例えば、第2観測共分散行列算出手段32Bは、以下の式(6)により、筆圧値pを第2観測共分散行列Rmに変換する。 The second observation covariance matrix calculation means (second weighting coefficient calculation means) 32B calculates the covariance (second observation covariance matrix) that becomes the second weighting coefficient from the writing pressure value input from the instruction information input means 20. Is to be calculated. For example, the second observation covariance matrix calculating unit 32B converts the writing pressure value p into the second observation covariance matrix R m by the following equation (6).

Figure 2006244181
Figure 2006244181

この関数G(p)は、半正定値行列(固有値がすべて“0”以上)を出力する関数(第2観測共分散行列算出関数)とする。例えば、指示座標値が2次元(例えば、x座標値、y座標値)の場合、関数G(p)は、2行2列の半正定値行列とする。
また、指示座標値がN次元の場合、関数G(p)は、以下の式(7)に示すN行N列のような対角行列を用いることができる。
The function G (p) is a function (second observation covariance matrix calculation function) that outputs a semi-positive definite matrix (all eigenvalues are “0” or more). For example, when the designated coordinate value is two-dimensional (eg, x coordinate value, y coordinate value), the function G (p) is a 2 × 2 half positive definite matrix.
When the designated coordinate value is N-dimensional, the function G (p) can use a diagonal matrix such as N rows and N columns shown in the following equation (7).

Figure 2006244181
Figure 2006244181

なお、gk(p)(k=1,2,…,N)は、指示座標値の第k成分の筆圧値pの分散を示し、すべてのkにおいて、gk(p)>0とする。そして、筆圧値pが高い場合には、gk(p)に小さな値を設定するものとする。例えば、gk(p)は、指示座標値の第k成分の筆圧値pが取り得る最大値から最小値までの値を、“0”から“1”の範囲で設定する。 Note that g k (p) (k = 1, 2,..., N) indicates the variance of the writing pressure value p of the k-th component of the indicated coordinate value, and g k (p)> 0 for all k. To do. When the writing pressure value p is high, a small value is set for g k (p). For example, g k (p) sets a value from the maximum value to the minimum value that can be taken by the writing pressure value p of the k-th component of the indicated coordinate value in the range of “0” to “1”.

また、ここでは、式(7)のgk(p)は、筆圧値pが高い場合に小さな値を設定することとして説明を行ったが、例えば、ペンタブレット(座標指示装置3)に常に筆圧を加えておき、指示を行いたいときに、筆圧を減らすような動作を行わせたいときは、gk(p)は、筆圧値pが低い場合に大きな値を設定することとする。
この第2観測共分散行列算出手段32Bで算出された第2観測共分散行列は、座標値修正手段33Bに出力される。
In addition, here, g k (p) in Expression (7) has been described as setting a small value when the writing pressure value p is high, but for example, it is always applied to a pen tablet (coordinate indicating device 3). If you want to perform an operation that reduces the pen pressure when you want to give a pen pressure and give an instruction, set g k (p) to a large value when the pen pressure value p is low. To do.
The second observation covariance matrix calculated by the second observation covariance matrix calculation means 32B is output to the coordinate value correction means 33B.

座標値修正手段33Bは、第1観測共分散行列算出手段31Bおよび第2観測共分散行列算出手段32Bからそれぞれ入力(観測)された第1観測共分散行列および第2観測共分散行列に基づいて、検出情報入力手段10および指示情報入力手段20からそれぞれ入力された検出座標値および指示座標値を合成することで、検出座標値を修正した修正座標値を算出するものである。
この座標値修正手段33Bは、現在の内部状態を推定する「濾波」および未来の内部状態を推定する「予測」を行うことで時系列に内部状態を推定し、その内部状態に基づいて、検出座標値および指示座標値の合成を行う。ここで、内部状態とは、出力値となる修正座標値を含む状態ベクトルとする。例えば、座標値(修正座標値)をy、その単位時間差分(以下、速度という)をvとしたとき、状態ベクトルxを、以下の式(8)により定義する。
The coordinate value correction means 33B is based on the first observation covariance matrix and the second observation covariance matrix input (observed) from the first observation covariance matrix calculation means 31B and the second observation covariance matrix calculation means 32B, respectively. The corrected coordinate value obtained by correcting the detected coordinate value is calculated by synthesizing the detected coordinate value and the specified coordinate value respectively input from the detected information input means 10 and the specified information input means 20.
The coordinate value correcting means 33B estimates the internal state in time series by performing “filtering” for estimating the current internal state and “prediction” for estimating the future internal state, and detecting based on the internal state. Coordinate values and designated coordinate values are combined. Here, the internal state is a state vector including a corrected coordinate value that is an output value. For example, when the coordinate value (corrected coordinate value) is y and the unit time difference (hereinafter referred to as speed) is v, the state vector x is defined by the following equation (8).

Figure 2006244181
Figure 2006244181

ここでは、座標値修正手段33Bは、第1濾波推定手段33aと、第2濾波推定手段33bと、予測推定手段33cと、選択手段33dとを備えている。   Here, the coordinate value correcting unit 33B includes a first filtered estimating unit 33a, a second filtered estimating unit 33b, a predicted estimating unit 33c, and a selecting unit 33d.

第1濾波推定手段33aは、検出情報入力手段10から入力された検出座標値と、第1観測共分散行列算出手段31Bで算出された第1観測共分散行列とに基づいて、後記する予測推定手段33cによって予測された状態ベクトル予測推定値と、状態共分散行列予測推定値とから、現在の状態を推定(濾波)した仮状態ベクトルと仮状態共分散行列とを算出するものである。
すなわち、第1濾波推定手段33aは、観測された情報(検出座標値および第1観測共分散行列)に基づいて、予測推定手段33cで予測された状態ベクトル(状態ベクトル予測推定値)および状態共分散行列(状態共分散行列予測推定値)から、現在の状態ベクトル(仮状態ベクトル)および状態共分散行列(仮状態共分散行列)を推定(濾波)するものである。なお、現在の状態は、後記する第2濾波推定手段33bによって、さらに推定が行われるため、この段階では仮の状態となる。
Based on the detected coordinate value input from the detection information input means 10 and the first observation covariance matrix calculated by the first observation covariance matrix calculation means 31B, the first filtered estimation means 33a is a prediction estimation described later. From the state vector prediction estimated value predicted by the means 33c and the state covariance matrix prediction estimated value, a temporary state vector and a temporary state covariance matrix obtained by estimating (filtering) the current state are calculated.
That is, the first filtered estimation means 33a is configured to detect the state vector (state vector predicted estimated value) and the state predicted by the prediction estimating means 33c based on the observed information (detected coordinate values and first observed covariance matrix). A current state vector (provisional state vector) and a state covariance matrix (provisional state covariance matrix) are estimated (filtered) from a dispersion matrix (state covariance matrix prediction estimation value). Note that the current state is further estimated by the second filtering estimation unit 33b described later, and thus is in a temporary state at this stage.

例えば、第1濾波推定手段33aは、一般的なカルマンフィルタの濾波推定部による逐次推定処理により推定を行う。ここで、観測された情報である検出座標値をya、第1観測共分散行列をRa、予測推定手段33cにおいて時刻〔t−1〕までの状態から予測した時刻tの状態である状態ベクトル予測推定値をxt|t-1、状態共分散行列予測推定値をPt|t-1としたとき、第1濾波推定手段33aは、仮状態ベクトルxtmpおよび仮状態共分散行列Ptmpを、以下の式(9)により算出する。 For example, the first filtered estimation means 33a performs estimation by a sequential estimation process by a filtered estimation unit of a general Kalman filter. Here, the detected coordinate value, which is the observed information, is y a , the first observation covariance matrix is R a , and the state at time t predicted from the state up to time [t−1] in the prediction estimation means 33c. When the vector prediction estimation value is x t | t−1 and the state covariance matrix prediction estimation value is P t | t−1 , the first filtering estimation means 33a uses the temporary state vector x tmp and the temporary state covariance matrix P. tmp is calculated by the following equation (9).

Figure 2006244181
Figure 2006244181

なお、ここで、Kaはカルマンフィルタにおけるゲイン(カルマンゲイン)を示している。また、Haは状態量(状態ベクトル)と観測量(座標値)との関係を示す観測行列を示している。また、Tは転置を表している。
例えば、観測行列Haは、前記式(8)に示したように、状態ベクトルxとして、N次元の座標値(修正座標値)yと、その速度vとを用いる場合、以下の式(10)とすることができる。なお、IN×NはN行N列の単位行列、ON×NはN行N列の零行列を示している。
Here, K a indicates a gain (Kalman gain) in the Kalman filter. H a represents an observation matrix indicating the relationship between the state quantity (state vector) and the observation quantity (coordinate values). T represents transposition.
For example, as shown in the equation (8), the observation matrix H a uses the following equation (10) when an N-dimensional coordinate value (corrected coordinate value) y and its velocity v are used as the state vector x. ). Note that I N × N represents a unit matrix of N rows and N columns, and O N × N represents a zero matrix of N rows and N columns.

Figure 2006244181
Figure 2006244181

さらに一般化して、推定すべき座標(出力値となる修正座標値)を含んだ状態量(状態ベクトルx)と、観測量(検出座標値ya)との関係を関数(観測関数)ha(x)で表した場合、第1濾波推定手段33aは、以下の式(11)により、仮状態ベクトルxtmpおよび仮状態共分散行列Ptmpを算出する。なお、観測行列Haは、観測関数ha(x)を偏微分することにより算出される。 Further generalized, and to be estimated coordinate state quantity including (as the output value correction coordinate value) (the state vector x), the relation between the observed quantity (the detection coordinate value y a) function (observation function) h a When represented by (x), the first filtering estimation means 33a calculates the temporary state vector x tmp and the temporary state covariance matrix P tmp according to the following equation (11). Incidentally, the observation matrix H a is calculated by partially differentiating the observation function h a (x).

Figure 2006244181
Figure 2006244181

このように算出された仮状態ベクトルxtmpおよび仮状態共分散行列Ptmpは、第2濾波推定手段33bに出力される。 The temporary state vector x tmp and the temporary state covariance matrix P tmp calculated in this way are output to the second filtered estimation means 33b.

第2濾波推定手段33bは、指示情報入力手段20から入力された指示座標値と、第2観測共分散行列算出手段32Bで算出された第2観測共分散行列とに基づいて、第1濾波推定手段33aによって推定された仮状態ベクトルと、仮状態共分散行列とから、現在の状態を推定(濾波)した状態ベクトル濾波推定値と状態共分散行列濾波推定値とを算出するものである。
すなわち、第2濾波推定手段33bは、観測された情報(指示座標値および第2観測共分散行列)に基づいて、第1濾波推定手段33aで推定された状態ベクトル(仮状態ベクトル)および状態共分散行列(仮状態共分散行列)から、現在の状態ベクトル(状態ベクトル濾波推定値)および状態共分散行列(状態共分散行列濾波推定値)を推定(濾波)するものである。
The second filtered estimation means 33b is configured to perform first filtered estimation based on the indicated coordinate value input from the indicated information input means 20 and the second observed covariance matrix calculated by the second observed covariance matrix calculating means 32B. From the temporary state vector estimated by the means 33a and the temporary state covariance matrix, a state vector filtered estimated value and a state covariance matrix filtered estimated value obtained by estimating (filtering) the current state are calculated.
In other words, the second filtered estimation means 33b, based on the observed information (indicated coordinate values and second observed covariance matrix), the state vector (provisional state vector) and the state shared by the first filtered estimation means 33a. A current state vector (state vector filtered estimated value) and a state covariance matrix (state covariance matrix filtered estimated value) are estimated (filtered) from the dispersion matrix (provisional state covariance matrix).

例えば、第2濾波推定手段33bは、一般的なカルマンフィルタの濾波推定部による逐次推定処理により推定を行う。ここで、観測された情報である指示座標値をym、第2観測共分散行列をRm、第1濾波推定手段33aで推定(濾波)された仮状態ベクトルをxtmp、仮状態共分散行列をPtmpとしたとき、第2濾波推定手段33bは、状態ベクトル濾波推定値xt|tおよび状態共分散行列濾波推定値Pt|tを、以下の式(12)により算出する。 For example, the second filtered estimation means 33b performs estimation by a successive estimation process by a filtered estimation unit of a general Kalman filter. Here, the indicated coordinate value which is the observed information is y m , the second observation covariance matrix is R m , the temporary state vector estimated (filtered) by the first filter estimating means 33a is x tmp , and the temporary state covariance. When the matrix is P tmp , the second filtering estimation means 33b calculates the state vector filtering estimated value x t | t and the state covariance matrix filtering estimated value P t | t by the following equation (12).

Figure 2006244181
Figure 2006244181

なお、ここで、Kmはカルマンフィルタにおけるゲイン(カルマンゲイン)を示している。また、Hmは状態量(状態ベクトル)と観測量(座標値)との関係を示す観測行列を示している。また、Tは転置を表している。
例えば、観測行列Hmは、前記式(8)に示したように、状態ベクトルxとして、N次元の座標値(修正座標値)yと、その速度vとを用いる場合、以下の式(13)とすることができる。なお、IN×NはN行N列の単位行列、ON×NはN行N列の零行列を示している。
Here, K m represents a gain (Kalman gain) in the Kalman filter. H m represents an observation matrix indicating the relationship between state quantities (state vectors) and observation quantities (coordinate values). T represents transposition.
For example, when the observation matrix H m uses an N-dimensional coordinate value (corrected coordinate value) y and its velocity v as the state vector x as shown in the equation (8), the following equation (13) ). Note that I N × N represents a unit matrix of N rows and N columns, and O N × N represents a zero matrix of N rows and N columns.

Figure 2006244181
Figure 2006244181

さらに一般化して、推定すべき座標(出力値となる修正座標値)を含んだ状態量(状態ベクトルx)と、観測量(指示座標値ym)との関係を関数(観測関数)hm(x)で表した場合、第2濾波推定手段33bは、以下の式(14)により、状態ベクトル濾波推定値xt|tおよび状態共分散行列濾波推定値Pt|tを算出する。なお、観測行列Hmは、観測関数hm(x)を偏微分することにより算出される。 Further generalized, the relationship between the state quantity (state vector x) including the coordinates to be estimated (corrected coordinate values serving as output values) and the observation quantity (indicated coordinate value y m ) is a function (observation function) h m. When represented by (x), the second filtered estimation means 33b calculates the state vector filtered estimated value x t | t and the state covariance matrix filtered estimated value P t | t by the following equation (14). Note that the observation matrix H m is calculated by partial differentiation of the observation function h m (x).

Figure 2006244181
Figure 2006244181

このように算出された状態ベクトル濾波推定値xt|tは、予測推定手段33cと選択手段33dとに出力される。また、状態共分散行列濾波推定値Pt|tは、予測推定手段33cに出力される。 The state vector filtered estimated value x t | t calculated in this way is output to the prediction estimating means 33c and the selecting means 33d. Further, the state covariance matrix filtered estimated value P t | t is output to the prediction estimating means 33c.

予測推定手段33cは、第2濾波推定手段33bによって算出された状態ベクトル濾波推定値および状態共分散行列濾波推定値を遅延し、予め定めた状態遷移規則に基づいて、現在の状態を推定(予測)した状態ベクトル(状態ベクトル予測推定値)と、その状態ベクトルの共分散行列(状態共分散行列予測推定値)とを算出するものである。
ここでは、予測推定手段33cは、遅延手段331と、予測推定値算出手段332とを備えている。
The prediction estimating unit 33c delays the state vector filtered estimated value and the state covariance matrix filtered estimated value calculated by the second filtered estimating unit 33b, and estimates (predicts) the current state based on a predetermined state transition rule. ) State vector (state vector prediction estimation value) and a covariance matrix (state covariance matrix prediction estimation value) of the state vector.
Here, the prediction estimation unit 33 c includes a delay unit 331 and a prediction estimated value calculation unit 332.

遅延手段331は、第2濾波推定手段33bによって算出された状態ベクトル濾波推定値および状態共分散行列濾波推定値を遅延させるものである。この遅延手段331は、一般的なメモリ(図示せず)に、状態ベクトル濾波推定値および状態共分散行列濾波推定値を保持し、1時点前(現在の時刻をtとしたときの〔t−1〕時点)の状態ベクトル濾波推定値および状態共分散行列濾波推定値をメモリから読み出して、予測推定値算出手段332に出力する。   The delay means 331 delays the state vector filtered estimated value and the state covariance matrix filtered estimated value calculated by the second filtered estimating means 33b. This delay means 331 holds a state vector filtered estimated value and a state covariance matrix filtered estimated value in a general memory (not shown), and is one time before (when the current time is t [t− 1) The state vector filtered estimated value and the state covariance matrix filtered estimated value at time 1) are read from the memory and output to the predicted estimated value calculating means 332.

予測推定値算出手段332は、遅延手段331によって遅延されて出力された状態ベクトル濾波推定値および状態共分散行列濾波推定値から、現在の状態を推定(予測)した状態ベクトル予測推定値と、状態共分散行列予測推定値とを算出するものである。
例えば、予測推定値算出手段332は、1時点前(時刻〔t−1〕)の状態ベクトル濾波推定値をxt-1|t-1、状態共分散行列濾波推定値をPt-1|t-1、状態遷移規則を示す状態遷移行列をF、プロセス雑音の共分散行列をQとしたとき、現時点(時刻t)の状態ベクトル予測推定値xt|t-1および状態共分散行列予測推定値Pt|t-1を、以下の式(15)により算出する。
The predicted estimated value calculating means 332 is a state vector predicted estimated value obtained by estimating (predicting) the current state from the state vector filtered estimated value and the state covariance matrix filtered estimated value delayed and output by the delay means 331, and the state A covariance matrix prediction estimated value is calculated.
For example, the predicted estimated value calculating means 332 sets the state vector filtered estimated value one time before (time [t−1]) to x t−1 | t−1 and the state covariance matrix filtered estimated value to P t−1 | t-1 , where the state transition matrix indicating the state transition rule is F and the process noise covariance matrix is Q, the current state (time t) state vector prediction estimate x t | t-1 and state covariance matrix prediction The estimated value P t | t−1 is calculated by the following equation (15).

Figure 2006244181
Figure 2006244181

なお、式(15)における状態遷移行列Fは、状態遷移を行うための規則(状態遷移規則)として、予め図示を省略した記憶手段に記憶しておく。この状態遷移行列Fは、前記式(8)に示したように、状態ベクトルxとして、N次元の座標値(修正座標値)yと、その速度vとを用いる場合、以下の式(16)とすることができる。なお、IN×NはN行N列の単位行列、ON×NはN行N列の零行列を示している。 Note that the state transition matrix F in Expression (15) is stored in advance in a storage unit (not shown) as a rule for performing state transition (state transition rule). As shown in the equation (8), the state transition matrix F uses the following equation (16) when an N-dimensional coordinate value (corrected coordinate value) y and its velocity v are used as the state vector x. It can be. Note that I N × N represents a unit matrix of N rows and N columns, and O N × N represents a zero matrix of N rows and N columns.

Figure 2006244181
Figure 2006244181

この式(16)に示した状態遷移行列Fを用いることで、前記式(15)における状態遷移の予測は、等速度モデルによる予測となる。なお、状態遷移行列Fは等速度モデルのみならず、他のモデル(例えば、等加速度モデル等)を予測するための規則を設定することとしてもよい。   By using the state transition matrix F shown in the equation (16), the prediction of the state transition in the equation (15) is based on a constant velocity model. Note that the state transition matrix F may be set with rules for predicting not only the uniform velocity model but also other models (for example, the uniform acceleration model).

また、前記式(15)におけるプロセス雑音の共分散行列Qは、状態ベクトル濾波推定値xt-1|t-1から、状態ベクトル予測推定値xt|t-1への遷移において考慮すべき不確かさを共分散行列で表したものであって、等速度モデルのモデル化誤差、外部から加えられるノイズ、外部振動等による外乱を考慮して設定する行列である。
例えば、プロセス雑音の共分散行列Qは、半正定値行列として与えることができ、前記式(8)に示したように、状態ベクトルxとして、N次元の座標値(修正座標値)yと、その速度vとを用いる場合、非負のスカラ値qを用いて、以下の式(17)とすることができる。なお、IN×NはN行N列の単位行列、ON×NはN行N列の零行列を示している。
Further, the covariance matrix Q of the process noise in the equation (15) should be considered in the transition from the state vector filtered estimated value x t−1 | t−1 to the state vector predicted estimated value x t | t−1 . Uncertainty is expressed as a covariance matrix, and is set in consideration of disturbance due to modeling error of a constant velocity model, noise applied from the outside, external vibration, and the like.
For example, the process noise covariance matrix Q can be given as a semi-positive definite matrix, and as shown in the equation (8), as a state vector x, an N-dimensional coordinate value (corrected coordinate value) y, When the velocity v is used, the following equation (17) can be obtained using the non-negative scalar value q. Note that I N × N represents a unit matrix of N rows and N columns, and O N × N represents a zero matrix of N rows and N columns.

Figure 2006244181
Figure 2006244181

この予測推定値算出手段332で算出(予測)された状態ベクトル予測推定値と、状態共分散行列予測推定値とは、第1濾波推定手段33aに出力される。   The state vector prediction estimation value calculated (predicted) by the prediction estimation value calculation unit 332 and the state covariance matrix prediction estimation value are output to the first filter estimation unit 33a.

選択手段33dは、第2濾波推定手段33bによって算出された状態ベクトル濾波推定値から、検出対象の位置を選択し、修正座標値として出力するものである。
すなわち、選択手段33dは、時刻tにおける状態ベクトル予測推定値xt|tから、以下の式(18)に示すような関数ζを定義することで座標値(修正座標値yout)を取り出す。
The selection means 33d selects the position of the detection target from the state vector filtered estimated value calculated by the second filtered estimating means 33b, and outputs it as a corrected coordinate value.
That is, the selecting unit 33d extracts a coordinate value (corrected coordinate value y out ) by defining a function ζ as shown in the following equation (18) from the state vector predicted estimated value x t | t at time t.

Figure 2006244181
Figure 2006244181

この関数ζは、前記式(8)に示したように、状態ベクトルxとして、N次元の座標値(修正座標値)yと、その速度vとを用いる場合、以下の式(19)とすることができる。なお、IN×NはN行N列の単位行列、ON×NはN行N列の零行列を示している。 As shown in the equation (8), this function ζ is expressed by the following equation (19) when an N-dimensional coordinate value (corrected coordinate value) y and its velocity v are used as the state vector x. be able to. Note that I N × N represents a unit matrix of N rows and N columns, and O N × N represents a zero matrix of N rows and N columns.

Figure 2006244181
Figure 2006244181

なお、出力される修正座標値youtは、検出情報入力手段10から入力された検出座標値や、指示情報入力手段20から入力された指示座標値と、必ずしも同じ座標系や同じ次元である必要はない。例えば、検出座標値や指示座標値には、画像上(表示装置4の画面上)の2次元座標を用い、修正座標値youtには、図5で示したサッカー競技場における地面上に対応する2次元座標を用いてもよい。この場合、選択手段33dには、映像に対応して、サッカー競技場を撮影したカメラのズーム、パン、チルト等のカメラパラメータを入力することとし、前記式(18)の関数ζは、そのカメラパラメータに基づいて、座標変換を行うこととする。 The corrected coordinate value y out that is output need not necessarily have the same coordinate system and the same dimensions as the detected coordinate value input from the detection information input unit 10 and the instruction coordinate value input from the instruction information input unit 20. There is no. For example, two-dimensional coordinates on the image (on the screen of the display device 4) are used for the detected coordinate values and the designated coordinate values, and the corrected coordinate values y out correspond to the ground on the soccer field shown in FIG. Two-dimensional coordinates may be used. In this case, camera parameters such as zoom, pan, and tilt of the camera that captured the soccer stadium are input to the selection means 33d corresponding to the video, and the function ζ of the equation (18) is the camera. Coordinate conversion is performed based on the parameters.

以上説明したように、座標値修正手段33Bは、過去の状態から現在の状態を推定(予測)するとともに、観測情報に基づいて、現在の状態を推定(濾波)するため、観測情報が入力されない場合であっても、適宜座標値を推定して出力することができ、滑らかに修正を行うことができる。   As described above, the coordinate value correcting unit 33B estimates (predicts) the current state from the past state and estimates (filters) the current state based on the observation information, so that the observation information is not input. Even in this case, the coordinate value can be estimated and output as appropriate, and the correction can be performed smoothly.

なお、オンライン座標値修正装置1Bは、一般的なコンピュータを、前記した各手段として機能させることで実現することができる。このプログラム(オンライン座標値修正プログラム)は、通信回線を介して配布することも可能であるし、CD−ROM等の記録媒体に書き込んで配布することも可能である。   Note that the online coordinate value correcting apparatus 1B can be realized by causing a general computer to function as each of the above-described means. This program (online coordinate value correction program) can be distributed via a communication line, or can be distributed by writing on a recording medium such as a CD-ROM.

[オンライン座標値修正装置の動作]
次に、図4を参照(構成については、適宜図1および図3参照)して、オンライン座標値修正装置の動作について説明する。図4は、本発明における第2の実施の形態に係るオンライン座標値修正装置の主要動作を示すフローチャートである。ここでは、オンライン座標値修正装置1Bにおいて修正座標値を算出する加重合成手段30Bの動作を主に説明することとする。
[Operation of online coordinate value correction device]
Next, referring to FIG. 4 (refer to FIG. 1 and FIG. 3 as appropriate for the configuration), the operation of the online coordinate value correcting apparatus will be described. FIG. 4 is a flowchart showing the main operation of the online coordinate value correcting apparatus according to the second embodiment of the present invention. Here, the operation of the weighted combining means 30B for calculating the corrected coordinate value in the online coordinate value correcting apparatus 1B will be mainly described.

まず、オンライン座標値修正装置1Bは、検出情報入力手段10において、位置検出装置2から、検出対象の位置である検出座標値と、その確度を示す信頼性値とが入力されたかどうかを判定する(ステップS10)。
ここで、検出座標値と信頼性値とが入力された場合(ステップS10でYes)、オンライン座標値修正装置1Bは、第1観測共分散行列算出手段31Bによって、入力された信頼性値から、第1重み係数となる共分散(第1観測共分散行列)を前記式(4)により算出する(ステップS11)。
First, the online coordinate value correction apparatus 1B determines whether or not the detection information input means 10 has input from the position detection apparatus 2 a detection coordinate value that is a position to be detected and a reliability value that indicates its accuracy. (Step S10).
Here, when the detected coordinate value and the reliability value are input (Yes in step S10), the online coordinate value correcting apparatus 1B uses the first observation covariance matrix calculating unit 31B to input the reliability value. A covariance (first observation covariance matrix) serving as a first weighting coefficient is calculated by the equation (4) (step S11).

そして、オンライン座標値修正装置1Bは、座標値修正手段33Bの第1濾波推定手段33aによって、ステップS10において入力された検出座標値と、ステップS11において算出された第1観測共分散行列とに基づいて、予測推定手段33cによって予測された状態ベクトル(状態ベクトル予測推定値)と状態共分散行列(状態共分散行列予測推定値)とから、現在の状態を推定した仮状態ベクトルと仮状態共分散行列とを前記式(9)により算出する(第1の濾波推定:ステップS12)。
一方、検出座標値と信頼性値とが入力されていない場合(ステップS10でNo)、第1濾波推定手段33aは、予測推定手段33cによって予測された状態ベクトル予測推定値および状態共分散行列予測推定値を、そのまま仮状態ベクトルおよび仮状態共分散行列とする(ステップS13)。
Then, the online coordinate value correcting apparatus 1B is based on the detected coordinate value input in step S10 by the first filter estimating unit 33a of the coordinate value correcting unit 33B and the first observation covariance matrix calculated in step S11. From the state vector predicted by the prediction estimation unit 33c (state vector prediction estimation value) and the state covariance matrix (state covariance matrix prediction estimation value), the temporary state vector and the temporary state covariance estimated from the current state The matrix is calculated by the equation (9) (first filtering estimation: step S12).
On the other hand, when the detected coordinate value and the reliability value are not input (No in step S10), the first filter estimation unit 33a uses the state vector prediction estimation value and the state covariance matrix prediction predicted by the prediction estimation unit 33c. The estimated value is directly used as a temporary state vector and a temporary state covariance matrix (step S13).

次に、オンライン座標値修正装置1Bは、指示情報入力手段20において、座標指示装置3から、操作者が指示した位置である指示座標値と、筆圧の強さを示す筆圧値とが入力されたかどうかを判定する(ステップS14)。
ここで、指示座標値と筆圧値とが入力された場合(ステップS14でYes)、オンライン座標値修正装置1Bは、第2観測共分散行列算出手段32Bによって、入力された筆圧値から、第2重み係数となる共分散(第2観測共分散行列)を前記式(6)により算出する(ステップS15)。
Next, in the on-line coordinate value correcting apparatus 1B, the instruction information input means 20 inputs the instruction coordinate value that is the position instructed by the operator and the writing pressure value indicating the writing pressure intensity from the coordinate indicating apparatus 3. It is determined whether it has been performed (step S14).
Here, when the indicated coordinate value and the writing pressure value are input (Yes in step S14), the online coordinate value correcting device 1B uses the second observation covariance matrix calculating unit 32B to calculate the input writing pressure value from the input writing pressure value. A covariance (second observation covariance matrix) serving as a second weighting coefficient is calculated by the above equation (6) (step S15).

そして、オンライン座標値修正装置1Bは、座標値修正手段33Bの第2濾波推定手段33bによって、ステップS14において入力された指示座標値と、ステップS15において算出された第2観測共分散行列とに基づいて、第1濾波推定手段33aによって算出(濾波)された状態ベクトル(仮状態ベクトル)と状態共分散行列(仮状態共分散行列)とから、現在の状態を推定した状態ベクトル濾波推定値と状態共分散行列濾波推定値とを前記式(12)により算出する(第2の濾波推定:ステップS16)。
一方、指示座標値と筆圧値とが入力されていない場合(ステップS14でNo)、第2濾波推定手段33bは、第1濾波推定手段33aによって算出(濾波)された仮状態ベクトルおよび仮状態共分散行列を、そのまま状態ベクトル濾波推定値および状態共分散行列濾波推定値とする(ステップS17)。
Then, the online coordinate value correction apparatus 1B is based on the indicated coordinate value input in step S14 and the second observation covariance matrix calculated in step S15 by the second filtering estimation unit 33b of the coordinate value correction unit 33B. From the state vector (provisional state vector) and the state covariance matrix (provisional state covariance matrix) calculated (filtered) by the first filtering estimation means 33a, the state vector filtered estimated value and the state estimated from the current state The covariance matrix filtered estimated value is calculated by the equation (12) (second filtered estimation: step S16).
On the other hand, when the designated coordinate value and the writing pressure value are not input (No in step S14), the second filtered estimating unit 33b calculates the temporary state vector and the temporary state calculated (filtered) by the first filtered estimating unit 33a. The covariance matrix is directly used as the state vector filtered estimated value and the state covariance matrix filtered estimated value (step S17).

そして、オンライン座標値修正装置1Bは、選択手段33dによって、第2濾波推定手段33bで算出(濾波)された状態ベクトル濾波推定値から、検出対象の位置を選択し、修正座標値として出力する(ステップS18)。   Then, the online coordinate value correcting apparatus 1B selects the position of the detection target from the state vector filtered estimated value calculated (filtered) by the second filtered estimating unit 33b by the selecting unit 33d, and outputs it as a corrected coordinate value ( Step S18).

さらに、オンライン座標値修正装置1Bは、予測推定手段33cによって、1時点前の状態ベクトル(状態ベクトル濾波推定値)および状態共分散行列(状態共分散行列濾波推定値)から、現時点の状態ベクトル(状態ベクトル予測推定値)および状態共分散行列(状態共分散行列予測推定値)を、前記式(15)により算出する(予測推定:ステップS19)。
そして、オンライン座標値修正装置1は、ステップS10に戻って動作を継続する。また、ステップS19で算出(予測)された状態ベクトル予測推定値および状態共分散行列予測推定値は、ステップS12およびステップS13で使用される。
Further, the online coordinate value correction apparatus 1B uses the prediction estimation unit 33c to calculate the current state vector (state vector dispersion estimated value) from the state vector (state vector filtered estimated value) and the state covariance matrix (state covariance matrix filtered estimated value) one point before. A state vector prediction estimation value) and a state covariance matrix (state covariance matrix prediction estimation value) are calculated by the equation (15) (prediction estimation: step S19).
And the online coordinate value correction apparatus 1 returns to step S10, and continues operation | movement. Further, the state vector prediction estimated value and the state covariance matrix prediction estimated value calculated (predicted) in step S19 are used in step S12 and step S13.

なお、映像表示手段40の動作は、第1の実施の形態で説明したオンライン座標値修正装置1と同じであるため、説明を省略する。
以上の動作によって、オンライン座標値修正装置1Bは、時系列に入力される検出座標値を、操作者の筆圧の変化に伴って、滑らかに修正することができる。また、オンライン座標値修正装置1Bは、検出座標値や指示座標値の入力がない場合であっても、適宜濾波推定、予測推定を行うことで、修正座標値を時系列に出力することができる。
Note that the operation of the video display means 40 is the same as that of the online coordinate value correcting apparatus 1 described in the first embodiment, and thus the description thereof is omitted.
With the above operation, the online coordinate value correcting apparatus 1B can smoothly correct the detected coordinate values input in time series in accordance with the change in the writing pressure of the operator. Further, the online coordinate value correction apparatus 1B can output the corrected coordinate values in time series by appropriately performing filtering estimation and prediction estimation even when there is no input of the detected coordinate value or the designated coordinate value. .

本発明における第1の実施の形態に係るオンライン座標値修正装置の構成を示すブロック図である。It is a block diagram which shows the structure of the online coordinate value correction apparatus which concerns on 1st Embodiment in this invention. 本発明における第1の実施の形態に係るオンライン座標値修正装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the online coordinate value correction apparatus which concerns on 1st Embodiment in this invention. 本発明における第2の実施の形態に係るオンライン座標値修正装置の構成を示すブロック図である。It is a block diagram which shows the structure of the online coordinate value correction apparatus which concerns on 2nd Embodiment in this invention. 本発明における第2の実施の形態に係るオンライン座標値修正装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the online coordinate value correction apparatus which concerns on 2nd Embodiment in this invention. 本発明に係るオンライン座標値修正装置が表示装置に表示する表示画面の例を示す図である。It is a figure which shows the example of the display screen which the online coordinate value correction apparatus which concerns on this invention displays on a display apparatus.

符号の説明Explanation of symbols

1、1B オンライン座標値修正装置
2 位置検出装置
3 座標指示装置
4 表示装置
10 検出情報入力手段
20 指示情報入力手段
30、30B 加重合成手段
31 第1重み係数算出手段
31B 第1観測共分散行列算出手段(第1重み係数算出手段)
32 第2重み係数算出手段
32B 第2観測共分散行列算出手段(第2重み係数算出手段)
33、33B 座標値修正手段
33a 第1濾波推定手段
33b 第2濾波推定手段
33c 予測推定手段
33d 選択手段
40 映像表示手段
41 検出座標位置図形作画手段
42 修正座標位置図形作画手段
43 映像合成手段
DESCRIPTION OF SYMBOLS 1, 1B Online coordinate value correction apparatus 2 Position detection apparatus 3 Coordinate instruction | indication apparatus 4 Display apparatus 10 Detection information input means 20 Instruction information input means 30, 30B Weighting synthesis means 31 1st weight coefficient calculation means 31B 1st observation covariance matrix calculation Means (first weighting factor calculation means)
32 Second weighting coefficient calculating means 32B Second observation covariance matrix calculating means (second weighting coefficient calculating means)
33, 33B Coordinate value correction means 33a First filter estimation means 33b Second filter estimation means 33c Prediction estimation means 33d Selection means 40 Video display means 41 Detected coordinate position figure drawing means 42 Correction coordinate position figure drawing means 43 Video composition means 43

Claims (9)

位置検出装置によって検出された検出対象の位置を示す検出座標値を修正するオンライン座標値修正装置であって、
前記位置検出装置から前記検出座標値を入力する検出情報入力手段と、
操作者によって操作される座標指示装置から、修正を指示する位置を示す指示座標値と、前記操作者が前記座標指示装置に対して加えた加圧値とを入力する指示情報入力手段と、
予め定めた前記検出座標値の確度を示す信頼性値と前記加圧値とに基づいて、前記検出座標値と前記指示座標値とを加重合成することで、前記検出座標値を修正した修正座標値を算出する加重合成手段と、
を備えていることを特徴とするオンライン座標値修正装置。
An online coordinate value correcting device for correcting a detected coordinate value indicating a position of a detection target detected by a position detecting device,
Detection information input means for inputting the detection coordinate value from the position detection device;
An instruction information input means for inputting an instruction coordinate value indicating a position for instructing correction and a pressure value applied by the operator to the coordinate instruction apparatus from a coordinate instruction device operated by an operator;
Based on a predetermined reliability value indicating the accuracy of the detected coordinate value and the pressure value, the detected coordinate value is corrected by weighting and combining the detected coordinate value and the indicated coordinate value. A weighted synthesis means for calculating a value;
An on-line coordinate value correction device comprising:
位置検出装置から確度を示す信頼性値とともに出力される、検出対象の位置を示す検出座標値を修正するオンライン座標値修正装置であって、
前記位置検出装置から前記検出座標値と前記信頼性値とを入力する検出情報入力手段と、
操作者によって操作される座標指示装置から、前記操作者が指示する位置を示す指示座標値と、前記操作者が前記座標指示装置に対して加えた加圧値とを入力する指示情報入力手段と、
前記信頼性値と前記加圧値とに基づいて、前記検出座標値と前記指示座標値とを加重合成することで、前記検出座標値を修正した修正座標値を算出する加重合成手段と、
を備えていることを特徴とするオンライン座標値修正装置。
An online coordinate value correcting device that corrects a detected coordinate value indicating a position of a detection target, which is output together with a reliability value indicating accuracy from the position detecting device,
Detection information input means for inputting the detection coordinate value and the reliability value from the position detection device,
Instruction information input means for inputting an instruction coordinate value indicating a position indicated by the operator and a pressure value applied by the operator to the coordinate instruction apparatus from a coordinate instruction device operated by the operator ,
Based on the reliability value and the pressurization value, weighted synthesis means for calculating a corrected coordinate value by correcting the detected coordinate value by weighted synthesis of the detected coordinate value and the indicated coordinate value;
An on-line coordinate value correction device comprising:
前記加重合成手段は、
予め定めた算出式に基づいて、前記信頼性値から第1重み係数を算出する第1重み係数算出手段と、
予め定めた算出式に基づいて、前記加圧値から第2重み係数を算出する第2重み係数算出手段と、
前記検出座標値と前記第1重み係数との乗算値と、前記指示座標値と前記第2重み係数との乗算値との加算値に対して、前記第1重み係数と前記第2重み係数との加算値を除算することで前記修正座標値を算出する座標値修正手段と、
を備えていることを特徴とする請求項1または請求項2に記載のオンライン座標値修正装置。
The weighted synthesis means includes
First weighting factor calculating means for calculating a first weighting factor from the reliability value based on a predetermined calculation formula;
A second weighting factor calculating means for calculating a second weighting factor from the pressure value based on a predetermined calculation formula;
For the added value of the product of the detected coordinate value and the first weighting factor and the product of the indicated coordinate value and the second weighting factor, the first weighting factor and the second weighting factor Coordinate value correcting means for calculating the corrected coordinate value by dividing the added value of
The on-line coordinate value correction apparatus according to claim 1, wherein the on-line coordinate value correction apparatus is provided.
前記加重合成手段は、
前記信頼性値の共分散行列を、前記検出情報入力手段において観測される第1観測共分散行列として算出する第1観測共分散行列算出手段と、
前記加圧値の共分散行列を、前記指示情報入力手段において観測される第2観測共分散行列として算出する第2観測共分散行列算出手段と、
前記検出座標値および前記第1観測共分散行列に基づいて、前記検出対象の位置を示す座標値を含んだ状態ベクトルおよび状態共分散行列を予測した状態ベクトル予測推定値および状態共分散行列予測推定値から、現在の状態を推定した仮状態ベクトルおよび仮状態共分散行列を算出する第1濾波推定手段と、
前記指示座標値および前記第2観測共分散行列に基づいて、前記第1濾波推定手段で算出された仮状態ベクトルおよび仮状態共分散行列を補正した状態ベクトル濾波推定値および状態共分散行列濾波推定値を算出する第2濾波推定手段と、
この第2濾波推定手段によって算出された状態ベクトル濾波推定値および状態共分散行列濾波推定値を遅延し、予め定めた状態遷移規則に基づいて、前記状態ベクトル予測推定値および前記状態共分散行列予測推定値を予測する予測推定手段と、
前記第2濾波推定手段によって算出された状態ベクトル濾波推定値から、前記検出対象の位置を示す座標値を選択し、前記修正座標値とする選択手段と、
を備えていることを特徴とする請求項1または請求項2に記載のオンライン座標値修正装置。
The weighted synthesis means includes
First observation covariance matrix calculation means for calculating the covariance matrix of the reliability value as a first observation covariance matrix observed in the detection information input means;
Second observation covariance matrix calculation means for calculating the covariance matrix of the pressurization value as a second observation covariance matrix observed in the instruction information input means;
Based on the detected coordinate value and the first observation covariance matrix, a state vector including a coordinate value indicating the position of the detection target and a state vector prediction estimation value and a state covariance matrix prediction estimation in which the state covariance matrix is predicted First filtering estimation means for calculating a temporary state vector and a temporary state covariance matrix that estimate the current state from the values;
Based on the indicated coordinate values and the second observation covariance matrix, the temporary state vector calculated by the first filter estimating means and the state vector filtered estimated value and the state covariance matrix filtered estimation obtained by correcting the temporary state covariance matrix are corrected. A second filter estimating means for calculating a value;
The state vector filtered estimated value and the state covariance matrix filtered estimated value calculated by the second filtered estimating means are delayed, and the state vector predicted estimated value and the state covariance matrix predicted are determined based on a predetermined state transition rule. A predictive estimating means for predicting an estimated value;
A selecting unit that selects a coordinate value indicating the position of the detection target from the state vector filtered estimated value calculated by the second filtered estimating unit, and sets the corrected coordinate value;
The on-line coordinate value correction apparatus according to claim 1, wherein the on-line coordinate value correction apparatus is provided.
前記位置検出装置は、映像から前記検出対象の位置を検出するものであって、
前記修正座標値で示される位置に対応する図形を作画する修正座標位置図形作画手段と、
この修正座標位置図形作画手段で作画された図形と、前記映像とを合成する映像合成手段と、
を備えた映像表示手段を備えていることを特徴とする請求項1乃至請求項4のいずれか一項に記載のオンライン座標値修正装置。
The position detection device detects a position of the detection target from an image,
Correction coordinate position figure drawing means for drawing a figure corresponding to the position indicated by the correction coordinate value;
Video composition means for synthesizing the graphic created by the corrected coordinate position graphic drawing means and the video;
The on-line coordinate value correction apparatus according to claim 1, further comprising: an image display unit including
前記位置検出装置は、映像から前記検出対象の位置を検出するものであって、
前記検出座標値で示される位置に対応する図形を作画する検出座標位置図形作画手段と、
この検出座標位置図形作画手段で作画された図形と、前記映像とを合成する映像合成手段と、
を備えた映像表示手段を備えていることを特徴とする請求項1乃至請求項4のいずれか一項に記載のオンライン座標値修正装置。
The position detection device detects a position of the detection target from an image,
Detected coordinate position figure drawing means for drawing a figure corresponding to the position indicated by the detected coordinate value;
A video synthesizing unit that synthesizes the graphic drawn by the detected coordinate position graphic drawing unit and the video;
The on-line coordinate value correction apparatus according to claim 1, further comprising: an image display unit including
前記位置検出装置は、映像から前記検出対象の位置を検出するものであって、
前記検出座標値で示される位置に対応する図形を作画する検出座標位置図形作画手段と、
前記修正座標値で示される位置に対応する図形を作画する修正座標位置図形作画手段と、
この修正座標位置図形作画手段で作画された図形と、前記検出座標位置図形作画手段で作画された図形と、前記映像とを合成する映像合成手段と、
を備えた映像表示手段を備えていることを特徴とする請求項1乃至請求項4のいずれか一項に記載のオンライン座標値修正装置。
The position detection device detects a position of the detection target from an image,
Detected coordinate position figure drawing means for drawing a figure corresponding to the position indicated by the detected coordinate value;
Correction coordinate position figure drawing means for drawing a figure corresponding to the position indicated by the correction coordinate value;
Video composition means for combining the graphic created by the corrected coordinate position graphic drawing means, the graphic drawn by the detected coordinate position graphic drawing means, and the video;
The on-line coordinate value correction apparatus according to claim 1, further comprising: an image display unit including
位置検出装置から確度を示す信頼性値とともに出力される、検出対象の位置を示す検出座標値を、操作者によって操作される座標指示装置から出力される指示座標値と、前記座標指示装置に対して加えられた加圧値とに基づいて修正するために、コンピュータを、
前記信頼性値に基づいて、第1重み係数を算出する第1重み係数算出手段、
前記加圧値に基づいて、第2重み係数を算出する第2重み係数算出手段、
前記検出座標値と前記第1重み係数との乗算値と、前記指示座標値と前記第2重み係数との乗算値との加算値に対して、前記第1重み係数と前記第2重み係数との加算値を除算することで前記検出座標値を修正した修正座標値を算出する座標値修正手段、
として機能させることを特徴とするオンライン座標値修正プログラム。
The detected coordinate value indicating the position of the detection target output together with the reliability value indicating the accuracy from the position detecting device, the indicated coordinate value output from the coordinate indicating device operated by the operator, and the coordinate indicating device To correct the computer based on the applied pressure value,
First weighting factor calculating means for calculating a first weighting factor based on the reliability value;
Second weighting factor calculating means for calculating a second weighting factor based on the pressure value;
For the added value of the product of the detected coordinate value and the first weighting factor and the product of the indicated coordinate value and the second weighting factor, the first weighting factor and the second weighting factor Coordinate value correcting means for calculating a corrected coordinate value by correcting the detected coordinate value by dividing the added value of
An on-line coordinate value correction program characterized by functioning as
位置検出装置から確度を示す信頼性値とともに出力される、検出対象の位置を示す検出座標値を、操作者によって操作される座標指示装置から出力される指示座標値と、前記座標指示装置に対して加えられた加圧値とに基づいて修正するために、コンピュータを、
前記信頼性値の共分散行列を、第1観測共分散行列として算出する第1観測共分散行列算出手段、
前記加圧値の共分散行列を、第2観測共分散行列として算出する第2観測共分散行列算出手段、
前記検出座標値および前記第1観測共分散行列に基づいて、前記検出対象の位置を示す座標値を含んだ状態ベクトルおよび状態共分散行列を予測した状態ベクトル予測推定値および状態共分散行列予測推定値から、現在の状態を推定した仮状態ベクトルおよび仮状態共分散行列を算出する第1濾波推定手段、
前記指示座標値および前記第2観測共分散行列に基づいて、前記第1濾波推定手段で算出された仮状態ベクトルおよび仮状態共分散行列を補正した状態ベクトル濾波推定値および状態共分散行列濾波推定値を算出する第2濾波推定手段、
この第2濾波推定手段によって算出された状態ベクトル濾波推定値および状態共分散行列濾波推定値を遅延し、予め定めた状態遷移規則に基づいて、前記状態ベクトル予測推定値および前記状態共分散行列予測推定値を予測する予測推定手段、
前記第2濾波推定手段によって算出された状態ベクトル濾波推定値から、前記検出対象の位置を示す座標値を選択し、前記検出座標値を修正した修正座標値とする選択手段、
として機能させることを特徴とするオンライン座標値修正プログラム。
The detected coordinate value indicating the position of the detection target output together with the reliability value indicating the accuracy from the position detecting device, the indicated coordinate value output from the coordinate indicating device operated by the operator, and the coordinate indicating device To correct the computer based on the applied pressure value,
First observation covariance matrix calculating means for calculating a covariance matrix of the reliability values as a first observation covariance matrix;
Second observation covariance matrix calculating means for calculating the covariance matrix of the pressure value as a second observation covariance matrix;
Based on the detected coordinate value and the first observation covariance matrix, a state vector including a coordinate value indicating the position of the detection target and a state vector prediction estimation value and a state covariance matrix prediction estimation in which the state covariance matrix is predicted A first filtering estimation means for calculating a temporary state vector and a temporary state covariance matrix that estimate the current state from the values;
Based on the indicated coordinate values and the second observation covariance matrix, the temporary state vector calculated by the first filter estimating means and the state vector filtered estimated value and the state covariance matrix filtered estimation obtained by correcting the temporary state covariance matrix are corrected. Second filter estimating means for calculating a value;
The state vector filtered estimated value and the state covariance matrix filtered estimated value calculated by the second filtered estimating means are delayed, and the state vector predicted estimated value and the state covariance matrix predicted are determined based on a predetermined state transition rule. Predictive estimation means for predicting the estimated value;
A selection unit that selects a coordinate value indicating the position of the detection target from the state vector filtered estimation value calculated by the second filtering estimation unit, and sets the detected coordinate value as a corrected coordinate value;
An on-line coordinate value correction program characterized by functioning as
JP2005059663A 2005-03-03 2005-03-03 Online coordinate value correction device and online coordinate value correction program Expired - Fee Related JP4551245B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005059663A JP4551245B2 (en) 2005-03-03 2005-03-03 Online coordinate value correction device and online coordinate value correction program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005059663A JP4551245B2 (en) 2005-03-03 2005-03-03 Online coordinate value correction device and online coordinate value correction program

Publications (2)

Publication Number Publication Date
JP2006244181A true JP2006244181A (en) 2006-09-14
JP4551245B2 JP4551245B2 (en) 2010-09-22

Family

ID=37050531

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005059663A Expired - Fee Related JP4551245B2 (en) 2005-03-03 2005-03-03 Online coordinate value correction device and online coordinate value correction program

Country Status (1)

Country Link
JP (1) JP4551245B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111435535A (en) * 2019-01-14 2020-07-21 株式会社日立制作所 Method and device for acquiring joint point information
CN112215884A (en) * 2019-07-09 2021-01-12 北京地平线机器人技术研发有限公司 Pose determination method and device for plane marker

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06223144A (en) * 1993-01-25 1994-08-12 Hitachi Ltd Interactive correcting device
JPH09218963A (en) * 1996-02-09 1997-08-19 Sharp Corp Three-dimensional image preparing device
JP2000333080A (en) * 1999-05-21 2000-11-30 Yamaha Corp Image pickup and processing unit
JP2004070452A (en) * 2002-08-02 2004-03-04 Nippon Hoso Kyokai <Nhk> State estimation device, its method and program, current state estimation device, and future state estimation device
JP2005209148A (en) * 2003-12-26 2005-08-04 Nippon Hoso Kyokai <Nhk> Offside line detector, program therefor, and player location detector

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06223144A (en) * 1993-01-25 1994-08-12 Hitachi Ltd Interactive correcting device
JPH09218963A (en) * 1996-02-09 1997-08-19 Sharp Corp Three-dimensional image preparing device
JP2000333080A (en) * 1999-05-21 2000-11-30 Yamaha Corp Image pickup and processing unit
JP2004070452A (en) * 2002-08-02 2004-03-04 Nippon Hoso Kyokai <Nhk> State estimation device, its method and program, current state estimation device, and future state estimation device
JP2005209148A (en) * 2003-12-26 2005-08-04 Nippon Hoso Kyokai <Nhk> Offside line detector, program therefor, and player location detector

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111435535A (en) * 2019-01-14 2020-07-21 株式会社日立制作所 Method and device for acquiring joint point information
CN111435535B (en) * 2019-01-14 2024-03-08 株式会社日立制作所 Method and device for acquiring joint point information
CN112215884A (en) * 2019-07-09 2021-01-12 北京地平线机器人技术研发有限公司 Pose determination method and device for plane marker

Also Published As

Publication number Publication date
JP4551245B2 (en) 2010-09-22

Similar Documents

Publication Publication Date Title
EP1349106B1 (en) Finger movement detection method and apparatus
US10013795B2 (en) Operation support method, operation support program, and operation support system
EP2613290B1 (en) Image processing device, image processing method, and image processing program
US20050196017A1 (en) Moving object tracking method, and image processing apparatus
US20040246229A1 (en) Information display system, information processing apparatus, pointing apparatus, and pointer cursor display method in information display system
US20060066635A1 (en) Video object clipping method and apparatus
US9389766B2 (en) Image display device, image display method, image display program, and computer-readable recording medium for providing zoom functionality
JPWO2014069247A1 (en) Image processing apparatus, image processing method, and program
US20120026083A1 (en) Interface apparatus and method for controlling a device
US8476902B2 (en) Magnetic resonance imaging apparatus
JP2017191492A (en) Information processing device, information processing method and video generation system
JP2008217526A (en) Image processor, image processing program, and image processing method
US20200193637A1 (en) Image processing apparatus and image processing method
JP4551245B2 (en) Online coordinate value correction device and online coordinate value correction program
JP2019061502A (en) Information processing device, information processing method, and program
EP2490172B1 (en) Image processing device, image processing method and image processing program
JP6371515B2 (en) X-ray image processing apparatus, X-ray image processing method, and program
JP3959163B2 (en) Data input device and coordinate transformation method applied to the same
JP2708032B2 (en) Robot teaching device
KR100908084B1 (en) Recording medium recording method of 3-dimensional coordinates of subject and program for executing the method in computer
JP2020098575A (en) Image processor, method for processing information, and image processing program
CN114299192B (en) Method, device, equipment and medium for positioning and mapping
US8958268B2 (en) User-interface target motion analysis method using two-dimensional parameter control and speed zoom
CN115205419A (en) Instant positioning and map construction method and device, electronic equipment and readable storage medium
JP2006215657A (en) Method, apparatus, program and program storage medium for detecting motion vector

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070409

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100316

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100514

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100615

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100709

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130716

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140716

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees