JP2003052039A - System and method for measuring work motion, and program for measurement of work motion - Google Patents
System and method for measuring work motion, and program for measurement of work motionInfo
- Publication number
- JP2003052039A JP2003052039A JP2001239041A JP2001239041A JP2003052039A JP 2003052039 A JP2003052039 A JP 2003052039A JP 2001239041 A JP2001239041 A JP 2001239041A JP 2001239041 A JP2001239041 A JP 2001239041A JP 2003052039 A JP2003052039 A JP 2003052039A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- worker
- image
- data
- computer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000033001 locomotion Effects 0.000 title claims description 64
- 238000005259 measurement Methods 0.000 title claims description 25
- 230000008569 process Effects 0.000 claims abstract description 39
- 230000008859 change Effects 0.000 claims abstract description 17
- 239000000284 extract Substances 0.000 claims abstract description 12
- 238000013500 data storage Methods 0.000 claims abstract description 9
- 238000013075 data extraction Methods 0.000 claims description 51
- 238000012545 processing Methods 0.000 claims description 49
- 230000005484 gravity Effects 0.000 claims description 37
- 230000006870 function Effects 0.000 abstract description 49
- 230000006872 improvement Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 26
- 238000006243 chemical reaction Methods 0.000 description 15
- 230000036544 posture Effects 0.000 description 12
- 238000000605 extraction Methods 0.000 description 9
- 238000005070 sampling Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 1
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 1
- 101100280298 Homo sapiens FAM162A gene Proteins 0.000 description 1
- 102100023788 Protein FAM162A Human genes 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004800 psychological effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Closed-Circuit Television Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Processing (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は、作業動作計測シス
テム、方法、プログラムにかかり、特に、所定の工場内
にて作業を行う作業員の動作を計測するシステム、方
法、プログラムに関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a work movement measuring system, method and program, and more particularly to a system, method and program for measuring the movement of a worker who works in a predetermined factory.
【0002】[0002]
【従来の技術】工場等の作業現場では、作業者の負担軽
減・事故防止等の観点から、作業者が自分の担当する持
ち場内で移動することをできるだけ軽減するよう、作業
の項目・順番を工夫したり、作業環境を整える等の配慮
を行っている。2. Description of the Related Art At a work site such as a factory, from the viewpoint of reducing the burden on the worker and preventing accidents, the items and order of the work should be set so as to reduce the worker's movement within the area where he is in charge. We are taking measures such as ingenuity and improving the working environment.
【0003】作業者が作業中にどのくらい移動を行うか
というデータ採取法は、一般的に万歩計(登録商標)を
使用したり、別の人物が作業者の移動を計測する方法が
採られる。そして、このようにして得られたデータをも
とに、作業工程の見直しや、配置、環境等を整えること
により、工場内における作業の効率化を図っている。As a data collection method for how much the worker moves during work, a pedometer (registered trademark) is generally used or a method in which another person measures the worker's movement is adopted. . Then, based on the data obtained in this way, the work process is reviewed, the layout, the environment, etc. are adjusted to improve the work efficiency in the factory.
【0004】[0004]
【発明が解決しようとする課題】しかしながら、上記従
来例には、以下のような不都合があった。上記のように
万歩計を使用する場合には、作業者の移動歩数により移
動距離は計測できるが、その移動方向を得ることができ
ず、さらには、姿勢の変化も認識できないため、当該作
業者の詳細な行動を把握することができないという問題
が生じる。また、別の人物が計測する場合には、測定を
行う人物の人件費がかかるという問題が生じる。そし
て、かかる場合には、作業者が作業者の測定を行う人物
から見られることにより、当該作業者が心理的影響を受
けることが考えられ、作業者が普段通りに作業を行うこ
とが妨げられる場合も生じ、計測データの信頼性の低下
という問題も生じる。However, the above conventional example has the following inconveniences. When the pedometer is used as described above, the movement distance can be measured by the number of steps taken by the worker, but the movement direction cannot be obtained, and further, since the posture change cannot be recognized, the work There is a problem that the detailed behavior of the person cannot be grasped. In addition, when another person measures, there is a problem that the labor cost of the person who performs the measurement is required. Then, in such a case, it is considered that the worker is psychologically affected by being seen by the person who measures the worker, and the worker is prevented from performing the work as usual. In some cases, the reliability of the measurement data may deteriorate.
【0005】[0005]
【発明の目的】本発明は、上記従来例の有する不都合を
改善し、特に、作業員に過剰な意識を与えずに当該作業
員の動作を計測することができ、かかる計測データを作
業環境の改善等に利用して作業の効率化を図ることがで
きる作業動作計測システム、方法、プログラムを提供す
ることをその目的とする。An object of the present invention is to improve the inconvenience of the above-mentioned conventional example, and in particular, it is possible to measure the motion of the worker without giving excessive consciousness to the worker, and the measured data can be stored in the work environment. It is an object of the present invention to provide a work motion measuring system, method, and program that can be used for improvement and the like to improve work efficiency.
【0006】[0006]
【課題を解決するための手段】そこで、本発明では、所
定の作業現場における作業者の動作を計測するシステム
であって、所定の時間間隔にて作業現場の画像を取り込
むカメラと、このカメラの画像取り込み動作を制御する
と共に取り込んだ画像を処理するコンピュータとを備
え、カメラは、コンピュータに制御されて所定の画像の
取り込み範囲を変更するよう当該カメラを駆動制御する
駆動部を備えると共に、コンピュータは、所定の時間間
隔にて取り込んだ画像に写し出された作業者に関するデ
ータである追従データを抽出する追従データ抽出機能
と、この抽出された追従データに基づいて作業者の位置
がカメラの画面上の所定箇所に位置するよう当該作業者
を追従してカメラの駆動部を駆動制御するカメラ制御機
能と、画像の取り込み時刻とカメラの駆動制御量とを記
憶する測定データ記憶機能とを備えた、という構成を採
っている(請求項1)。Therefore, the present invention is a system for measuring the motion of a worker at a predetermined work site, and a camera for capturing an image of the work site at a predetermined time interval, and this camera. The camera includes a computer that controls an image capturing operation and processes the captured image, and the camera includes a drive unit that controls the camera to change a capture range of a predetermined image under the control of the computer. , A follow-up data extraction function for extracting follow-up data, which is data relating to the worker projected in the image captured at a predetermined time interval, and the position of the worker on the camera screen based on the extracted follow-up data. A camera control function that drives and controls the camera drive unit by following the worker so that they are located at a predetermined location, and capturing images And a measurement data storage function for storing a drive control amount of time the camera adopts a configuration that (claim 1).
【0007】このような構成にすることにより、まず、
コンピュータの指令に基づいてカメラから作業現場の画
像が取り込まれる。続いて、この画像はコンピュータに
て処理されて、当該画像に写し出されている作業者が抽
出される。続いて、抽出された作業者を追従するよう、
カメラが駆動制御され、例えば、当該カメラのレンズの
向きが変更されるようコンピュータにて制御される。そ
して、カメラ制御量を作業者の移動量とみなして、この
移動量が当該画像を取り込んだ時刻と共にコンピュータ
の記憶部等に記憶される。そして、所定の時間が経過し
た後に再度画像が取り込まれ、上記処理が繰り返され
る。With this structure, first of all,
Images of the work site are captured from the camera based on instructions from the computer. Then, this image is processed by a computer, and the worker imaged in the image is extracted. Then, to follow the extracted workers,
The camera is driven and controlled, for example, by a computer so that the orientation of the lens of the camera is changed. Then, the camera control amount is regarded as the movement amount of the operator, and the movement amount is stored in the storage unit of the computer together with the time when the image is captured. Then, after a predetermined time has elapsed, the image is captured again, and the above processing is repeated.
【0008】従って、画像取り込み時刻と共に記憶され
たデータから、作業者の作業中の移動状況を時系列にて
把握することができるため、かかるデータを参照して今
後の作業現場の配置や環境等の改善を図ることができ
る。そして、かかる測定の際に、作業者の動作は他人に
計測されるのではなく、カメラ等の機器類を介して測定
されるため、他人に見られることによる心理的負担が軽
減され、正常なデータの取得を図ることができる。Therefore, since the movement status of the worker during the work can be grasped in chronological order from the data stored together with the image capturing time, the data such as the location and environment of the future work site can be referred to by referring to the data. Can be improved. Then, at the time of such a measurement, the movement of the worker is not measured by another person, but is measured through a device such as a camera, so that a psychological burden caused by being seen by another person is reduced, and a normal operation is performed. Data can be acquired.
【0009】また、コンピュータは、あらかじめ作業者
を写す画像を取り込んで当該画像から作業者に関するデ
ータである基本データを抽出する基本データ抽出機能を
備え、カメラ制御機能は、基本データ抽出機能にて抽出
された基本データと追従データ抽出機能にて抽出された
追従データとに基づいて作業者を追従してカメラを駆動
制御するようにすると望ましい(請求項2)。Further, the computer has a basic data extraction function of previously capturing an image showing the worker and extracting basic data which is data relating to the worker from the image, and the camera control function is extracted by the basic data extraction function. It is desirable to control the camera by following the operator based on the basic data thus obtained and the follow-up data extracted by the follow-up data extraction function (claim 2).
【0010】これにより、測定開始前に、コンピュータ
にて作業者に関するデータ(例えば、身体に関するデー
タ)が抽出され、かかるデータは一時的に保持される。
そして、かかる基本となるデータと追従作業時における
データとが比較されることにより、作業者の現在の位置
が把握され追従が行われる。従って、もととなるデータ
と比較して現在の動作状況を把握するため、容易かつ迅
速に測定を行うことができる。As a result, before the measurement is started, the data regarding the worker (for example, the data regarding the body) is extracted by the computer, and the data is temporarily held.
Then, by comparing the basic data and the data at the time of the follow-up work, the current position of the worker is grasped and the follow-up is performed. Therefore, since the current operation status is grasped by comparing with the original data, the measurement can be performed easily and quickly.
【0011】また、追従データ抽出機能は、作業者のあ
らかじめ定められた所定の特徴点を抽出するようにする
と望ましい(請求項3)。そして、基本データ抽出機能
及び追従データ抽出機能は、作業者のあらかじめ定めら
れた同一のパラメータを抽出すると望ましい(請求項
4)。特に、基本データ抽出機能及び追従データ抽出機
能は、作業者の胴体部のそれぞれ重心を算出すると共
に、カメラ制御機能は、算出した各重心に基づいて作業
者を追従するようカメラを駆動制御するようにすると望
ましい(請求項5)。さらには、基本データ抽出機能及
び追従データ抽出機能は、作業者の胴体部及び頭部の所
定のサイズに関する情報を算出すると共に、カメラ制御
部は、算出した各情報に基づいて作業者を追従するよう
カメラを制御するようにしてもよい(請求項6)。Further, it is preferable that the follow-up data extracting function extracts a predetermined characteristic point of the worker (claim 3). It is desirable that the basic data extraction function and the follow-up data extraction function extract the same predetermined parameter of the operator (claim 4). In particular, the basic data extraction function and the follow-up data extraction function calculate the center of gravity of the body of the worker, and the camera control function controls the camera to follow the worker based on the calculated center of gravity. It is desirable to set (Claim 5). Furthermore, the basic data extraction function and the follow-up data extraction function calculate information about a predetermined size of the body and head of the worker, and the camera control unit follows the worker based on each calculated information. You may make it control a camera like this (Claim 6).
【0012】このようにすることにより、取り扱う情報
が少なくなり、測定処理の迅速化、測定の容易化を図る
ことができる。特に、胴体部の重心や、胴体部を所定の
形状に近似してかかる形状の辺の長さなどを追従データ
とすることで、前者の場合には作業者の中心を追従する
ことでより確実なデータ測定を図ることができ、後者の
場合には奥行き(ズーム)方向の移動も測定することが
できる。By doing so, the amount of information to be handled is reduced, and the measurement process can be speeded up and the measurement can be facilitated. In particular, by using the center of gravity of the body part and the length of the side of such a shape that approximates the body part as a follow-up data, in the former case it is more reliable by following the center of the worker. In this case, the movement in the depth (zoom) direction can also be measured.
【0013】また、カメラが備える駆動部は、当該カメ
ラが取り込む画像の範囲を、パン方向とチルト方向とズ
ーム方向とに移動するよう当該カメラを駆動すると望ま
しい(請求項7)。これにより、作業者の三次元空間内
における作業動作を測定することができる。Further, it is preferable that the driving unit provided in the camera drives the camera so as to move the range of the image captured by the camera in the pan direction, the tilt direction and the zoom direction (claim 7). Thereby, the work motion of the worker in the three-dimensional space can be measured.
【0014】さらには、作業現場に、コンピュータにて
動作を制御される所定の作業機械を配設し、コンピュー
タは、測定データに基づいて作業現場内の作業機械の動
作を制御するようにしてもよい(請求項8)。これによ
り、作業中における作業現場の稼働状況を制御すること
ができるので、例えば、ラインにおいて作業員の動きか
ら所定箇所の作業が遅滞しているとコンピュータにて認
識された場合には、かかる箇所のラインを遅く稼働する
よう制御するなどでき、測定データを迅速に活用するこ
とができると共に、作業現場における作業の効率化を迅
速に図ることができる。Further, a predetermined work machine whose operation is controlled by a computer is provided at the work site, and the computer controls the operation of the work machine at the work site based on the measurement data. Good (Claim 8). As a result, it is possible to control the operation status of the work site during the work, and for example, when the computer recognizes that the work at a predetermined location is delayed due to the movement of the worker in the line, such a location can be controlled. The line can be controlled to operate slowly, the measured data can be used quickly, and the work efficiency at the work site can be improved quickly.
【0015】また、本発明では、所定の時間間隔にて所
定の作業現場の画像を取り込むと共に所定の画像の取り
込み範囲を変更するよう自身を駆動制御する駆動部を有
するカメラと、このカメラの画像取り込み動作を制御す
ると共に取り込んだ画像を処理するコンピュータとを備
え、作業現場における作業者の動作を計測する方法であ
って、コンピュータがあらかじめ作業者を写す画像を取
り込んで当該画像から作業者に関するデータである基本
データを抽出する基本データ抽出工程と、コンピュータ
が所定の時間間隔にて取り込んだ画像に写し出された作
業者に関するデータである追従データを抽出する追従デ
ータ抽出工程と、抽出された追従データに基づいて作業
者の位置がカメラの画面上の所定箇所に位置するよう当
該作業者を追従してカメラを駆動制御するカメラ制御工
程と、画像の取り込み時刻とカメラの駆動制御量とを記
憶する測定データ記憶工程とを備え、追従データ抽出工
程とカメラ制御工程とが、所定の時間間隔にて画像が取
り込まれるごとに作動する、という方法をも提供してい
る(請求項9)。Further, according to the present invention, a camera having a driving unit for driving itself so as to capture an image of a predetermined work site at a predetermined time interval and change a capturing range of the predetermined image, and an image of the camera. A method for measuring the movement of a worker at a work site, which comprises a computer for controlling a capturing operation and for processing the captured image, wherein the computer captures an image of the worker in advance, and data regarding the worker from the image. A basic data extracting step of extracting basic data, a follow-up data extracting step of extracting follow-up data which is data relating to an operator projected on an image captured by a computer at a predetermined time interval, and the extracted follow-up data Follow the worker so that the position of the worker is located at a predetermined position on the screen of the camera. A camera control process for driving and controlling the camera, and a measurement data storage process for storing an image capture time and a camera drive control amount are provided, and the tracking data extraction process and the camera control process are performed at predetermined time intervals. It also provides a method of activating each time when is taken (Claim 9).
【0016】さらには、所定の時間間隔にて所定の作業
現場の画像を取り込むと共に所定の画像の取り込み範囲
を変更するよう自身を駆動制御する駆動部を有するカメ
ラと、このカメラの画像取り込み動作を制御すると共に
取り込んだ画像を処理するコンピュータとを備え、作業
現場における作業者の動作を計測するようコンピュータ
の動作を制御するプログラムであって、あらかじめ作業
者を写す画像を取り込んで当該画像から作業者に関する
データである基本データを抽出する基本データ抽出処理
と、所定の時間間隔にて取り込んだ画像に写し出された
作業者に関するデータである追従データを抽出する追従
データ抽出処理と、抽出された追従データに基づいて作
業者の位置がカメラの画面上の所定箇所に位置するよう
当該作業者を追従してカメラを駆動制御するカメラ制御
処理と、画像の取り込み時刻とカメラの駆動制御量とを
記憶する測定データ記憶処理と、を実行するようコンピ
ュータの動作を制御する作業動作計測用プログラムや、
当該プログラムを記憶した記憶媒体をも提供している
(請求項10、請求項11)。このようにしても、上述
と同様に作動し、上記目的を達成することができる。Furthermore, a camera having a driving unit for driving itself so as to capture an image of a predetermined work site at a predetermined time interval and changing a capturing range of the predetermined image, and an image capturing operation of this camera. A program that includes a computer that controls and processes the captured image, and is a program that controls the operation of the computer so as to measure the operation of the operator at the work site. Data extraction processing for extracting basic data that is data relating to the operator, tracking data extraction processing for extracting tracking data that is data related to the worker projected on the image captured at a predetermined time interval, and the extracted tracking data Follows the worker so that the position of the worker is located at a predetermined position on the screen of the camera based on A camera control process for driving and controlling the camera Te, and operation performance measuring program for controlling the operation of the computer to perform the measurement-data storing process of storing a drive control amount of capture time and camera images, and
A storage medium storing the program is also provided (claims 10 and 11). Even in this case, the same operation as described above can be performed and the above object can be achieved.
【0017】[0017]
【発明の実施の形態】〈第1の実施形態〉以下、本発明
の第1の実施形態において、図1乃至図13を参照して
説明する。図1は、本発明の第1の実施形態の構成を示
すブロック図である。図2乃至図6は、カメラに写し出
される作業者を示すと共に当該作業者に関するデータを
抽出するときの様子を示す説明図である。図7乃至図8
は、カメラを駆動制御する際におけるキャリブレーショ
ン処理を説明する説明図である。図9乃至図13は、第
1の実施形態における動作を示すフローチャートであ
る。BEST MODE FOR CARRYING OUT THE INVENTION <First Embodiment> A first embodiment of the present invention will be described below with reference to FIGS. FIG. 1 is a block diagram showing the configuration of the first exemplary embodiment of the present invention. FIG. 2 to FIG. 6 are explanatory diagrams showing a worker imaged on the camera and showing a state when data regarding the worker is extracted. 7 to 8
FIG. 6 is an explanatory diagram illustrating a calibration process when driving and controlling a camera. 9 to 13 are flowcharts showing the operation in the first embodiment.
【0018】(全体構成)図1に示すように、本発明で
ある作業動作測定システムは、所定の時間間隔にて作業
現場の画像を取り込むカメラ1と、このカメラ1の画像
取り込み動作を制御すると共に取り込んだ画像を処理す
るコンピュータ2とを備えている。そして、当該システ
ムが作業現場内に備えられていて、かかる構成により所
定の作業現場にて作業を行う作業者3の動作が計測され
る。すなわち、作業者3が作業中に作業現場内をどのよ
うに移動し、そして、どのような姿勢をとったかが測定
される。以下、これを詳述する。(Overall Structure) As shown in FIG. 1, a work motion measuring system according to the present invention controls a camera 1 for capturing an image of a work site at predetermined time intervals, and an image capturing operation of this camera 1. And a computer 2 for processing the captured image. Then, the system is provided in the work site, and the operation of the worker 3 who works at a predetermined work site is measured by such a configuration. That is, it is measured how the worker 3 moves within the work site during the work and what posture the worker 3 takes. Hereinafter, this will be described in detail.
【0019】(カメラ)カメラ1は、作業現場内に備え
付けられるCDDカメラである。例えば、カラー画像を
取り込み可能であって、所定の有効画素数を有するもの
である。そして、このカメラ1には画像の取り込み範囲
を変更する駆動部11が備えられている。この駆動部1
1は、レンズをパン方向(左右)、チルト方向(上下)
方向、さらには、ズーム方向にも駆動するものである。
そして、駆動部11のパン・チルト・ズーム動作は、コ
ンピュータ2にて駆動制御される。これにより、後述す
るように、パンチルト動作にて作業者の2次元平面上に
おける位置の追従を行うことができ、ズーム動作にて作
業者3の前後方向(奥行き)方向の位置の追従を行うこ
とができる。そして、結果として、三次元空間内におけ
る作業者の位置の追従を行うことができる。(Camera) The camera 1 is a CDD camera installed in a work site. For example, it can capture a color image and has a predetermined number of effective pixels. The camera 1 is provided with a drive unit 11 that changes the image capturing range. This drive unit 1
1 is the lens pan direction (left and right), tilt direction (up and down)
It drives in the direction, and further in the zoom direction.
Then, the pan / tilt / zoom operation of the drive unit 11 is drive-controlled by the computer 2. Thereby, as described later, the position of the worker on the two-dimensional plane can be tracked by the pan-tilt operation, and the position of the worker 3 in the front-back direction (depth) direction can be tracked by the zoom operation. You can Then, as a result, the position of the worker in the three-dimensional space can be tracked.
【0020】なお、このカメラ1は、コンピュータ2に
所定のインタフェースを介して接続されていて、コンピ
ュータ2の指令にて画像を取り込み、取り込んだ画像を
当該コンピュータ2に送信する。The camera 1 is connected to the computer 2 via a predetermined interface, captures an image according to a command from the computer 2, and transmits the captured image to the computer 2.
【0021】ここで、作業現場とは、一般的な工場など
である。例えば、かかる工場内にはラインが形成され、
かかるライン上に複数の作業員3が配置されている。そ
して、これら作業員3は、ライン上を流れる製品となり
うる対象物に対して種々の作業を行う。Here, the work site is a general factory or the like. For example, a line is formed in such a factory,
A plurality of workers 3 are arranged on this line. Then, these workers 3 perform various operations on the target object which can be a product flowing on the line.
【0022】そして、従業員3は、かかる作業現場にて
作業を行っている者である。作業員3は、あらかじめ定
められた作業着(図示せず)などの衣類を着用してい
る。この衣類は、例えば、青色の衣類であって、丈は腰
まであるベストである。丈を腰までとし袖のないベスト
としたのは、後述するように、作業員3の胴体部Bを画
像より認識するためである。そして、青色としたのは、
当該胴体部Bを色彩にて特徴づけたためである。また、
上記作業着に加えて、作業員3は、両腕に青色と異な
る、例えば、赤色の衣類を腕に巻いてもよい。すなわ
ち、肩から手首までは赤色の衣類に覆われていることと
なる。ここで、作業員3が着用する作業着の形状、色彩
は上記のものに限定されない。例えば、作業着は長袖の
衣類であって、胴体部と袖の部分とが別個の色で分けら
れていてもよい。The employee 3 is a person who is working at the work site. The worker 3 wears clothing such as predetermined work clothes (not shown). This garment is, for example, a blue garment that is a waist-length vest. The reason why the waist length is set to the waist and the sleeveless vest is used is to recognize the body portion B of the worker 3 from the image, as described later. And the blue one is
This is because the body portion B is characterized by color. Also,
In addition to the above-mentioned work clothes, the worker 3 may wear clothes different from blue, for example, red clothes on both arms. That is, the shoulders to the wrists are covered with the red clothing. Here, the shape and color of the work clothes worn by the worker 3 are not limited to those described above. For example, the work clothes may be long-sleeved clothing, and the body portion and the sleeve portions may be separated by different colors.
【0023】さらに、作業員3は、頭部Hにヘルメット
(図示せず)を被っている。このヘルメットは安全対策
用のヘルメットであり、黄色に着色されている。但し、
ヘルメットは黄色に限定されず、他の色であってもよい
が、上記作業着と異なる色であって、工場内に存在しな
い色であると望ましい。これも上記同様に、後に作業者
3の胴体部と共に頭部Hをも認識するため、所定の色彩
にて特徴づける必要からである。ここで、作業員3はヘ
ルメットでなく、所定の色に着色された帽子を被ってい
てもよい。Further, the worker 3 wears a helmet (not shown) on the head H. This helmet is a safety helmet and is colored yellow. However,
The helmet is not limited to yellow, and may have other colors, but it is desirable that the helmet has a color different from that of the work clothes described above and that does not exist in the factory. This is also because, similarly to the above, the head H as well as the body portion of the worker 3 is later recognized, and therefore it is necessary to characterize the head H with a predetermined color. Here, the worker 3 may wear a hat colored in a predetermined color instead of the helmet.
【0024】(コンピュータ)コンピュータ2は、上述
したようにカメラ1の動作を制御し、取り込んだ画像を
処理するものである。従って、制御部である一般的なC
PU21を備えたワークステーション、サーバコンピュ
ータ、パーソナルコンピュータなどのコンピュータであ
れば足りる。但し、画像処理を行うため、比較的演算処
理能力の高いCPU21を備えたコンピュータでると望
ましい。そして、このコンピュータ2は、取り込んだ画
像データを表示して保持するメモリ空間となるフレーム
バッファ22(フレームメモリ)と、CPU21に組み
込まれるプログラムが一時的に保持されるメモリである
RAM23と、上記プログラムなどを格納しておく記憶
部であるハードディスク24等を備えている。これら各
装置はCPU21に接続されていて、当該CPU21の
指令にてその動作が制御される。これら各装置は公知で
あるため、説明を省略する。(Computer) The computer 2 controls the operation of the camera 1 and processes the captured image as described above. Therefore, a general C which is a control unit
A computer such as a workstation provided with the PU 21, a server computer, or a personal computer is sufficient. However, since the image processing is performed, it is preferable that the computer has a CPU 21 having a relatively high calculation processing capability. Then, the computer 2 includes a frame buffer 22 (frame memory) which is a memory space for displaying and holding the captured image data, a RAM 23 which is a memory for temporarily storing a program incorporated in the CPU 21, and the program described above. A hard disk 24 or the like, which is a storage unit for storing the above, is provided. Each of these devices is connected to the CPU 21, and its operation is controlled by a command from the CPU 21. Since each of these devices is publicly known, description thereof will be omitted.
【0025】ここで、上記CPU21が有する機能につ
いて説明する。コンピュータ2のCPU21には、あら
かじめ作業者3を写す画像を取り込んで当該画像から作
業者3に関するデータである基本データを抽出する基本
データ抽出機能と、所定の時間間隔にて取り込んだ画像
に写し出された作業者3に関するデータである追従デー
タを抽出する追従データ抽出機能と、この抽出された追
従データに基づいて作業者の位置がカメラ1の画面上の
所定箇所に位置するよう当該作業者3を追従してカメラ
1の駆動部11を駆動制御するカメラ制御機能と、画像
の取り込み時刻とカメラの駆動制御量とを記憶する測定
データ記憶機能とが備えられている。The functions of the CPU 21 will be described below. The CPU 21 of the computer 2 has a basic data extraction function of preliminarily capturing an image of the worker 3 and extracting basic data that is data relating to the worker 3 from the image, and displaying the captured image at a predetermined time interval. The follow-up data extraction function for extracting the follow-up data which is the data related to the worker 3, and the worker 3 so that the position of the worker is located at a predetermined position on the screen of the camera 1 based on the extracted follow-up data. A camera control function for following the drive control of the drive unit 11 of the camera 1 and a measurement data storage function for storing the image capture time and the camera drive control amount are provided.
【0026】基本データ抽出機能を、図2を参照して説
明する。図2は、カメラ1にて取り込まれた画像を示す
図であって、作業者の基本データ抽出の様子を示す説明
図である。この基本データ抽出機能は、作業開始前に作
動する。具体的には、例えば、作業開始前に作業者がコ
ンピュータ2に所定の入力を行い、当該入力を受けた一
定時間経過後に作動するようになっている。これは、後
述するように、作業者が入力後に所定位置に立たなけれ
ばならないためである。The basic data extraction function will be described with reference to FIG. FIG. 2 is a diagram showing an image captured by the camera 1, and is an explanatory diagram showing how the worker extracts basic data. This basic data extraction function operates before the start of work. Specifically, for example, an operator makes a predetermined input to the computer 2 before starting the work, and operates after a lapse of a certain time after receiving the input. This is because the operator must stand in a predetermined position after inputting, as described later.
【0027】そして、基本データ抽出機能は、まず、作
業現場内のあらかじめ定められた場所の画像をカメラ1
を介して取り込む。このとき、上述したようにあらかじ
め定められた作業着やヘルメットを着用している作業者
は、所定の立ち位置にカメラ1に対して正面を向いて直
立する。これにより、コンピュータ2には作業現場内で
直立した作業者3の画像を得ることができる(図2参
照)。Then, the basic data extraction function firstly takes an image of a predetermined place in the work site to the camera 1.
Take in through. At this time, the worker wearing the predetermined work clothes or helmet as described above stands upright at the predetermined standing position with the front facing the camera 1. This allows the computer 2 to obtain an image of the worker 3 standing upright in the work site (see FIG. 2).
【0028】この画像に対して、基本データ抽出機能
は、作業者3の頭から肩(頭部H)のサイズ(高さ)H
h、肩から腰(胴体部B)のサイズ(高さ)Hb、頭部
Hの幅のサイズWh、肩幅(胴体部Bの幅)のサイズW
b、頭部の2次元重心位置Gh(三角マーク)、胴体部
の2次元重心位置Gb(四角マーク)を抽出する。With respect to this image, the basic data extraction function has a size (height) H from the head to the shoulder (head H) of the worker 3.
h, size (height) Hb from shoulder to waist (body B), size Wh of width of head H, size W of shoulder width (width of body B)
b, the two-dimensional center-of-gravity position Gh (triangle mark) of the head and the two-dimensional center-of-gravity position Gb (square mark) of the body part are extracted.
【0029】具体的には、まず、取り込んだ画像データ
に対して、各色領域ごとにラベリングを行う。すなわ
ち、各色領域のかたまりごとに分離する。そして、分離
された各領域の中から胴体部Bと頭部Hとを抽出する。
胴体部Bは、上述したように作業者3が青色のベストを
着用しているので、かかる色の領域を認識することで、
当該胴体部Bを抽出することができる。また、頭部H
は、作業者3が被っているヘルメット(図示せず)の色
を検索して、その色領域を頭部Hとして抽出する。但
し、ヘルメットは、一般的には頭部Hの上半分しか覆っ
ていないため、当該頭部Hの下半分、すなわち、顔面部
分は、例えば、上記胴体部Bの上端を頭部Hの下端と仮
定して、ヘルメットの輪郭にて形成される円弧の両端部
(弦の両端部)と上記下端とを曲線にて結んで半楕円形
(半円形)の輪郭を形成する。そして、ヘルメット部分
である上半分と、形成された下半分とを連結して頭部H
とし、これを抽出したこととする。ここで、頭部Hの下
半分の輪郭の形成方法は、これに限定されるものではな
い。例えば、ヘルメット部分であって半円形状の上半分
を、弦を対象に折り返して下半分と仮定し、頭部Hとし
てもよい。あるいは、顔面部分の肌色部分を抽出して、
かかる部分を下半分とし頭部Hの輪郭を形成してもよ
い。Specifically, first, the captured image data is labeled for each color area. That is, each color region is separated into blocks. Then, the body portion B and the head portion H are extracted from each of the separated regions.
Since the worker 3 wears the blue vest as described above, the body portion B recognizes the area of such color,
The body part B can be extracted. Also, the head H
Searches for the color of the helmet (not shown) worn by the worker 3 and extracts the color region as the head H. However, since the helmet generally covers only the upper half of the head H, the lower half of the head H, that is, the face portion, has, for example, the upper end of the body B and the lower end of the head H. Assuming that a semi-elliptical (semi-circular) contour is formed by connecting both ends of a circular arc formed by the contour of the helmet (both ends of the chord) and the lower end with a curved line. Then, the upper half that is the helmet portion and the formed lower half are connected to each other to connect the head H
And that this is extracted. Here, the method of forming the contour of the lower half of the head H is not limited to this. For example, the upper half of the semicircular shape, which is the helmet portion, may be folded back toward the string and assumed to be the lower half, and may be the head H. Alternatively, extract the skin color part of the face part,
The contour of the head H may be formed by using such a portion as the lower half.
【0030】このようにして、胴体部B及び頭部Hを抽
出し、各部B,Hの輪郭を修正する。胴体部Bは、ほぼ
長方形状であるが、さらに曲線部分を直線に近似する。
すなわち、4辺からなる長方形にモデル化する。また、
頭部Hは、半円形状あるいは半楕円形状のそれぞれの弦
の部分を連結したものであるので、円形状あるいは楕円
形状に近い形状となっている。したがって、これの曲線
部をスムージング等することにより、さらに完全な円形
状あるいは楕円形状に近似する。近似方法は、公知の計
算手法を用いることとし、ここでは言及しない。In this way, the body portion B and the head portion H are extracted, and the contours of the portions B and H are corrected. The body portion B has a substantially rectangular shape, but the curved portion is further approximated to a straight line.
That is, it is modeled as a rectangle having four sides. Also,
The head portion H is formed by connecting the chord portions having a semicircular shape or a semielliptical shape, and thus has a shape close to a circular shape or an elliptical shape. Therefore, by smoothing the curved portion of the curved portion, the curved portion can be approximated to a complete circular shape or elliptical shape. As the approximation method, a known calculation method is used and will not be described here.
【0031】そして、輪郭を修正した胴体部B及び頭部
Hの上述したこれらの各サイズを算出する。まず、各部
B,Hの高さHb,Hhは、取り込んだ画像に対して縦
方向の各部B,Hの長さを算出する。そして、各部B,
Hの幅Wb,Whは、同様に水平方向の長さを算出す
る。但し、作業者の姿勢が傾いている場合には、当該近
似された形状が取り込み画面に対して斜めの状態のま
ま、当該画面に対して垂直、水平方向の各部B,Hの高
さHb’,Hh’が計測される。その後、かかる値を補
正等することにより、正常な実際の高さHb,Hhを算
出する(図4参照)。Then, the above-mentioned respective sizes of the body portion B and the head portion H whose contours are corrected are calculated. First, for the heights Hb and Hh of the respective parts B and H, the lengths of the respective parts B and H in the vertical direction with respect to the captured image are calculated. And each part B,
For the widths Wb and Wh of H, the length in the horizontal direction is calculated similarly. However, when the posture of the worker is tilted, the height Hb ′ of each of the parts B and H in the vertical and horizontal directions with respect to the screen is retained while the approximated shape remains oblique to the screen. , Hh 'are measured. After that, the normal actual heights Hb and Hh are calculated by correcting such values (see FIG. 4).
【0032】また、各部B,Hの2次元重心Gb,Gh
は、それぞれ長方形の重心、あるいは、楕円形(円形)
の重心を算出する。例えば、胴体部Bにおいては、長方
形の各対角線の交点が重心となり、頭部Hが円形の場合
においてはその中心が重心となる。重心の算出手法に関
しては、公知の手法を用いることとする。Further, the two-dimensional center of gravity Gb, Gh of each part B, H
Is the center of gravity of a rectangle or oval (circle)
Calculate the center of gravity of. For example, in the body portion B, the intersection of the diagonal lines of the rectangle is the center of gravity, and when the head H is circular, the center is the center of gravity. A known method is used as the method of calculating the center of gravity.
【0033】これら求められた各パラメータは、コンピ
ュータ2の記憶部(ハードディスク)24やRAM23
に記憶される。なお、当該基本データ抽出機能による処
理の流れについては、図10を参照して後述する。そし
て、この後にタイマがセットされ、あらかじめ定められ
た所定の時間が経過するごとに作業現場の画像が、カメ
ラ1を介してコンピュータ2に取り込まれる。この取り
込まれた1枚の画像に対して追従データ抽出が行われ、
カメラ制御が実行される。そして、再び作業現場の画像
が取り込まれ、同様の処理が繰り返される。Each of the obtained parameters is stored in the storage unit (hard disk) 24 of the computer 2 or the RAM 23.
Memorized in. The flow of processing by the basic data extraction function will be described later with reference to FIG. Then, after that, the timer is set, and the image of the work site is captured by the computer 2 via the camera 1 every time a predetermined time has elapsed. Follow-up data extraction is performed on this captured image,
Camera control is executed. Then, the image of the work site is captured again, and the same processing is repeated.
【0034】続いて、追従データ抽出機能を、図3乃至
図6を参照して説明する。図3乃至図6は、カメラにて
取り込まれた画像を示す図であって、作業者の追従デー
タ抽出の様子を示す説明図である。追従データ抽出機能
は、まず、作業が開始された後であって、所定の時間間
隔ごとに画像が取り込まれるたびに作動する。そして、
この機能が作動された後には、後述するカメラ制御機能
が作動して、カメラ1の向きや焦点が駆動制御される。
すなわち、一定の時間間隔ごとに作業者3の特徴点など
が抽出され、それに基づいてカメラ1が駆動制御され
る。Next, the follow-up data extraction function will be described with reference to FIGS. 3 to 6 are diagrams showing images captured by the camera, and are explanatory diagrams showing how the operator's follow-up data is extracted. The tracking data extraction function first operates after the work is started and each time an image is captured at a predetermined time interval. And
After this function is activated, the camera control function to be described later is activated to drive and control the direction and focus of the camera 1.
That is, the characteristic points of the worker 3 are extracted at regular time intervals, and the camera 1 is drive-controlled based on the extracted characteristic points.
【0035】追従データ抽出機能は、作業中の作業者3
の胴体部Bや頭部Hを抽出し、さらには、上述した各部
B,Hの各サイズHb,Hh,Wb,Wh及び重心G
b,Ghを算出する。そして、その抽出方法は、基本的
には上述した基本データ抽出機能による抽出方法と同様
である。但し、追従データ抽出機能にて作業者3の胴体
部Bなどを抽出する際には、当該作業者3は作業中であ
るため、さまざまな姿勢が考えられる。例えば、胴体部
Bに腕が重なっている場合には、重なっている部分のた
めに胴体部Bは長方形とはならないため、かかる部分を
無視して長方形近似する。例えば、図3(a)に示すよ
うに、作業者3が横を向いた場合には、腕によって胴体
部Bの色領域が2つに分離してしまう。このとき、胴体
部Bは2つであることはないとの情報をあらかじめコン
ピュータ2が有することにより、この胴体部Bは手前側
に身体の他の部分(腕や足など)があるものと仮定し
て、これらを無視して長方形に近似する。従って、図3
(a)の場合には、左右方向に分離されているため、高
さ方向の2辺は変化がないとものとみなして、かかる2
辺の両端を結んで長方形とする。The following data extraction function is used by the worker 3 who is working.
Of the body B and the head H of each of the above, and further, the sizes Hb, Hh, Wb, Wh and the center of gravity G of each of the parts B and H described above.
Calculate b and Gh. The extraction method is basically the same as the extraction method using the basic data extraction function described above. However, when the body part B of the worker 3 and the like are extracted by the follow-up data extraction function, since the worker 3 is working, various postures can be considered. For example, when the arm overlaps the body B, the body B does not have a rectangular shape because of the overlapping portion, and therefore, such a portion is ignored and the shape is approximated to a rectangle. For example, as shown in FIG. 3A, when the worker 3 faces sideways, the color region of the body B is separated into two by the arm. At this time, it is assumed that the computer 2 has in advance information that the number of the body parts B is not two, and that the body parts B have other parts of the body (arms, legs, etc.) on the front side. Then, these are disregarded and it approximates to a rectangle. Therefore, FIG.
In the case of (a), since it is separated in the left-right direction, it is assumed that the two sides in the height direction do not change, and
Connect both ends of the side to make a rectangle.
【0036】このとき、図5(a)に示すように、胴体
部Bの前面に他の色領域があって、その色領域が頭部H
である場合には、その旨を表す情報を記憶部24等に記
憶しておく。かかる情報は、後に説明するカメラ制御機
能にて用いられる。そして、その後は、上述したように
前面に何もないものとして胴体部Bを長方形に近似す
る。At this time, as shown in FIG. 5A, there is another color area on the front surface of the body B, and that color area is the head H.
If so, information indicating that is stored in the storage unit 24 or the like. Such information is used in the camera control function described later. Then, as described above, the body portion B is approximated to a rectangle by assuming that there is nothing on the front surface as described above.
【0037】ここで、胴体部Bの前面に他の色領域が重
なっているか否かの判断は、例えば、以下のように行
う。一つの例としては、胴体部Bの色領域が2つ以上の
領域に分割されている場合に、その間の領域を重なって
いると判断する。また、他の例としては、所定の領域の
外縁の半分以上が胴体部Bの色領域に囲まれている場合
に、その所定の領域を重なっていると判断する。但し、
胴体部Bの前面に他の領域が重なっているか否かの判断
手法は、上記のものに限定されない。Here, whether or not another color area overlaps the front surface of the body B is determined as follows, for example. As one example, when the color region of the body B is divided into two or more regions, it is determined that the regions between them are overlapped. Further, as another example, when more than half of the outer edge of the predetermined area is surrounded by the color area of the body B, it is determined that the predetermined areas overlap. However,
The method for determining whether or not another region overlaps the front surface of the body B is not limited to the above.
【0038】なお、胴体部Bあるいは頭部Hの色領域が
抽出されない場合、すなわち、図5(b)に示すように
胴体部Bが足によって隠されてしまっている場合や図6
(b)に示すように頭部Hが胴体部Bに隠されてしまっ
ている場合には、これら各部B,Hはないものとする。When the color region of the body B or the head H is not extracted, that is, when the body B is hidden by the feet as shown in FIG.
When the head H is hidden by the body part B as shown in (b), these parts B and H are not present.
【0039】その後、抽出された各部B,Hの高さH
b,Hh、幅Wb,Wh、重心Gb,Ghが算出され
る。このとき、胴体部Bと頭部Hの重心であるGb,G
hを結ぶ直線が、画面の垂直方向と平行でない場合に
は、図4に示すように当該GbGh直線と画面垂直方向
とのなす角度Ψが算出される。また、このときの上記H
b,Hhは、胴体部B及び頭部Hの画面垂直方向の高さ
Hb’,Hh’にそれぞれ1/cosΨをかけた値であ
る(図4参照)。After that, the height H of each of the extracted parts B and H
b, Hh, widths Wb, Wh, and centers of gravity Gb, Gh are calculated. At this time, Gb and G which are the centers of gravity of the body B and the head H
When the straight line connecting h is not parallel to the vertical direction of the screen, the angle ψ formed by the GbGh straight line and the vertical direction of the screen is calculated as shown in FIG. Also, the above H at this time
b and Hh are values obtained by multiplying the heights Hb ′ and Hh ′ of the body B and the head H in the screen vertical direction by 1 / cos Ψ, respectively (see FIG. 4).
【0040】このようにして抽出、算出された上記各値
を参照してカメラ制御機能が作動する。このカメラ制御
機能は、上記基本データ抽出機能にて抽出されて一時的
に記憶されている当該作業者3の基本データと、上記追
従データ抽出機能にて抽出された追従データ(Hb,H
h,Wb,Wh,Gb,Gh)とに基づいて作業者3を
追従してカメラ1を駆動制御する。The camera control function operates with reference to the above-extracted and calculated values. The camera control function includes basic data of the worker 3 extracted by the basic data extraction function and temporarily stored, and tracking data (Hb, Hb) extracted by the tracking data extraction function.
h, Wb, Wh, Gb, Gh) to follow the worker 3 to drive and control the camera 1.
【0041】カメラ制御機能は、基本的には、作業者3
の胴体部Bの重心Gbが画面の中心に位置するよう、当
該カメラ1を駆動制御する。すなわち、作業者3が移動
しても、胴体部Bの重心Gbを抽出した場合には、当該
重心Gbが次の画像を取り込むときに当該取り込み画像
の中心となるようカメラ1が駆動される。例えば、図3
(a)に示すように、点線で示した作業者3の初期位置
から、横向きの作業者3の位置にまで左側に移動した場
合には、当該図の四角マークで示した胴体部Bの重心G
bがカメラ1の中心(水平、垂直の点線の交点)に位置
するよう、当該カメラ1がコンピュータ2にて駆動制御
される。具体的には、コンピュータ2からカメラ1の駆
動部11に制御信号が送信され、駆動部11にてパンチ
ルト駆動される。The camera control function is basically performed by the operator 3
The camera 1 is drive-controlled so that the center of gravity Gb of the body B of the camera is located at the center of the screen. That is, even if the worker 3 moves, when the center of gravity Gb of the body B is extracted, the camera 1 is driven so that the center of gravity Gb becomes the center of the captured image when capturing the next image. For example, in FIG.
As shown in (a), when the operator 3 moves to the left side from the initial position of the worker 3 shown by the dotted line to the position of the worker 3 in the lateral direction, the center of gravity of the body B shown by the square mark in the figure. G
The computer 1 drives and controls the camera 1 so that b is located at the center of the camera 1 (the intersection of the horizontal and vertical dotted lines). Specifically, a control signal is transmitted from the computer 2 to the driving unit 11 of the camera 1, and the driving unit 11 performs pan-tilt driving.
【0042】但し、上記のように、胴体部Bの重心Gb
に基づいてパンチルト駆動のみがされる場合とは、直線
GbGhが画面に対して垂直である場合、HbとHhと
の比率が基本データと変化がない場合、そして、Hbと
HhあるいはWbとWhが基本データに対して変化が無
い場合と、全てを満たしているときである。従って、カ
メラ制御機能では、まず、直線GbGhが画面に対して
垂直であるか否かが調べられる。このとき、図4に示す
ように垂直でない場合には、上述した画面の垂直方向に
対する傾きΨが算出される。これにより、作業者3の姿
勢が傾いていることを認識することができる。そして、
かかる角度に関する情報は、後述するようにハードディ
スク24などに記憶される。However, as described above, the center of gravity Gb of the body portion B is
The case where only the pan / tilt drive is performed based on the above means that the straight line GbGh is perpendicular to the screen, the ratio between Hb and Hh does not change from the basic data, and Hb and Hh or Wb and Wh are There are no changes to the basic data and when all the data are satisfied. Therefore, the camera control function first checks whether or not the straight line GbGh is perpendicular to the screen. At this time, when it is not vertical as shown in FIG. 4, the inclination ψ of the screen with respect to the vertical direction is calculated. Thereby, it can be recognized that the posture of the worker 3 is tilted. And
Information about the angle is stored in the hard disk 24 or the like as described later.
【0043】また、垂直である場合、あるいは、傾きを
算出した後には、続いてHbとHhとの比率が、あらか
じめ測定されて記憶されている基本データのものに対し
て変化があるか否かが調べられる。変化がない場合に
は、胴体部Bに対して頭部Hの位置が前後していない、
すなわち、カメラ1に近づいたりカメラ1から遠ざかっ
たりしていないといえる。そして、かかる場合には、続
いて、Hb,Hhの長さが基本データのそれらに対して
変化しているか否かが調べられる。これにより、作業者
3自体が胴体部B及び頭部H共に全体的にカメラ1に対
して近づいたか遠ざかったかが認識できる。そして、H
b,Hhが基本データのそれらの長さと同一の長さにな
るよう、カメラ1にてズームが行われる(図3(b)参
照)。そして、このときのズーム量がカメラ1と作業者
3との距離に換算されて、一時的に保持される。Further, in the case of being vertical, or after the inclination is calculated, whether or not the ratio of Hb and Hh subsequently changes with respect to that of the basic data measured and stored in advance. Can be examined. When there is no change, the position of the head H does not move back and forth with respect to the body part B,
That is, it can be said that the camera 1 is not approaching or moving away from the camera 1. Then, in such a case, it is subsequently checked whether or not the lengths of Hb and Hh have changed with respect to those of the basic data. As a result, the operator 3 itself can recognize whether the body B and the head H are generally approaching or moving away from the camera 1. And H
The camera 1 zooms so that b and Hh have the same length as those of the basic data (see FIG. 3B). Then, the zoom amount at this time is converted into the distance between the camera 1 and the worker 3, and is temporarily held.
【0044】また、上記HbとHhとの比率が、基本デ
ータに対して変化がある場合には、頭部Hが胴体部Bの
前にあるか否かが調べられる。そして、頭部Hが胴体部
Bの前にある場合には(図5(a),(b)参照)、当
該頭部HのHhやWhのパラメータが基本データと同一
となるよう、すなわち、頭部Hに基づいてズームが行わ
れる。一方、胴体部Bが前にある場合には(図6
(a),(b)参照)、胴体部BのHbやWbのパラメ
ータが基本データと同一となるようズームが行われる。
そして、上述したように、かかる場合には作業者3がカ
メラ1に対して姿勢を大きく傾けていることが多いた
め、胴体部Bや頭部Hの高さHb,Hhを比較するより
も各部B,Hの幅Wb,Whを比較する方が、より確実
に作業者3までの距離の把握することができる。従っ
て、上記のようにズームを行う場合には、主にWb,W
hを用いて行う。そして、その後、Gbに基づいてパン
チルト駆動制御が行われる。When the ratio of Hb to Hh changes with respect to the basic data, it is checked whether or not the head H is in front of the body B. When the head H is in front of the body B (see FIGS. 5A and 5B), the parameters of Hh and Wh of the head H should be the same as the basic data, that is, Zooming is performed based on the head H. On the other hand, when the body B is in the front (see FIG.
(See (a) and (b)), the zoom is performed so that the parameters of Hb and Wb of the body B are the same as the basic data.
Further, as described above, in such a case, the worker 3 often tilts the posture with respect to the camera 1 largely, so that the heights Hb and Hh of the body B and the head H are compared with each other. By comparing the widths Wb and Wh of B and H, the distance to the worker 3 can be grasped more reliably. Therefore, when performing zooming as described above, Wb, W
Perform using h. Then, after that, the pan-tilt drive control is performed based on Gb.
【0045】ここで、上述したように、カメラ1は抽出
された作業者の重心を追従するわけであるが、このとき
実際の座標系と、カメラ座標系との校正を行わなければ
ならない。その校正処理であるキャリブレーション処理
について、図7乃至図8を参照して説明する。図7は、
キャリブレーションの処理手順を説明する説明図であ
る。図8は、カメラの駆動例を示す説明図であり、図8
(a)は仮想平面とカメラ1との関係を示し、図8
(b)はフレームバッファ上の目標点の位置を示す。な
お、ここではキャリブレーションは、VVVシステムに
よるものとする。VVVシステムは電総研が開発した3
次元物体認識システムであって、当該システムに関して
は、公知であるので説明を省略する。Here, as described above, the camera 1 follows the extracted center of gravity of the operator, but at this time, the actual coordinate system and the camera coordinate system must be calibrated. The calibration process, which is the calibration process, will be described with reference to FIGS. 7 to 8. Figure 7
It is explanatory drawing explaining the procedure of a calibration process. FIG. 8 is an explanatory diagram showing an example of driving the camera.
8A shows the relationship between the virtual plane and the camera 1, and FIG.
(B) shows the position of the target point on the frame buffer. Note that, here, the calibration is based on the VVV system. The VVV system was developed by the Institute of Electrical Engineering 3
Since the three-dimensional object recognition system is well known, the description thereof will be omitted.
【0046】まず、世界座標系の点PWをカメラ座標系
の点PCへ変換を行う。この時の変換は、カメラ座標系
の原点OC(焦点)と回転変換行列Rから次式の通りに
求まる。First, the point P W in the world coordinate system is converted into the point P C in the camera coordinate system. The conversion at this time is obtained from the origin O C (focal point) of the camera coordinate system and the rotation conversion matrix R as follows.
【0047】[0047]
【数1】 [Equation 1]
【0048】ピンホールカメラモデルから、カメラ座標
系の点PC=[XC,YC,ZC] Tに対する仮想画像
平面I上の点Piへの変換は、焦点距離fと拡張ベクト
ル[X,Y,1]T(記号は表示記号の上部に〜を付
加)を用いて次式のように表せる。From the pinhole camera model, the camera coordinates
System point PC= [XC, YC, ZC] TVirtual image against
The conversion to the point Pi on the plane I is performed with the focal length f and the extended vector.
Le [X, Y, 1]T(Symbols are marked with ~ at the top
Can be expressed as the following equation.
【0049】[0049]
【数2】 [Equation 2]
【0050】フレームバッファ上の仮想画像中心cの位
置を[a13,a23]とした変換行列を次式のように
定義し表現できる。A conversion matrix in which the position of the virtual image center c on the frame buffer is [a 13 , a 23 ] can be defined and expressed as the following equation.
【0051】[0051]
【数3】 [Equation 3]
【0052】さらに仮想画像平面上の点Piからフレー
ムバッファPf=[u,v]Tへの変換は式(2)、式
(3)を整理すると、カメラ座標系の点をフレームバッ
ファ上の点へ変換する場合の変換式を次式のように表す
ことができる。Further, the conversion from the point P i on the virtual image plane to the frame buffer P f = [u, v] T can be performed by rearranging the equations (2) and (3). The conversion formula for converting to the point can be expressed as the following formula.
【0053】[0053]
【数4】 [Equation 4]
【0054】さらに式(1)から、世界座標系の点をフ
レームバッファ上の点へ変換する場合の変換式を次式の
ように表すことができる。Further, from the equation (1), a conversion equation for converting a point on the world coordinate system into a point on the frame buffer can be expressed as the following equation.
【0055】[0055]
【数5】 [Equation 5]
【0056】ここで、内部パラメータは、カメラの性能
や機能およびフレームバッファとの関係を表すパラメー
タであり、
aij=カメラ内部パラメータを示す要素
a13はフレームバッファ上に変換された仮想画像平面
中心のX座標
a23はフレームバッファ上に変換された仮想画像平面
中心のY座標
f=焦点距離
である。Here, the internal parameter is a parameter indicating the performance or function of the camera and the relationship with the frame buffer, and a ij = element a 13 indicating the camera internal parameter is the center of the virtual image plane converted on the frame buffer. The X coordinate a 23 of is the Y coordinate f = focal length of the virtual image plane center converted on the frame buffer.
【0057】さらに、外部パラメータは、カメラ座標系
と世界座標系との関係を表すパラメータであり、
rij=世界座標系からカメラ座標系への回転変換行列
の各成分(カメラ姿勢)
tij=カメラ座標系原点位置の世界座標系でのxyz
の座標値
である。Further, the external parameter is a parameter representing the relation between the camera coordinate system and the world coordinate system, and r ij = each component of the rotation conversion matrix from the world coordinate system to the camera coordinate system (camera attitude) t ij = Xyz in the world coordinate system of the origin position of the camera coordinate system
Is the coordinate value of.
【0058】これらの式の関係からフレームバッファ上
の点Pf[u,v]に投影された物体は、仮想画像平面
上の点Pi[xi,yi]とカメラのレンズ焦点を結ぶ
直線上に存在していることが分かる。From the relationship of these equations, the object projected at the point P f [u, v] on the frame buffer forms the point P i [x i , y i ] on the virtual image plane with the lens focus of the camera. It can be seen that they exist on a straight line.
【0059】ここで、Pi[xi,yi]は式(3)の
逆変換によりPf[u,v]からP i=A−1Pfであ
る。また、[aij,fij,rij,tij]で示さ
れる各カメラパラメータはVVVシステムのBOXキャ
リブレーションにより求める事ができる。ここで、BO
Xキャリブレーションとは、ピンホールカメラモデルの
形式に乗っ取り、既知の立方体を画像に取り込み世界座
標系とカメラ座標系を関係付けるよう校正する作業をい
う。Where Pi[Xi, Yi] In equation (3)
P by inverse transformationf[U, v] to P i= A-1PfAnd
It Also, [aij, Fij, Rij, Tij]
Each camera parameter to be displayed is the box camera of the VVV system.
It can be obtained by recalibration. Where BO
X calibration is a pinhole camera model.
Take over the form and capture a known cube into the image
Perform calibration to associate the standard system with the camera coordinate system.
U
【0060】また、キャリブレーションから得られるカ
メラパラメータのうち、内部パラメータ中のa13、a
23すなわちフレームバッファ上に変換された仮想画像
平面中心の位置はカメラ誤差(画像データのノイズ等の
影響)により非常に不安定であるため、カメラを同じ位
置姿勢でキャリブレーションした場合でも毎回安定した
カメラパラメータを得る事が困難である。従って、内部
パラメータa13、a 23をフレームバッファ中心
C1、C2の値に置き換える。このとき、式(5)に示
される関係は新たに以下の式へ変換される。In addition, the power obtained from the calibration
Among the mel parameters, a in the internal parametersThirteen, A
23That is, the virtual image converted on the frame buffer
The position of the center of the plane is due to camera error (such as image data noise
It is very unstable due to the influence)
Stable every time even when calibrated in standing position
It is difficult to get the camera parameters. Therefore, inside
Parameter a13,a 23Frame buffer center
C1, CTwoReplace with the value of. At this time, as shown in equation (5)
The relation is newly converted into the following equation.
【0061】[0061]
【数6】 [Equation 6]
【0062】この時、カメラパラメータの保存則が成立
するので式(6)の恒等式を解く事で、式中の
rij’、tj’を導き出す事が出来る。また
rij’、tj’は以下の要素を表している。
rij’を世界座標系からカメラ座標系への回転変換行
列の各成分(カメラ姿勢)
tj’をカメラ座標系原点位置の世界座標系でのxyz
の座標値
rij’、tj’をカメラの外部パラメータの真値とし
て取り扱うことで、より精度の安定した制御を得ること
が出来る。At this time, since the conservation rule of the camera parameters is established, the identity of equation (6) can be solved to derive r ij 'and t j ' in the equation. Further, r ij ′ and t j ′ represent the following elements. r ij 'is each component (camera attitude) of the rotation transformation matrix from the world coordinate system to the camera coordinate system, and t j ' is xyz in the world coordinate system of the origin position of the camera coordinate system.
By handling the coordinate values r ij ′ and t j ′ of the sigma as the true values of the external parameters of the camera, it is possible to obtain more stable and stable control.
【0063】ここで、ズームを変更する場合には、カメ
ラパラメータの保存則は成立しないため、上記式(6)
の変換後の外部パラメータは、変換前の外部パラメータ
をx軸周りθ、y軸周りφに回転する回転座標変換行列
R(θ,φ,0)により、以下の式で表される。Here, when the zoom is changed, the conservation rule of the camera parameter is not established, and therefore the above equation (6) is used.
The external parameter after conversion of is represented by the following formula by a rotational coordinate conversion matrix R (θ, φ, 0) that rotates the external parameter before conversion about θ around the x-axis and φ around the y-axis.
【0064】[0064]
【数7】 [Equation 7]
【0065】このとき、回転角θ,φの値は、後述する
θ,φと同様の処理を行うことにより、求めることがで
きる(数式9参照)。これは、キャリブレーション位置
におけるデータ座標系補正のための変換処理であるた
め、カメラ1はキャリブレーション位置を動かさず静止
させた状態を保持する。具体的には、キャリブレーショ
ンから得た[a13,a23]を仮想画像平面に変換す
ると、この点は仮想画像平面中心Pioに変換される。
同様に、[c1,c2]を仮想画像平面上に変換し、こ
れを追従目標点と同様の扱いとしPi(f)と表すと、
上記θ,φは、以下のようになる。At this time, the values of the rotation angles θ and φ can be obtained by performing the same processing as that described later for θ and φ (see equation 9). Since this is a conversion process for correcting the data coordinate system at the calibration position, the camera 1 keeps the calibration position stationary without moving. Specifically, when [a 13 , a 23 ] obtained from the calibration is converted into the virtual image plane, this point is converted into the virtual image plane center P io .
Similarly, when [c 1 , c 2 ] is transformed on the virtual image plane and treated as the tracking target point, and expressed as P i (f) ,
The above θ and φ are as follows.
【0066】[0066]
【数8】 [Equation 8]
【0067】このθ,φを使用した回転変換座標Rを用
いて、上記数式(6)への置換を行うことにより、キャ
リブレーションから得たカメラパラメータの安定化を図
ることができる。また、[c1,c2]を本来のフレー
ムバッファ中心に設定した場合、PioとPi(fo)
とが一致し、計算処理速度の向上を図ることができる。By using the rotational transformation coordinates R using θ and φ and performing the replacement with the above equation (6), the camera parameters obtained from the calibration can be stabilized. When [c 1 , c 2 ] is set to the original frame buffer center, P io and P i (fo)
And can be matched, and the calculation processing speed can be improved.
【0068】ここで、上記手法を用いて実行される実際
の処理を図8を参照して説明する。カメラ1はレンズ焦
点を中心として追従する特徴点である胴体部Bの重心G
bをフレームバッファ中心点に移動する方向に回転移動
を行う。この際、カメラ1はキャリブレーション位置か
ら移動せずカメラ姿勢のみを変化するものと考える事が
出来る。この時カメラ1が回転する角度をパン方向θ、
チルト方向φで示す。フレームバッファF上に設定した
任意の追従目標点Pfをフレームバッファ中心Pfoへ
移動するベクトルをvとする。vをパン方向成分、チル
ト方向成分に分解する。焦点距離fと分解したvの各方
向の成分ベクトルから、カメラ1の追従作業に必要な回
転角度(θ,φ)を得ることができる。Here, the actual processing executed using the above method will be described with reference to FIG. The camera 1 has a center of gravity G of the body B, which is a feature point that follows the lens focus.
Rotational movement is performed in the direction of moving b to the center point of the frame buffer. At this time, it can be considered that the camera 1 does not move from the calibration position and only the camera posture changes. At this time, the rotation angle of the camera 1 is set to the pan direction θ,
It is indicated by the tilt direction φ. Let v be a vector that moves an arbitrary tracking target point P f set on the frame buffer F to the frame buffer center P fo . v is decomposed into a pan direction component and a tilt direction component. The rotation angle (θ, φ) required for the tracking operation of the camera 1 can be obtained from the component vectors of the focal length f and the decomposed v in each direction.
【0069】はじめに、カメラ1の追従作業手順を説明
する。まず、VVVシステムのキャリブレーション手法
により[aij,fij,rij,tij]の各カメラ
パラメータを求める。そして、フレームバッファ上で追
従する目標点Pfを設定する。続いて、(3)式の逆変
換(Pi=A−1Pf)により仮想画像平面上にフレー
ムバッファから変換されるフレームバッファ中心P
i(fo)、追従目標点Pwの変換位置Pi(f)を求
めベクトルvを求める。そして、ベクトルvをパン方
向、チルト方向に分解し、各成分ベクトルVt,Vpに
対応する回転角θ、φを求める。First, the procedure for following the camera 1 will be described. First, each camera parameter of [a ij , f ij , r ij , t ij ] is obtained by the calibration method of the VVV system. Then, the target point P f to follow on the frame buffer is set. Subsequently, the frame buffer center P converted from the frame buffer onto the virtual image plane by the inverse transformation (P i = A −1 P f ) of the equation (3).
i (fo) , the conversion position P i (f) of the tracking target point Pw, and the vector v are obtained. Then, the vector v is decomposed into the pan direction and the tilt direction, and the rotation angles θ and φ corresponding to the respective component vectors V t and V p are obtained.
【0070】[0070]
【数9】 [Equation 9]
【0071】続いて、カメラをθ、φ移動させること
で、フレームバッファ上で指定したポイントがフレーム
バッファ中心の位置に投影されるような動作、つまり追
従動作が実現される。追従動作後のカメラ座標系はカメ
ラの移動後の位置姿勢により、新たに更新される。この
時、上述した(6)式は以下の様に変換される。この新
たに変換された関係式を続けて使用することで連続的に
追従作業を行うことが可能となる。Then, by moving the camera by θ and φ, an operation in which a point designated on the frame buffer is projected at a position at the center of the frame buffer, that is, a follow-up operation is realized. The camera coordinate system after the tracking operation is newly updated by the position and orientation of the camera after the movement. At this time, the above equation (6) is converted as follows. By continuing to use this newly converted relational expression, it becomes possible to continuously follow up.
【0072】[0072]
【数10】 [Equation 10]
【0073】次に、カメラ1にて、ズームを変更する場
合のカメラパラメータの変更手法について説明する。カ
メラ1がズームを変更する場合、カメラパラメータの
内、焦点距離を示すfを更新する。また、この時FOE
(Forcus Of Expansion)の影響に
より、仮想画像とフレームバッファの変換測が変化す
る。この補正について以下のような手法にて対応する。Next, a method of changing the camera parameters when changing the zoom in the camera 1 will be described. When the camera 1 changes the zoom, of the camera parameters, f indicating the focal length is updated. Also, at this time, FOE
Due to the influence of (Forcus Of Expansion), the conversion measurement between the virtual image and the frame buffer changes. This correction will be dealt with by the following method.
【0074】まず、キャリブレーションからカメラパラ
メータを得る。そして、ズームにより焦点距離fが更新
されf’に変化する。よって上記(6)式は以下のよう
に変更される。First, camera parameters are obtained from the calibration. Then, the focal length f is updated by zooming and changes to f ′. Therefore, the above equation (6) is changed as follows.
【0075】[0075]
【数11】 [Equation 11]
【0076】しかしながら、上記の場合に、フレームバ
ッファ中心C1、C2は、FOEの影響によりfの変化
に応じC1’、C2’に変化する。ここでC1’、
C2’は焦点距離fに対し固有の値・変化を示すため、
あらかじめ焦点距離f’に対するC1’、C2’のデー
タベースを作成しておくことでキャリブレーション時の
カメラの位置・姿勢及び焦点距離fを基準としてf’の
変化に対応したC1’、C 2’の値を推定することが出
来る。However, in the above case, the frame burst
Cuffa center C1, CTwoIs the change of f due to the influence of FOE
According to C1’、 CTwo’ Where C1’,
CTwo′ Indicates a specific value / change with respect to the focal length f,
C in advance for the focal length f '1’、 CTwo’Day
By creating a database for calibration
Based on the position / orientation of the camera and the focal length f,
C corresponding to changes1’、 C TwoIt is possible to estimate the value of
come.
【0077】また、ズームを変更する場合、カメラパラ
メータの保存則は成立しない。よって上記により推定し
たC1’、C2’の値を基に、上記手法にてPfo=
(C1、C2)、Pf=(C1’、C2’)として追従
移動するようなパンチルト角θ・φを求める。但し、こ
の際にカメラ1は、実際にはパンチルト動作させず姿勢
を保たせる。When changing the zoom, the conservation rule of the camera parameters is not satisfied. Therefore, based on the values of C 1 ′ and C 2 ′ estimated above, P fo =
The pan-tilt angle θ · φ that follows the movement is obtained with (C 1 , C 2 ), P f = (C 1 ′, C 2 ′). However, at this time, the camera 1 does not actually perform the pan-tilt operation but keeps its posture.
【0078】求めたθ・φを基にカメラ座標系を回転す
る回転変換行列R’を求め以下の式に示される処理を実
行することで焦点距離fの変化に対応したカメラパラメ
ータを得ることが出来る。A camera parameter corresponding to a change in the focal length f can be obtained by obtaining a rotation transformation matrix R ′ that rotates the camera coordinate system based on the obtained θ · φ and executing the processing shown in the following equation. I can.
【0079】[0079]
【数12】 [Equation 12]
【0080】このようにすることにより、フレームバッ
ファ上での追従目標点を実際の目標点の位置に対応させ
ることができ、カメラ駆動部11のパン・チルト・ズー
ム動作により追従を実現することができる。By doing so, the tracking target point on the frame buffer can be made to correspond to the actual position of the target point, and the tracking can be realized by the pan / tilt / zoom operations of the camera drive unit 11. it can.
【0081】ここで、上述したコンピュータ2のCPU
21が有する測定データ記憶機能について説明する。こ
の機能は、画像の取り込み時刻とカメラ1の駆動制御量
とを、コンピュータ2のハードディスク24などに記憶
するため、カメラ1の駆動制御量が時系列のデータとな
る。すなわち、カメラ1の動作を時系列に認識すること
ができる。そして、このとき、カメラ1の駆動制御量を
作業者の移動量と見ることができる。従って、記憶され
た測定データを見ることにより、作業者の移動軌跡を認
識することができる。そして、この移動軌跡を参照する
ことで、以後の作業現場の配置や作業者の負担等を考察
することができ、作業状況の改善を図り、作業の効率化
を図ることができる。Here, the CPU of the computer 2 described above
The measurement data storage function of 21 will be described. This function stores the image capture time and the drive control amount of the camera 1 in the hard disk 24 of the computer 2, so that the drive control amount of the camera 1 becomes time-series data. That is, the operation of the camera 1 can be recognized in time series. At this time, the drive control amount of the camera 1 can be regarded as the movement amount of the worker. Therefore, the movement trajectory of the worker can be recognized by looking at the stored measurement data. Then, by referring to this movement locus, it is possible to consider the subsequent arrangement of the work site, the burden on the worker, etc., improve the work situation, and improve the work efficiency.
【0082】なお、上記コンピュータ2が有する各機能
は、当該コンピュータ2のCPU21が上記各機能用プ
ログラムを実行することにより実現することができる。
このプログラムは、CD−ROMなどの可搬媒体やハー
ドディスク等から読み出されて、あるいは、ネットワー
ク上の他のコンピュータからダウンロードされて、当該
コンピュータ2に組み込まれるようになっている。従っ
て、当該プログラムは、所定の記憶媒体や、ネットワー
ク上の他のコンピュータが有する記憶媒体に記憶されて
いて、提供されるようになっている。Each function of the computer 2 can be realized by the CPU 21 of the computer 2 executing the program for each function.
This program is read from a portable medium such as a CD-ROM, a hard disk, or the like, or downloaded from another computer on the network and incorporated into the computer 2. Therefore, the program is stored and provided in a predetermined storage medium or a storage medium included in another computer on the network.
【0083】上記プログラムとしては、例えば、あらか
じめ作業者を写す画像を取り込んで当該画像から作業者
に関するデータである基本データを抽出する基本データ
抽出処理と、所定の時間間隔にて取り込んだ画像に写し
出された作業者に関するデータである追従データを抽出
する追従データ抽出処理と、抽出された追従データに基
づいて作業者の位置がカメラの画面上の所定箇所に位置
するよう当該作業者を追従してカメラを駆動制御するカ
メラ制御処理と、画像の取り込み時刻とカメラの駆動制
御量とを記憶する測定データ記憶処理と、を実行するよ
うコンピュータの動作を制御する作業動作計測用プログ
ラムである。Examples of the program include, for example, a basic data extraction process of previously capturing an image of a worker and extracting basic data that is data relating to the worker from the image, and a process of displaying the captured image on the captured image at a predetermined time interval. Tracking data extraction processing for extracting tracking data that is data related to the worker, and tracking the worker so that the position of the worker is located at a predetermined position on the screen of the camera based on the extracted tracking data. It is a work movement measurement program for controlling the operation of a computer so as to execute a camera control processing for driving and controlling a camera and a measurement data storage processing for storing an image capture time and a camera drive control amount.
【0084】(動作)次に、本実施形態の動作につい
て、図9乃至図13について説明する。はじめに、図9
を参照して、全体の動作を説明する。(Operation) Next, the operation of this embodiment will be described with reference to FIGS. First, Fig. 9
The overall operation will be described with reference to.
【0085】(全体の動作)まず、作業者は、所定の作
業着、及び、ヘルメットを装着し、コンピュータ2に作
業開始の入力を行う。その後、作業開始の入力を受けた
コンピュータ2は、所定時間経過後、例えば、10秒後
に作業現場の所定箇所の画像を取り込む(ステップS
1)。このとき、作業者は、カメラ1の前の所定位置に
立っていなければならない。すなわち、作業開始の入力
後、作業者はすぐにあらかじめ定められた画像取り込み
位置に直立しなければならない。これにより、作業者自
身の画像がカメラ1を介してコンピュータ2に取り込ま
れる。(Overall Operation) First, the worker puts on a predetermined work clothes and a helmet, and inputs the work start to the computer 2. After that, the computer 2 receiving the input of the work start captures an image of a predetermined portion of the work site after a predetermined time elapses, for example, 10 seconds (step S
1). At this time, the worker must stand at a predetermined position in front of the camera 1. That is, after inputting the start of work, the worker must immediately stand upright at a predetermined image capturing position. As a result, the image of the worker himself is captured by the computer 2 via the camera 1.
【0086】続いて、直立している作業者が写し出され
ている画像に対して、基本データ抽出処理がコンピュー
タ2にて行われる(ステップS2、基本データ抽出工
程)。この基本データ抽出処理により、作業者の胴体部
B及び頭部Hの重心Gb,Ghや幅Wb,Wh、高さH
b,Hhなどの各サイズが算出される。その処理手順の
詳細は後述する。そして、この算出された基本データは
コンピュータ2の記憶部24に記憶される。Subsequently, basic data extraction processing is performed by the computer 2 on the image showing the upright worker (step S2, basic data extraction step). By this basic data extraction processing, the center of gravity Gb, Gh, the width Wb, Wh, and the height H of the body B and the head H of the worker are obtained.
Each size such as b and Hh is calculated. The details of the processing procedure will be described later. Then, the calculated basic data is stored in the storage unit 24 of the computer 2.
【0087】続いて、タイマがセットされ、所定のサン
プリングタイムが経過するまで待機状態となる(ステッ
プS3)。ここで、サンプリングタイムは、例えば、2
秒である。そして、サンプリングタイムが経過すると、
作業現場の画像が取り込まれる(ステップS4)。そし
て、取り込んだ画像中の作業者がカメラにて追従され、
その後にサンプリングタイムが経過すると、追従後の作
業現場の画像が取り込まれ、同様の処理が行われる。す
なわち、サンプリングタイム経過ごとに取り込まれる画
像に対して、以下のような処理が行われる。Then, the timer is set, and a standby state is set until a predetermined sampling time elapses (step S3). Here, the sampling time is, for example, 2
Seconds. And when the sampling time elapses,
An image of the work site is captured (step S4). Then, the operator in the captured image is followed by the camera,
After that, when the sampling time elapses, the image of the work site after the tracking is captured, and the same processing is performed. That is, the following processing is performed on the image captured every time the sampling time elapses.
【0088】取り込み画像には作業中の作業者が写し出
されているので、まず、当該作業者の頭部H、胴体部B
の抽出処理が行われる。このとき、頭部H、胴体部Bの
各サイズHh,Hb,Wh,Wbとその重心Gh,Gb
とが算出される(ステップS5、追従データ抽出工
程)。各パラメータの抽出処理の手順については後述す
る。Since the worker who is working is shown in the captured image, first, the head H and the body B of the worker are displayed.
Is extracted. At this time, the sizes Hh, Hb, Wh, Wb of the head H and the body B and their centers of gravity Gh, Gb
And are calculated (step S5, follow-up data extraction step). The procedure of each parameter extraction process will be described later.
【0089】続いて、上記算出された各パラメータとコ
ンピュータ2の記憶部24に記憶されている基本データ
とが比較され(ステップS6)、これに基づいてカメラ
1のパン、チルト、ズーム動作の制御が行われる(ステ
ップS7、カメラ制御工程)。このとき、パンチルトズ
ーム動作は、カメラ1の中心に作業者の胴体部の重心G
bが来るように制御される。これにより、作業者は常に
カメラ1にて追従される。Subsequently, the calculated parameters are compared with the basic data stored in the storage section 24 of the computer 2 (step S6), and the pan, tilt and zoom operations of the camera 1 are controlled based on the comparison. Is performed (step S7, camera control step). At this time, in the pan-tilt-zoom operation, the center of gravity G of the body of the worker is set at the center of the camera 1.
It is controlled so that b comes. As a result, the worker is always followed by the camera 1.
【0090】そして、カメラ1移動量を作業者の移動量
とし、この移動量を画像取り込み時刻と共にコンピュー
タ2の記憶部24に記憶する(ステップS8、測定デー
タ記憶工程)。その後、作業者の作業が終了するまで
(ステップS9)、例えば、作業開始からあらかじめ定
められた所定の時間(具体的には、1時間というような
時間)が経過するまで、あるいは、作業者にてコンピュ
ータ2に作業終了の入力がなされるまで、サンプリング
タイム経過するたびに作業現場の画像が取り込まれ、上
述したようにカメラ1にて作業者の追従、そして、当該
作業者の動作が計測される。Then, the movement amount of the camera 1 is set as the movement amount of the operator, and this movement amount is stored in the storage unit 24 of the computer 2 together with the image capturing time (step S8, measurement data storing step). After that, until the work of the worker is completed (step S9), for example, until a predetermined time (specifically, a time such as one hour) has elapsed from the start of the work, or Each time the sampling time elapses, an image of the work site is captured until the computer 2 inputs the end of work to the computer 2, and the camera 1 follows the worker and measures the worker's motion as described above. It
【0091】このようにすることにより、作業者の作業
中の位置を時刻と共に記憶するため、当該作業者の作業
の様子を作業者自身、あるいは、現場の責任者などが事
後に確認することができ、かかるデータを参考にして作
業現場の環境改善を図ることができる。具体的には、ラ
インにおいて作業者の移動量が多い場合には、その移動
の原因となるものの位置を移動するなどして対処するこ
とができる。By doing so, since the position of the worker who is working is stored together with the time, it is possible for the worker himself or the person in charge of the site to confirm the working state of the worker after the fact. It is possible to improve the environment of the work site by referring to such data. Specifically, when the amount of movement of the worker on the line is large, it can be dealt with by moving the position of the one causing the movement.
【0092】また、作業者の動作を表すデータとして、
カメラ1の移動量を所定の時間間隔ごとに記憶するのみ
であるため、かかるデータ量の縮小化を図ることができ
る。従って、使用するコンピュータ2の記憶容量が比較
的少ない場合であっても作業者の移動量を長時間に渡っ
て記憶することができ、長時間計測してはじめて現れる
作業者の動作も把握することができる。Further, as data representing the motion of the worker,
Since the amount of movement of the camera 1 is only stored at predetermined time intervals, the amount of data can be reduced. Therefore, even if the storage capacity of the computer 2 used is relatively small, the movement amount of the worker can be stored for a long time, and the motion of the worker that appears only after measuring for a long time can be grasped. You can
【0093】さらには、作業者を他の者が観察すること
によって当該作業者の動作を把握するのではなく、カメ
ラ1を用いてコンピュータ2の画像処理にて作業者の移
動データを取得するため、作業中に作業者が他の者(例
えば、現場責任者)に見られることなく作業者のデータ
を取得することができる。従って、作業中に他の者に見
られると言う心理的負担が軽減され、普段通りの作業中
のデータを取得することができる。すなわち、取得する
データの特異性を抑制することができる。Further, the movement data of the worker is acquired by the image processing of the computer 2 using the camera 1 rather than grasping the motion of the worker by observing the worker by another person. During the work, the worker can obtain the worker's data without being seen by another person (for example, the site manager). Therefore, the psychological burden of being seen by another person during the work is reduced, and the data during the normal work can be acquired. That is, the peculiarity of the acquired data can be suppressed.
【0094】(基本データ抽出処理の動作)続いて、図
9のステップS2における基本データ抽出処理の具体的
な処理手順を、図10のフローチャートを参照して説明
する。(Operation of Basic Data Extraction Process) Next, a specific processing procedure of the basic data extraction process in step S2 of FIG. 9 will be described with reference to the flowchart of FIG.
【0095】まず、上述したように、作業開始時に作業
者の画像が取り込まれる(ステップS11)。続いて、
かかる画像と同一の作業現場の画像であって、あらかじ
めカメラ1にて取り込まれコンピュータ2の記憶部24
に記憶されている画像と差分処理が行われる(ステップ
S12)。その後、かかる画像に対して所定のしきい値
以上の領域を検索し(ステップS13)、所定のしきい
値以上の領域は作業現場の背景に対して変化があった場
所であると推定でき、かかる領域に作業者が立っている
と予測されるため、当該領域に該当する原画像のデータ
を残すこととする(ステップS14)。一方、所定のし
きい値に満たない領域は作業現場と相違ない画像データ
であるため、かかる領域の原画像のデータを破棄する
(ステップS15)。すなわち、作業者の背景部分が取
り除かれることとなる。これを画像の全ピクセルに対し
て実行する(ステップS16)。かかる処理により、原
画像、すなわち、作業者が写っている作業現場の画像
は、当該作業者のみが抽出されて残ることとなる。First, as described above, the image of the worker is captured when the work is started (step S11). continue,
An image of the same work site as this image, which is captured by the camera 1 in advance and is stored in the storage unit 24 of the computer 2.
Difference processing is performed with the image stored in (step S12). After that, an area having a predetermined threshold value or more is searched for in such an image (step S13), and the area having a predetermined threshold value or more can be estimated to be a place where the background of the work site has changed. Since it is predicted that the worker is standing in this area, the original image data corresponding to the area is left (step S14). On the other hand, since the area that does not reach the predetermined threshold value is the image data that is the same as the work site, the data of the original image of the area is discarded (step S15). That is, the background part of the worker is removed. This is executed for all pixels of the image (step S16). By such processing, the original image, that is, the image of the work site in which the worker is shown, is extracted and remains only for the worker.
【0096】これにより、その後の画像処理の条件を絞
り込むことができ、処理時間の短縮化を図ることができ
る。但し、かかる処理が行われなくても、以下に説明す
る処理を行うことで、基本データを抽出することができ
る。ここで、作業者の作業開始時の立ち位置はあらかじ
め定められているため、当該位置の作業現場の画像が事
前にカメラ1にて取り込まれ、コンピュータ2に記憶さ
れている。As a result, the conditions for the subsequent image processing can be narrowed down, and the processing time can be shortened. However, even if such processing is not performed, the basic data can be extracted by performing the processing described below. Here, since the standing position of the worker at the start of work is predetermined, the image of the work site at the position is captured by the camera 1 in advance and stored in the computer 2.
【0097】続いて、原画像に対して各色領域ごとにラ
ベリング処理が行われる(ステップS17)。すなわ
ち、コンピュータ2にて各色領域ごとのかたまりが認識
される。そして、まず、各色領域に対して、胴体部Bの
色領域すなわち、作業着の色に対応する色領域の検索が
行われる(ステップS18)。胴体部Bに対応する色領
域が検索されたときには、胴体部Bの輪郭形成が行われ
(ステップS19)、その高さHb、幅Wb、さらには
重心Gbが算出される(ステップS20)。Subsequently, a labeling process is performed on the original image for each color area (step S17). That is, the computer 2 recognizes a lump for each color area. Then, first, for each color region, a color region of the body B, that is, a color region corresponding to the color of the work clothes is searched (step S18). When the color region corresponding to the body B is searched, the contour of the body B is formed (step S19), and the height Hb, width Wb, and center of gravity Gb thereof are calculated (step S20).
【0098】胴体部Bの各パラメータが算出された後
に、同様に頭部Hの色領域、すなわち、ヘルメットなど
の色に対応する色領域の検索が行われる(ステップS2
1)。このときヘルメットなどの色でない領域に関する
情報は破棄する(ステップS22)。これは、すでに胴
体部Bに関する必要なデータは算出してあるからであ
る。そして、ヘルメットなどの色領域が検索された場合
には、胴体部Bの上端を頭部Hの下端と仮定した上で
(ステップS23)、当該頭部Hの輪郭形成が行われ
(ステップS24)、その高さHh、幅Wh、さらには
重心Ghが算出される(ステップS25)。After the respective parameters of the body B are calculated, the color region of the head H, that is, the color region corresponding to the color of the helmet or the like is similarly searched (step S2).
1). At this time, the information about the non-colored area such as the helmet is discarded (step S22). This is because the necessary data regarding the body B has already been calculated. When a color region such as a helmet is searched, the upper end of the body B is assumed to be the lower end of the head H (step S23), and the contour of the head H is formed (step S24). , Its height Hh, width Wh, and the center of gravity Gh are calculated (step S25).
【0099】続いて、算出された胴体部Bの重心Gbに
基づいてカメラ1がパンチルト制御される(ステップS
26)。これにより、カメラ1の取り込み中心の初期位
置を作業者の胴体部Bの重心Gbとする。また、ここで
は胴体部Bなどの大きさ、すなわち、高さHbや幅Wb
に基づいてカメラ1のズーム動作は行わない。かかる基
本データがその後の基準となるためである。そして、抽
出された基本データは、コンピュータ2の記憶部24あ
るいはRAM23などに記憶される(ステップS2
7)。その後、タイマが作動し(ステップS28)、所
定のサンプリングタイムが経過する度に作業現場の画像
が取り込まれる。Then, the pan / tilt control of the camera 1 is performed based on the calculated center of gravity Gb of the body B (step S).
26). Thus, the initial position of the center of capture of the camera 1 is set to the center of gravity Gb of the body B of the worker. Further, here, the size of the body portion B and the like, that is, the height Hb and the width Wb
Based on the above, the zoom operation of the camera 1 is not performed. This is because such basic data will be the reference after that. Then, the extracted basic data is stored in the storage unit 24 of the computer 2, the RAM 23, or the like (step S2).
7). Then, the timer is activated (step S28), and an image of the work site is captured every time a predetermined sampling time elapses.
【0100】(追従処理の動作)次に、基本データ取得
後であって、カメラ1が作業者の動作を追従するときの
動作、すなわち、図9のステップ3からステップS8に
至る動作を図11のフローチャートを参照して詳述す
る。(Operation of Follow-up Processing) Next, the operation when the camera 1 follows the operation of the operator after the acquisition of the basic data, that is, the operation from step 3 to step S8 in FIG. This will be described in detail with reference to the flowchart of FIG.
【0101】上述したように、基本データ取得後には、
例えばコンピュータ2内部のタイマが制御され、作業者
が作業を行っている間、サンプリングタイム経過ごとに
(ステップS31)、カメラ1にて連続的に作業者が捕
らえ続けられる(ステップS32)。そして、各画像ご
とに作業者の胴体部B、頭部Hの各パラメータが抽出さ
れる。As described above, after the basic data is acquired,
For example, the timer inside the computer 2 is controlled, and while the worker is working, the worker continues to capture the camera 1 every time the sampling time elapses (step S31) (step S32). Then, each parameter of the body part B and the head part H of the worker is extracted for each image.
【0102】各パラメータ抽出処理は、上述した基本デ
ータ抽出処理手順とほぼ同様である。但し、作業者の作
業中におけるカメラ1の画像取り込み範囲は作業者の動
きに合わせて定められ、背景との差分処理が困難である
ため、かかる差分処理は行われない。従って、色領域ご
とにラベリングする工程から抽出処理が行われる(ステ
ップS33)。その後、胴体部B、頭部Hの各パラメー
タの抽出処理が行われる(ステップS34)。ここで、
作業中の作業者の胴体部Bや頭部Hは、その動作につき
形状が異なったり、重なりあったりするため、かかる処
理は複雑になる。その詳細は後述する。Each parameter extraction process is almost the same as the basic data extraction process procedure described above. However, since the image capturing range of the camera 1 during the work of the worker is determined according to the motion of the worker and the difference processing with the background is difficult, the difference processing is not performed. Therefore, the extraction process is performed from the step of labeling for each color region (step S33). Then, the extraction process of each parameter of the body part B and the head part H is performed (step S34). here,
The body part B and the head part H of the worker who is working are different in shape or overlap due to their motions, which makes the processing complicated. The details will be described later.
【0103】続いて、胴体部B、頭部Hの高さHb,H
hといったサイズが、基本データのものと一致するか否
かが調べられる(ステップS35)。このとき、サイズ
が一致しなければ、基本データと同一の大きさになるよ
うカメラ1にてズーム動作が実行される(ステップS3
6)。これにより、カメラ1に対して奥行き方向の作業
者の動きを認識することができる。さらに、胴体部の重
心が画面の中央にない場合には(ステップS37)、カ
メラ1にてパン・チルト動作が実行され(ステップS3
8)、作業者の追従が行われる。これにより、平面上の
作業者の位置を認識することができる。従って、作業者
の三次元の動きを認識することができる。Subsequently, the heights Hb and H of the body B and the head H are
It is checked whether or not the size such as h matches that of the basic data (step S35). At this time, if the sizes do not match, the zoom operation is executed by the camera 1 so that the size becomes the same as the basic data (step S3).
6). Thereby, the movement of the worker in the depth direction can be recognized with respect to the camera 1. Further, when the center of gravity of the body is not in the center of the screen (step S37), the camera 1 executes the pan / tilt operation (step S3).
8) The worker is followed. Thereby, the position of the worker on the plane can be recognized. Therefore, it is possible to recognize the three-dimensional movement of the worker.
【0104】その後、カメラ移動量(パン・チルト・ズ
ーム量)を作業者の移動量として、画像を取り込んだ時
刻と共に当該カメラ移動量が、コンピュータ2の記憶部
24等に記憶される(ステップS39)。そして、上記
手順を、作業者の作業が終了するまで繰り返す(ステッ
プS40)。Thereafter, the camera movement amount (pan / tilt / zoom amount) is used as the movement amount of the operator, and the camera movement amount is stored in the storage unit 24 of the computer 2 together with the time when the image is captured (step S39). ). Then, the above procedure is repeated until the work of the worker is completed (step S40).
【0105】(パラメータ抽出処理の動作)次に、上述
した追従処理時における各パラメータの算出処理手順、
すなわち、図11のステップS34における処理手順
を、図12のフローチャートを参照して説明する。(Operation of Parameter Extraction Processing) Next, the calculation processing procedure of each parameter at the time of the following processing,
That is, the processing procedure in step S34 of FIG. 11 will be described with reference to the flowchart of FIG.
【0106】まず、胴体部Bの色の領域があるか否かが
検索される(ステップS41)。このとき、胴体部Bの
色領域が検索されなかった場合には、当該胴体部Bは作
業者の体の一部にて隠されているものと見なされ、その
旨がコンピュータ2の記憶部に記憶される(図示せ
ず)。一方、胴体部Bの色領域が検索された場合には、
当該色領域を選択し(ステップS42)、かかる領域の
輪郭を形成する(ステップS43)。そして、輪郭の形
状を算出するが(ステップS44)、略長方形である場
合には当該胴体部Bのサイズ(高さHb、幅Wb)や重
心Gbが算出される(ステップS45)。First, it is searched whether there is a color area of the body B (step S41). At this time, if the color region of the body B is not searched, it is considered that the body B is hidden by a part of the body of the operator, and that effect is stored in the storage unit of the computer 2. It is stored (not shown). On the other hand, when the color area of the body B is searched,
The color area is selected (step S42), and the contour of the area is formed (step S43). Then, the shape of the contour is calculated (step S44), but if it is a substantially rectangular shape, the size (height Hb, width Wb) and the center of gravity Gb of the body B are calculated (step S45).
【0107】胴体部Bの形状が略長方形でない場合に
は、当該領域の前面に他の色領域があるか、すなわち、
重なっているか否かが検出される(ステップS46)。
ここで、重なっていると判断された場合には、当該前面
にある領域が頭部の色領域であるか否かが調べられ(ス
テップS47)、頭部である場合にはその旨がコンピュ
ータ2の記憶部に記憶される(ステップS48)。そし
て、その後、重なっている領域が頭部で無い場合であっ
ても、一度略長方形でないと判断された領域であって
も、長方形に近似される(ステップS49)。When the shape of the body B is not substantially rectangular, whether there is another color area in front of the area, that is,
It is detected whether or not they overlap (step S46).
If it is determined that they overlap, it is checked whether or not the area on the front side is the color area of the head (step S47). Is stored in the storage unit (step S48). Then, thereafter, even if the overlapping region is not the head region, even if the region is once determined not to be substantially rectangular, it is approximated to a rectangle (step S49).
【0108】上記のようにして、胴体部Bの色領域がな
いと判断された場合、あるいは、長方形に輪郭形成さ
れ、サイズ、重心が算出された後には、頭部Hの色領域
の検索が行われる(ステップS50)。このとき、頭部
Hの色領域がないと判断された場合には、胴体部Bのと
きと同様に、その旨が記憶され、処理が終了する(図示
せず)。一方、頭部Hの色領域があると判断された場合
には、当該色領域を選択する(ステップS51)。そし
て、かかる領域の輪郭を形成し(ステップS52)、サ
イズ、重心を算出する(ステップS53)。このように
することで、作業者が複雑な動きを行う場合にも対処す
ることができる。As described above, when it is determined that the color area of the body B is not present, or after the contour is formed into a rectangle and the size and the center of gravity are calculated, the color area of the head H is searched. It is performed (step S50). At this time, when it is determined that there is no color area of the head H, the fact is stored as in the case of the body B, and the process ends (not shown). On the other hand, when it is determined that there is a color area of the head H, the color area is selected (step S51). Then, the contour of the region is formed (step S52), and the size and the center of gravity are calculated (step S53). By doing so, it is possible to deal with the case where the worker makes a complicated motion.
【0109】(カメラ制御の動作)次に、上記のように
して算出した各パラメータに基づいて、カメラ1をパ
ン、チルト、ズーム制御するときの動作について、図1
3のフローチャートを参照して説明する。但し、上記処
理において、胴体部B及び頭部Hが検出されなかった場
合には、処理が終了するか、あるいは、カメラ1制御は
実行されず、その位置で次の画像の取り込みが実行され
るなど、いずれかの処理が行われる(図示せず)。(Camera Control Operation) Next, the operation for pan, tilt and zoom control of the camera 1 based on the parameters calculated as described above will be described with reference to FIG.
This will be described with reference to the flowchart of FIG. However, in the above process, when the body B and the head H are not detected, the process ends or the control of the camera 1 is not executed and the next image is captured at that position. Or the like is performed (not shown).
【0110】まず、胴体部B、頭部Hの重心Gb,Gh
を結んだ直線が、画面に対して垂直であるか否か、すな
わち、作業者が直立状態のまま平行に移動しているか否
かが調べられる(ステップS61)。このとき、作業者
の姿勢が傾いているとき、すなわち、画面の垂直方向に
対して直線GbGhが所定の角度を成すときには、各部
B,Hの高さHb,Hhに補正がかけられる(ステップ
S62)。First, the centers of gravity Gb and Gh of the body B and the head H are measured.
It is checked whether or not the straight line connecting the lines is perpendicular to the screen, that is, whether or not the worker moves in parallel while standing upright (step S61). At this time, when the posture of the worker is tilted, that is, when the straight line GbGh forms a predetermined angle with respect to the vertical direction of the screen, the heights Hb and Hh of the respective parts B and H are corrected (step S62). ).
【0111】続いて、かかる画像におけるHbとHhと
の比率と、記憶されている基本データにおけるHbとH
hとを比較する(ステップS63)。この比率に変化が
ある場合には、頭部Hが胴体部Bに対して同一平面上に
なく、その前後に位置すると考えられる。従って、頭部
Hが胴体部Bの前にあるか否かが調べられる(ステップ
S64)。このとき基本データを参照することにより調
べられる。そして、頭部Hが胴体部Bの前にあると判断
された場合には、作業者3はカメラ1側に姿勢を傾けて
いると考えられ、そして、頭部Hによって胴体部Bが隠
されているおそれがあるため、頭部Hの幅Whが基本デ
ータと同一となるようにカメラ1をズーム駆動する(ス
テップS66)。一方、頭部Hが胴体部Bの後ろにある
と判断された場合には、作業者3はカメラ1とは反対側
に姿勢を傾けていると考えられ、かかる場合には頭部H
が胴体部Bに隠されているおれそれがあるため、胴体部
Bの幅Wbを参照にカメラ1のズーム駆動が行われる
(ステップS65)。Subsequently, the ratio between Hb and Hh in such an image and Hb and H in the stored basic data.
It is compared with h (step S63). When there is a change in this ratio, it is considered that the head H is not on the same plane as the body B, but is positioned in front of and behind it. Therefore, it is checked whether or not the head H is in front of the body B (step S64). At this time, it can be checked by referring to the basic data. When it is determined that the head H is in front of the body B, it is considered that the worker 3 is tilting toward the camera 1, and the head H hides the body B. Therefore, the camera 1 is zoom-driven so that the width Wh of the head H becomes the same as the basic data (step S66). On the other hand, when it is determined that the head H is behind the body B, it is considered that the worker 3 is tilting the posture opposite to the camera 1, and in such a case, the head H
Is hidden in the body B, so that the zoom drive of the camera 1 is performed with reference to the width Wb of the body B (step S65).
【0112】ここで、上記ステップS63にて、HbH
hの比率に変化がないと判断された場合には、Hb又は
Hhのサイズ自体(高さ、幅)が基本データと異なるか
否かが調べられる(ステップS67)。そして、比率に
変化はないが、サイズに変化があるという場合には、作
業者3はカメラ1に対して前後方向に姿勢を変更しない
まま、当該前後方向に移動したと考えられる。かかる場
合には、HbあるいはHhを基本データと比較して、ズ
ーム駆動を行う(ステップS68)。Here, in the above step S63, HbH
When it is determined that the ratio of h does not change, it is checked whether the size itself (height, width) of Hb or Hh is different from the basic data (step S67). If the ratio does not change but the size changes, it is considered that the worker 3 has moved in the front-rear direction without changing the posture in the front-rear direction with respect to the camera 1. In such a case, Hb or Hh is compared with the basic data, and zoom drive is performed (step S68).
【0113】これにより、作業者3の奥行き方向の追従
が終了したので、最後に2次元平面における追従を行
う。これは、胴体部Bの重心Gbが画面の中央に位置す
るよう、上記キャリブレーション処理を実行しながらパ
ン・チルト駆動が行われる(ステップS69)。As a result, the tracking of the worker 3 in the depth direction is completed, and the tracking is finally performed on the two-dimensional plane. In this, the pan / tilt drive is performed while executing the calibration process so that the center of gravity Gb of the body portion B is located at the center of the screen (step S69).
【0114】以上の動作を実現することで、作業現場内
における作業者2をカメラ1が追従することができる。
このとき、カメラ1は、パン・チルト・ズーム動作にて
作業者3を追従し、追従時におけるカメラ1の制御量を
記憶するため、当該作業者3の三次元空間における位置
を認識することができる。そして、かかる測定データを
参照することにより、作業環境の改善等を図ることがで
きる。By implementing the above operation, the camera 1 can follow the worker 2 in the work site.
At this time, since the camera 1 follows the worker 3 by pan / tilt / zoom operations and stores the control amount of the camera 1 at the time of tracking, the position of the worker 3 in the three-dimensional space can be recognized. it can. The work environment can be improved by referring to the measurement data.
【0115】ここで、上記実施形態に置いては、作業者
3の胴体部Bと頭部Hを抽出する場合を例示したが、か
ならずしもこれに限定されない。そして、追従する際に
着目する箇所も、胴体部Bや頭部Hの重心に限定されな
い。他の部分、例えば、腰や膝、肘などの関節を特徴点
とし、公知技術であるオプティカルフローによる特徴点
の追従処理を実行してもよい。Here, in the above embodiment, the case where the body B and the head H of the worker 3 are extracted has been illustrated, but the invention is not limited to this. Further, the point of interest when tracking is not limited to the center of gravity of the body B or the head H. Other parts, for example, joints such as the waist, knees, and elbows may be used as the characteristic points, and the tracking processing of the characteristic points by the optical flow that is a known technique may be executed.
【0116】〈第2の実施形態〉以下、本発明の第2の
実施形態を説明する。第2の実施形態は、上述した第1
の実施形態におけるシステムに、さらに、作業現場に、
コンピュータ2にて動作を制御される所定の作業機械が
配設されている(図示せず)。そして、コンピュータ2
は、測定データに基づいて作業現場内の作業機械の動作
を制御する機能を備えている。<Second Embodiment> The second embodiment of the present invention will be described below. The second embodiment is the same as the first embodiment described above.
In the system of the embodiment of
A predetermined work machine whose operation is controlled by the computer 2 is provided (not shown). And computer 2
Has a function of controlling the operation of the work machine in the work site based on the measurement data.
【0117】例えば、ベルトコンベアのライン自体がコ
ンピュータ2にて動作を制御される作業機械であって、
ベルトコンベアの駆動手段の動作がコンピュータ2にて
駆動制御される。従って、当該ベルトコンベア上を流れ
る製品等の移動速度が、作業中であってもコンピュータ
2にて低速に変速される。For example, the line itself of the belt conveyor is a working machine whose operation is controlled by the computer 2,
The operation of the driving means of the belt conveyor is drive-controlled by the computer 2. Therefore, the moving speed of the product or the like flowing on the belt conveyor is changed to a low speed by the computer 2 even during the work.
【0118】変速のタイミングは、例えば、作業者3の
移動量がベルトコンベアに沿って大きくなり、その移動
速度も高くなったときである。かかる場合には、作業者
3はベルトコンベア上を流れる作業対象物に対して所定
の作業を行うことができず、対象物を追いかけていった
と考えられる。そして、このとき、ベルトコンベアの流
れる速度が低くなることにより、作業者3は作業の遅れ
を取り戻すことが容易になる。The timing of shifting is, for example, when the moving amount of the worker 3 increases along the belt conveyor and the moving speed thereof also increases. In such a case, it is considered that the worker 3 could not perform a predetermined work on the work target flowing on the belt conveyor and chased the target. Then, at this time, the flow speed of the belt conveyor becomes low, so that the worker 3 can easily catch up with the delay in the work.
【0119】従って、コンピュータ2では、絶えず作業
者3の動きを時系列にて把握して、上述のように作業者
3の動きに異変が生じた場合には、ラインの可動を停止
するなどの措置を執ることができ、作業現場の安全性の
向上、作業の効率化を図ることができる。Therefore, the computer 2 constantly grasps the movement of the worker 3 in a time series, and when the movement of the worker 3 is abnormal as described above, the movement of the line is stopped. Measures can be taken, safety at the work site can be improved, and work efficiency can be improved.
【0120】[0120]
【発明の効果】本発明は、以上のように構成され機能す
るので、これによると、作業者の作業中の動きをカメラ
1を介して計測することにより、作業者は他の者に見ら
れることによる心理的影響を受けることなく作業を行う
ことができるため、正常なデータを取得することができ
ると共に、かかるデータをもとに作業現場の環境改善を
図ることができ、作業の効率化を図ることができる、と
いう従来にない優れた効果を有する。Since the present invention is constructed and functions as described above, according to this, the worker can be seen by another person by measuring the movement of the worker during work through the camera 1. Since it is possible to perform work without being affected by the psychological effects of this, normal data can be acquired, and the environment at the work site can be improved based on such data, improving work efficiency. It has an unprecedented excellent effect that can be achieved.
【0121】また、常にカメラが作業者を中心に写るよ
う追従するため、取り込み画像の中心付近を処理すれば
足り、処理の簡略化を図ることができる。そして、この
とき、カメラの動きを作業者の移動量として時系列に記
憶することができ、所定の変換処理を行う必要がないた
め、処理のさらなる迅速化を図ることができる。Further, since the camera always follows so as to focus on the operator, it is sufficient to process the vicinity of the center of the captured image, and the processing can be simplified. Then, at this time, the movement of the camera can be stored in time series as the movement amount of the worker, and it is not necessary to perform a predetermined conversion process, so that the process can be further speeded up.
【0122】また、作業者の胴体部、頭部に関するデー
タを抽出することにより、比較的簡単な画像処理にて追
従データの抽出処理を実行することができるため、処理
の迅速化を図ることができ、そして、時系列ごとに所定
のパラメータのみを記憶すれば足りるため、記憶装置の
記憶容量の節約を図ることができる。Further, by extracting the data relating to the torso and head of the worker, the follow-up data extraction process can be executed by a relatively simple image process, so that the process can be speeded up. Since it is sufficient to store only the predetermined parameter for each time series, the storage capacity of the storage device can be saved.
【0123】さらには、作業者の動きを計測すると同時
に当該作業者の動きを認識し、所定の動きをしたときに
作業現場の作業機械等をコンピュータの指令にて停止さ
せたり速度を低下させるなど制御するようにした場合に
は、作業現場の安全性の向上、作業効率の向上を図るこ
とができる。Furthermore, at the same time when the movement of the worker is measured, the movement of the worker is recognized, and when a predetermined movement is made, the working machine or the like at the work site is stopped or the speed is reduced by a computer command. When controlled, the safety of the work site and the work efficiency can be improved.
【図1】本発明の一実施形態の構成を示すブロック図で
ある。FIG. 1 is a block diagram showing a configuration of an embodiment of the present invention.
【図2】カメラにて取り込まれた画像を示す図であっ
て、作業者の基本データ抽出の様子を示す説明図であ
る。FIG. 2 is a diagram showing an image captured by a camera, and an explanatory diagram showing a state of extracting basic data of an operator.
【図3】図3は、カメラにて取り込まれた画像を示す図
であって、作業者の追従データ抽出の様子を示す説明図
である。図3(a)は、作業者が横方向に移動したとき
の様子を示す図であり、図3(b)は、作業者が奥行き
方向に移動したときの様子を示す図である。FIG. 3 is a diagram showing an image captured by a camera and is an explanatory diagram showing a manner of extracting follow-up data of an operator. FIG. 3A is a diagram showing a state when the worker moves in the lateral direction, and FIG. 3B is a diagram showing a state when the worker moves in the depth direction.
【図4】図4は、カメラにて取り込まれた画像を示す図
であって、作業者の追従データ抽出の様子を示す説明図
である。特に、作業者の姿勢が、画面の垂直方向に対し
て傾いたときの様子を示す図である。FIG. 4 is a diagram showing an image captured by a camera and is an explanatory diagram showing a state of extraction of follow-up data of an operator. In particular, it is a diagram showing a state in which the posture of the worker is inclined with respect to the vertical direction of the screen.
【図5】図5は、カメラにて取り込まれた画像を示す図
であって、作業者の追従データ抽出の様子を示す説明図
である。図5(a)及び図5(b)は、作業者が前方
(カメラ方向)に頭部を突き出している様子を示す図で
ある。FIG. 5 is a diagram showing an image captured by a camera and is an explanatory diagram showing a manner of extracting follow-up data of an operator. FIG. 5A and FIG. 5B are diagrams showing a state in which the worker projects his head forward (toward the camera).
【図6】図6は、カメラにて取り込まれた画像を示す図
であって、作業者の追従データ抽出の様子を示す説明図
である。図6(a)及び図6(b)は、作業者が後方
(奥行き方向)に頭部を突き出している様子を示す図で
ある。FIG. 6 is a diagram showing an image captured by a camera, and is an explanatory diagram showing a manner of extracting follow-up data of an operator. FIG. 6A and FIG. 6B are diagrams showing a state in which the worker projects the head backward (in the depth direction).
【図7】キャリブレーションの処理手順を説明する説明
図である。FIG. 7 is an explanatory diagram illustrating a calibration processing procedure.
【図8】キャリブレーション処理とカメラとを関連さ
せ、そのときのカメラの駆動状態を示す説明図である。
図8(a)は、カメラと仮想平面との関係を示し、図8
(b)は、フレームバッファ上の目標点の位置を示す。FIG. 8 is an explanatory diagram showing a driving state of the camera at the time when the calibration process is associated with the camera.
FIG. 8A shows the relationship between the camera and the virtual plane.
(B) shows the position of the target point on the frame buffer.
【図9】本発明の第1の実施形態におけるシステム全体
の動作を示すフローチャートである。FIG. 9 is a flowchart showing the operation of the entire system in the first exemplary embodiment of the present invention.
【図10】システムの動作の一部である基本データ抽出
処理の動作を示すフローチャートである。FIG. 10 is a flowchart showing an operation of basic data extraction processing which is a part of the operation of the system.
【図11】システムの動作の一部である追従処理の動作
を示すフローチャートである。FIG. 11 is a flowchart showing an operation of a tracking process which is a part of the operation of the system.
【図12】システムの動作の一部であるパラメータ抽出
処理の動作を示すフローチャートである。FIG. 12 is a flowchart showing an operation of a parameter extraction process which is a part of the operation of the system.
【図13】システムの動作の一部であるカメラ制御時の
動作を示すフローチャートである。FIG. 13 is a flowchart showing an operation at the time of camera control, which is a part of the operation of the system.
1 カメラ 2 コンピュータ 3 作業者 11 駆動部 21 CPU(制御部) 22 フレームバッファ(フレームメモリ) 23 RAM(メモリ) 24 ハードディスク(記憶部) B 胴体部 H 頭部 Hb 胴体部の高さ Hh 頭部の高さ Wb 胴体部の幅 Wh 頭部の幅 Gb 胴体部の重心 Gh 頭部の重心 1 camera 2 computers 3 workers 11 Drive 21 CPU (control unit) 22 frame buffer (frame memory) 23 RAM 24 Hard disk (storage unit) B torso H head Hb Body height Hh head height Wb Body width Wh head width Center of gravity of Gb body Center of gravity of Gh head
───────────────────────────────────────────────────── フロントページの続き (72)発明者 久保田 整 神奈川県横浜市都筑区桜並木2番1号 ス ズキ株式会社横浜研究所内 Fターム(参考) 5B057 AA19 BA02 BA11 BA17 CA01 CA08 CA12 CA16 CD01 DA07 DA08 DB02 DB06 DB09 DC05 DC06 DC14 DC16 5C054 AA01 CA04 CC02 CG06 CH03 CH09 EA01 EA07 FC07 FC13 FC14 FC15 FF02 FF03 GA01 GA04 GB00 HA03 HA05 ─────────────────────────────────────────────────── ─── Continued front page (72) Inventor Sei Kubota 2-1, Sakura Namiki, Tsuzuki-ku, Yokohama-shi, Kanagawa Zuki Co., Ltd. Yokohama Institute F-term (reference) 5B057 AA19 BA02 BA11 BA17 CA01 CA08 CA12 CA16 CD01 DA07 DA08 DB02 DB06 DB09 DC05 DC06 DC14 DC16 5C054 AA01 CA04 CC02 CG06 CH03 CH09 EA01 EA07 FC07 FC13 FC14 FC15 FF02 FF03 GA01 GA04 GB00 HA03 HA05
Claims (11)
計測するシステムであって、 所定の時間間隔にて前記作業現場の画像を取り込むカメ
ラと、このカメラの画像取り込み動作を制御すると共に
取り込んだ画像を処理するコンピュータとを備え、 前記カメラは、前記コンピュータに制御されて所定の画
像の取り込み範囲を変更するよう当該カメラを駆動制御
する駆動部を備えると共に、 前記コンピュータは、前記所定の時間間隔にて取り込ん
だ画像に写し出された作業者に関するデータである追従
データを抽出する追従データ抽出機能と、この抽出され
た追従データに基づいて作業者の位置が前記カメラの画
面上の所定箇所に位置するよう当該作業者を追従して前
記カメラの駆動部を駆動制御するカメラ制御機能と、前
記画像の取り込み時刻と前記カメラの駆動制御量とを記
憶する測定データ記憶機能とを備えたことを特徴とする
作業動作計測システム。1. A system for measuring an operation of a worker at a predetermined work site, comprising: a camera for capturing an image of the work site at a predetermined time interval; and a control for capturing the image by the camera. A computer that processes an image, the camera includes a drive unit that drives and controls the camera to change a capture range of a predetermined image under the control of the computer, and the computer has the predetermined time interval. Tracking data extraction function that extracts tracking data that is data related to the worker projected in the image captured by, and the position of the worker at a predetermined position on the screen of the camera based on the extracted tracking data. A camera control function that drives and controls the drive unit of the camera by following the worker, and when capturing the image. A work motion measuring system having a measurement data storage function for storing the time and the drive control amount of the camera.
業者を写す画像を取り込んで当該画像から作業者に関す
るデータである基本データを抽出する基本データ抽出機
能を備え、 前記カメラ制御機能は、前記基本データ抽出機能にて抽
出された基本データと前記追従データ抽出機能にて抽出
された追従データとに基づいて前記作業者を追従して前
記カメラを駆動制御することを特徴とする請求項1記載
の作業動作計測システム。2. The computer has a basic data extraction function of previously capturing an image of the worker and extracting basic data that is data related to the worker from the image, and the camera control function includes the basic data extraction. The work operation according to claim 1, wherein the camera is driven and controlled by following the worker based on the basic data extracted by a function and the follow-up data extracted by the follow-up data extracting function. Measuring system.
のあらかじめ定められた所定の特徴点を抽出することを
特徴とする請求項1又は2記載の作業動作計測システ
ム。3. The work motion measuring system according to claim 1, wherein the follow-up data extracting function extracts a predetermined characteristic point of the worker.
抽出機能は、前記作業者のあらかじめ定められた同一の
パラメータを抽出することを特徴とする請求項2記載の
作業動作計測システム。4. The work motion measuring system according to claim 2, wherein the basic data extracting function and the follow-up data extracting function extract the same predetermined parameter of the worker.
抽出機能は、前記作業者の胴体部の重心をそれぞれ算出
すると共に、前記カメラ制御機能は、前記算出した各重
心に基づいて前記作業者を追従するよう前記カメラを駆
動制御することを特徴とする請求項2記載の作業計測シ
ステム。5. The basic data extraction function and the follow-up data extraction function each calculate the center of gravity of the body of the worker, and the camera control function follows the worker based on each calculated center of gravity. The work measurement system according to claim 2, wherein the camera is drive-controlled so as to:
抽出機能は、前記作業者の胴体部及び頭部の所定のサイ
ズに関する情報を算出すると共に、前記カメラ制御部
は、前記算出した所定のサイズに関する情報に基づいて
前記作業者を追従するようカメラを制御することを特徴
とする請求項2又は5記載の作業計測システム。6. The basic data extraction function and the follow-up data extraction function calculate information regarding a predetermined size of the body and head of the worker, and the camera control unit relates to the calculated predetermined size. The work measuring system according to claim 2, wherein the camera is controlled so as to follow the worker based on the information.
ラが取り込む画像の範囲を、パン方向とチルト方向とズ
ーム方向とに移動するよう当該カメラを駆動することを
特徴とする請求項1,2,3,4,5又は6記載の作業
動作計測システム。7. The driving unit included in the camera drives the camera so as to move a range of an image captured by the camera in a pan direction, a tilt direction, and a zoom direction. , 3, 4, 5 or 6 work motion measuring system.
動作を制御される所定の作業機械を配設し、 前記コンピュータは、前記測定データに基づいて作業現
場内の作業機械の動作を制御することを特徴とする請求
項1,2,3,4,5又は6記載の作業動作計測システ
ム。8. A predetermined work machine whose operation is controlled by the computer is provided at the work site, and the computer controls the operation of the work machine in the work site based on the measurement data. The work motion measuring system according to claim 1, 2, 3, 4, 5 or 6.
像を取り込むと共に所定の画像の取り込み範囲を変更す
るよう自身を駆動制御する駆動部を有するカメラと、こ
のカメラの画像取り込み動作を制御すると共に取り込ん
だ画像を処理するコンピュータとを備え、前記作業現場
における作業者の動作を計測する方法であって、 前記コンピュータがあらかじめ前記作業者を写す画像を
取り込んで当該画像から作業者に関するデータである基
本データを抽出する基本データ抽出工程と、前記コンピ
ュータが前記所定の時間間隔にて取り込んだ画像に写し
出された作業者に関するデータである追従データを抽出
する追従データ抽出工程と、前記抽出された追従データ
に基づいて作業者の位置が前記カメラの画面上の所定箇
所に位置するよう当該作業者を追従して前記カメラを駆
動制御するカメラ制御工程と、前記画像の取り込み時刻
と前記カメラの駆動制御量とを記憶する測定データ記憶
工程とを備え、 前記追従データ抽出工程と前記カメラ制御工程とが、前
記所定の時間間隔にて画像が取り込まれるごとに作動す
ることを特徴とする作業動作計測方法。9. A camera having a drive unit for driving itself so as to capture an image of a predetermined work site at a predetermined time interval and change a capture range of the predetermined image, and to control an image capture operation of this camera. And a computer for processing the captured image, and a method for measuring the motion of the worker at the work site, wherein the computer captures an image of the worker in advance and uses the data about the worker from the image. A basic data extracting step of extracting certain basic data, a follow-up data extracting step of extracting follow-up data which is data relating to an operator projected on an image captured by the computer at the predetermined time interval, and the extracted Based on the follow-up data, the operator's position should be adjusted so that it is located at a predetermined position on the screen of the camera. A follow-up data extraction step and a camera control step, which includes a camera control step of following the person to drive-control the camera, and a measurement data storage step of storing a capture time of the image and a drive control amount of the camera. And is activated each time an image is captured at the predetermined time interval.
画像を取り込むと共に所定の画像の取り込み範囲を変更
するよう自身を駆動制御する駆動部を有するカメラと、
このカメラの画像取り込み動作を制御すると共に取り込
んだ画像を処理するコンピュータとを備え、前記作業現
場における作業者の動作を計測するよう前記コンピュー
タの動作を制御するプログラムであって、 あらかじめ前記作業者を写す画像を取り込んで当該画像
から作業者に関するデータである基本データを抽出する
基本データ抽出処理と、前記所定の時間間隔にて取り込
んだ画像に写し出された作業者に関するデータである追
従データを抽出する追従データ抽出処理と、前記抽出さ
れた追従データに基づいて作業者の位置が前記カメラの
画面上の所定箇所に位置するよう当該作業者を追従して
前記カメラを駆動制御するカメラ制御処理と、前記画像
の取り込み時刻と前記カメラの駆動制御量とを記憶する
測定データ記憶処理と、を実行するよう前記コンピュー
タの動作を制御する作業動作計測用プログラム。10. A camera having a drive unit for driving itself so as to capture an image of a predetermined work site at a predetermined time interval and to change a capture range of the predetermined image,
A program for controlling the image capturing operation of the camera and for processing the captured image, which is a program for controlling the operation of the computer so as to measure the operation of the operator at the work site. A basic data extraction process that captures an image to be captured and extracts basic data that is data related to a worker from the image, and extracts follow-up data that is data related to the worker that is captured in the image captured at the predetermined time interval. Follow-up data extraction processing, and camera control processing that follows the worker so that the position of the worker is located at a predetermined position on the screen of the camera based on the extracted follow-up data, and controls the drive of the camera, Executes a measurement data storage process that stores the image capture time and the camera drive control amount A work movement measuring program for controlling the movement of the computer.
画像を取り込むと共に所定の画像の取り込み範囲を変更
するよう自身を駆動制御する駆動部を有するカメラと、
このカメラの画像取り込み動作を制御すると共に取り込
んだ画像を処理するコンピュータとを備え、前記作業現
場における作業者の動作を計測するよう前記コンピュー
タの動作を制御するプログラムを記憶した記憶媒体であ
って、 あらかじめ前記作業者を写す画像を取り込んで当該画像
から作業者に関するデータである基本データを抽出する
基本データ抽出処理と、前記所定の時間間隔にて取り込
んだ画像に写し出された作業者に関するデータである追
従データを抽出する追従データ抽出処理と、前記抽出さ
れた追従データに基づいて作業者の位置が前記カメラの
画面上の所定箇所に位置するよう当該作業者を追従して
前記カメラを駆動制御するカメラ制御処理と、前記画像
の取り込み時刻と前記カメラの駆動制御量とを記憶する
測定データ記憶処理と、を実行するよう前記コンピュー
タの動作を制御する作業動作計測用プログラムを記憶し
た記憶媒体。11. A camera having a drive unit for driving itself so as to capture an image of a predetermined work site at a predetermined time interval and change a capture range of the predetermined image,
A storage medium having a computer for controlling the image capturing operation of this camera and for processing the captured image, and storing a program for controlling the operation of the computer so as to measure the operation of the worker at the work site. Basic data extraction processing that captures an image of the worker in advance and extracts basic data that is data related to the worker from the image, and data related to the worker that is captured in the image captured at the predetermined time interval. Follow-up data extraction processing for extracting follow-up data, and based on the extracted follow-up data, follows the worker to drive and control the camera so that the position of the worker is located at a predetermined position on the screen of the camera. Camera control processing, measurement data that stores the image capture time and the camera drive control amount A storage medium that stores a work operation measurement program that controls the operation of the computer so as to execute a storage process.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001239041A JP2003052039A (en) | 2001-08-07 | 2001-08-07 | System and method for measuring work motion, and program for measurement of work motion |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001239041A JP2003052039A (en) | 2001-08-07 | 2001-08-07 | System and method for measuring work motion, and program for measurement of work motion |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2003052039A true JP2003052039A (en) | 2003-02-21 |
Family
ID=19069859
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001239041A Withdrawn JP2003052039A (en) | 2001-08-07 | 2001-08-07 | System and method for measuring work motion, and program for measurement of work motion |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2003052039A (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005196519A (en) * | 2004-01-08 | 2005-07-21 | Sony Corp | Image processor and image processing method, recording medium, and program |
JP2007022401A (en) * | 2005-07-19 | 2007-02-01 | Takata Corp | Occupant information detection system, occupant restraint device and vehicle |
JP2010211626A (en) * | 2009-03-11 | 2010-09-24 | Nec Corp | Traffic line monitoring system, method and program |
JP2016057720A (en) * | 2014-09-08 | 2016-04-21 | 日本電産株式会社 | Mobile body control device and mobile body |
US20160234464A1 (en) * | 2015-02-06 | 2016-08-11 | Xerox Corporation | Computer-vision based process recognition |
JP2021068161A (en) * | 2019-10-23 | 2021-04-30 | オムロン株式会社 | Distance estimation device, distance estimation method and distance estimation program |
-
2001
- 2001-08-07 JP JP2001239041A patent/JP2003052039A/en not_active Withdrawn
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005196519A (en) * | 2004-01-08 | 2005-07-21 | Sony Corp | Image processor and image processing method, recording medium, and program |
JP2007022401A (en) * | 2005-07-19 | 2007-02-01 | Takata Corp | Occupant information detection system, occupant restraint device and vehicle |
JP2010211626A (en) * | 2009-03-11 | 2010-09-24 | Nec Corp | Traffic line monitoring system, method and program |
JP2016057720A (en) * | 2014-09-08 | 2016-04-21 | 日本電産株式会社 | Mobile body control device and mobile body |
US10379541B2 (en) | 2014-09-08 | 2019-08-13 | Nidec Corporation | Mobile unit control device and mobile unit |
US20160234464A1 (en) * | 2015-02-06 | 2016-08-11 | Xerox Corporation | Computer-vision based process recognition |
US10110858B2 (en) * | 2015-02-06 | 2018-10-23 | Conduent Business Services, Llc | Computer-vision based process recognition of activity workflow of human performer |
JP2021068161A (en) * | 2019-10-23 | 2021-04-30 | オムロン株式会社 | Distance estimation device, distance estimation method and distance estimation program |
JP7354761B2 (en) | 2019-10-23 | 2023-10-03 | オムロン株式会社 | Distance estimation device, distance estimation method, and distance estimation program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Goncalves et al. | Monocular tracking of the human arm in 3D | |
CN100474339C (en) | Human identification apparatus | |
JP4479194B2 (en) | Motion identification device and object posture identification device | |
CN107833271A (en) | A kind of bone reorientation method and device based on Kinect | |
JP2004094288A (en) | Instructed position detecting device and autonomous robot | |
US20030215130A1 (en) | Method of processing passive optical motion capture data | |
JP5595655B2 (en) | Image processing apparatus and image processing method | |
JP5526465B2 (en) | Nail position data detection device, nail position data detection method, and nail position data detection program | |
JP6951685B2 (en) | Motion analysis system, motion analysis device, motion analysis method and motion analysis program | |
WO2007102537A1 (en) | Posture estimating device and method | |
JP4765075B2 (en) | Object position and orientation recognition system using stereo image and program for executing object position and orientation recognition method | |
JP2002008040A (en) | Three-dimensional information detecting device and three-dimensional information detecting method | |
US11941824B2 (en) | Video-based hand and ground reaction force determination | |
JP2967086B1 (en) | Estimation of 3D pose of a person by multi-view image processing | |
JP2001005973A (en) | Method and device for estimating three-dimensional posture of person by color image | |
JP2003052039A (en) | System and method for measuring work motion, and program for measurement of work motion | |
JP2018180894A (en) | Information processing device, information processing method, and program | |
Fiore et al. | Optimal camera placement with adaptation to dynamic scenes | |
JP6810442B2 (en) | A camera assembly, a finger shape detection system using the camera assembly, a finger shape detection method using the camera assembly, a program for implementing the detection method, and a storage medium for the program. | |
Azhar et al. | Significant body point labeling and tracking | |
JPH08212327A (en) | Gesture recognition device | |
Di Bernardo et al. | Monocular tracking of the human arm in 3d: Real-time implementation and experiments | |
WO2021039642A1 (en) | Three-dimensional reconstruction device, method, and program | |
Ning et al. | Model-based tracking of human walking in monocular image sequences | |
Sigalas et al. | Robust model-based 3d torso pose estimation in rgb-d sequences |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20081007 |