JP2000500236A - Computer stereo vision system and method - Google Patents

Computer stereo vision system and method

Info

Publication number
JP2000500236A
JP2000500236A JP9518719A JP51871997A JP2000500236A JP 2000500236 A JP2000500236 A JP 2000500236A JP 9518719 A JP9518719 A JP 9518719A JP 51871997 A JP51871997 A JP 51871997A JP 2000500236 A JP2000500236 A JP 2000500236A
Authority
JP
Japan
Prior art keywords
data
camera
shape
computer vision
register
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP9518719A
Other languages
Japanese (ja)
Inventor
ラゾン,モーシェ
Original Assignee
ラゾン,モーシェ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ラゾン,モーシェ filed Critical ラゾン,モーシェ
Publication of JP2000500236A publication Critical patent/JP2000500236A/en
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/10Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/20Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with adaptation to the measurement of the height of an object
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/15Processing image signals for colour aspects of image signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189Recording image signals; Reproducing recorded image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0077Colour aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0085Motion estimation from stereoscopic image signals

Abstract

(57)【要約】 本発明のシステム及び方法は、ロボット、装置、ツール等が、その操作環境を、一対の同一のカメラによって見ることができるようにすることを意図するものであり、カメラは、整列され、互換性があり、その視野(撮影フィールド)と調和し、平行且つ視野内の全ての線の間の平行偏向(M)について調節されたており、また本発明のシステム及び方法は、ロボット、装置、ツール等が、カメラが見た全てのものを、即時に、撮影速度で同定することができるようにすることを意図するものである。このシステム及び方法によって、コンピュータービジョンは、この目的のために、カメラから指定された場所へ画像を受理し、空間的メモリーに保存された画像から、視野のためのバックアップが形成され、コンピュータービジョンは、画像中全ての点一つ一つについて距離並びに形状の寸法を計算し、その種々の特徴を登録する。システムは、所定時間間隔における運動同定、及びカラーフィルターにかけた後に受理した、主カメラの画像中の全ての形状一つ一つの運動、動作、速度、及び方向の計算のためのメモリーレジスター、基本形状及び「真性」表等のデータ表のレジスターを含む。このレジスターは、データ、特徴、定義を検出すること、及びキーエレメントのために結論を導きだすことを目的としている。データ、特徴、定義、及び結論によって、認識されている保存形状のレジスターと互換性のある、未同定形状のためのキーを構成することができ、よって、未同定形状の同定を、完全且つ略即時に行なう。 (57) SUMMARY The system and method of the present invention are intended to allow a robot, device, tool, etc., to view its operating environment with a pair of identical cameras. Aligned, compatible, coordinated with its field of view (field of view), parallel and adjusted for parallel deflection (M) between all lines in the field of view, and the system and method of the present invention. , Robots, devices, tools, etc. are intended to be able to immediately identify everything the camera sees at the shooting speed. With this system and method, computer vision receives images from a camera to a designated location for this purpose, and a backup for the field of view is created from the images stored in spatial memory. Calculate the distance and the shape of each point for each point in the image, and register the various features. The system consists of a memory register for the calculation of each motion, motion, speed, and direction of each shape in the image of the main camera, which has been received after being filtered and color-filtered at predetermined time intervals, the basic shape. And registers for data tables such as "intrinsic" tables. This register is intended to detect data, features, definitions and draw conclusions for key elements. The data, features, definitions, and conclusions can constitute a key for the unidentified shape that is compatible with the register of the recognized saved shape, thus completely and substantially identifying the unidentified shape. Perform immediately.

Description

【発明の詳細な説明】 コンピュータ立体ビジョンシステム及び方法発明の分野 本発明は、一般的に、カメラ、コンピュータ等の手段によりリアルタイムに見 られるコンピュータビジョン及び同定、並びに2以上の「立体」カメラによる3 −Dコンピュータビジョンに関する。発明の背景 コンピュータビジョンの需要は、あらゆる分野、例えば研究、天文学、ロボッ ト工学、工業、農業、製造、サービス、運転、警備、盲者の援助、現象の検出等 における問題の解決及び人による実際の使用のために、日常必要なものである。 今日、内部及び外部両方のコンピュータメモリが大きくなるにつれ、コンピュー タコンポネントの物理的寸法は次第に減少してきており、さまざまなタイプの高 速プロセッサが存在する。従って、もし、見る全てのものをリアルタイムに同定 することができるコンピュータビジョンのためのシステム及び方法をつくること ができたら、全てのことがより簡単且つ単純になるであろう。現在の状況 今日存在する、1つ又は2つのカメラを使用するコンピュ ータビジョンは、個々の、定義された、知られた、且つ主に静的な対象のビジョ ンに焦点を合わせ、それらの同定は冗長で、比較的で、部分的で、焦点があった もののみであり、見られる全てのものを撮影と同時的に分析及び同定せず、また 、センサー、照明、測定ゲージ等の多くの装置を必要とし、扱いにくく、限定さ れ、効率が不十分であり、満足な解決を与えない。発明の目的 本発明の目的は、コンピュータに接続されるカメラ、寸法、動き及び他の知覚 的特徴をコンピューテイングする手段により、見える全ての形を同時的に且つ撮 影の速度で分析及び同定することを可能とするシステム及び方法を提供すること にある。さらに、本発明の目的は、全ての自動化装置(ツール、コンピュータ、 ロボット等)が、全ての有形物及び現象を、さまざまな適切なビジョンの手段に より、人が見ることができ同定できるように見ることを可能とすることにある。 およそ全ての人が行う動き、課題及び作業を、より正確に、効率的に、早く、良 く、いつどこででも、物理的に接近が困難、危険、接近不可能、退屈な場所でも 、可能とし、助け及び実行する。 さらに、本発明の目的は、人が、本発明の手段により、離れた場所から、ある 特定の領域の周りの空間を、3−D表示で、マルチメディアソフトウエアを伴っ たマルチメディアを使って、3−Dビジョンのために設計された眼鏡及び/又は 特殊な装置、又はデータ転送のためのライン及び通常のモニタースクリーンを使 用することにより、「見る」ようにすることである。 本発明の目的は、市場に何らかの形で存在するイクイップメント、システム、 回路及び電子コンポーネント、基本ソフトウエア等を用いて、そのための装置を 構成することを可能とすることにある。そしてそれらの結合、組み合わせ、付加 、延長等により、環境への適合能力を含めて、本発明に従って装置を創造及び/ 又は組み立てることができる。平均的な電子エンジニア、コンピューターエンジ ニア、システムアナライザー等は、本発明に従って装置を設計、組立及び構成す ることができる。本発明 本発明は、好ましい立体コンピュータービジョンのための革新的なシステム及 び方法からなり、以下のものを含み、また操作する。序言 1.全体的に、本発明のプロセスの部分を形成しない、ソフトウエアの説明とし てのすべての材料は、サンプルとしての提示に過ぎない。その目的は、コンピュ ータービジョンの操作のプロセスを説明することであり、本発明の本質を減じる ものではない。 2.コンピュータービジョンが、サーブするカスタマに転送 しなければならないデータによって様々なタイプ、モデル及びサイズ(例えば、 大型、小型、中型、フィリップス・スクリュードライバー等)のコンピューター ビジョンシステムが存在するため、以下になされる説明は、一般的なものである が、それら全てにおける基本的な操作原理は同一である。 3.コンピュータービジョンは、「見る」サービスを提供する手段である。その 課題は空間中のセクションを見、必要に応じて解読し、必要なものを何でもレジ スターにストアし、さらに見られた対象又は関係するデータを転送することであ る。 必要であれば、全てコンピュータービジョンシステムの目的に合わせて、3 −D形式又は「マルチメディア」(見られた対象の形、場所、位置、サイズ、色 、距離等に関するデータを含む)のデータ転送を設計することも可能である。 4.コンピュータービジョンはカスタマにサーブすると考えられ、カスタマは限 定された操作を行うと考えられるので、それの作業空間は通常制限される。従っ て、そのようなカスタマに適合したコンピュータービジョンシステムは、カスタ マに、その課題を満足させるために必要なデータを提供しなければならない。適 切なデータ及びソフトウエアの助けにより、カスタマが操作する環境に「精通」 することが可能となり、領域内に見られうる、そのようなカスタマにとってその 知覚が重要である対象の形を認識する。さら に、システムは、全ての作業分野においてカスタマが出会い、扱わなくてはなら ず、それの任務の枠組みにおいて使用するイクイップメント及びツールを、繰り 返す程度によって認識する。 5.コンピュータービジョンは、メモリシステム等の追加の補助装置を用いてカ スタマが行う測定を助けることができる。また、このような補助装置はシステム 又はカスタマの外部とすることができる。カスタマのコンピュータービジョンと 補助装置との間に、相互関係、互換性、参照、コンシダレーション、相互性、デ ータ転送等が存在しうる。図面(図)の一覧 図面(図)1は、2つのプロセッサを有する、本発明による可能な接続を含む 好ましいシステムの概略的なブロック線図形式のスケッチである。 図面(図)2は、本発明に従って構成され操作されるシステムを構成する部分 の概略的なスケッチである。 図面(図)3は、図1に示されるシステムの複数の中心視軸、視野及び視野の 平行制限線及び視覚イメージを概略的に説明する水平断面図である。 図面(図)A/3(×4拡大)は、図面3の平行視覚イメージである。 図面(図)4は、様々な距離及び様々なサイズにおける(図面1に記載された システムの)視野及び見られた形を概略的に示す水平断面図である。 図面(図)A/4(×4拡大)は、図面4で見られた形状の、図面1に記載さ れたシステムの左右の両方のカメラにより同時に見た図を示す。撮影及びカメラ 1.一対の同一のカメラ3(図面1及び2)は、整列し、可変及び拡大/縮小を 含む撮影角度が座標軸に配置され、共通な平面(以下水平面と称す)上に共存す る、撮影カメラの光学的平行視野(図面3)を形成する。即ち、それぞれのサイ トラインのフィールドに対する距離は(0:0)から(Y:X)まで両方のカメ ラで同一であり、全ての撮影距離において固定された距離M(図面3及びA/3 )である。カメラの垂直運動(水平面と垂直な)は一定で同一である。 カメラによって取られた写真は、カメラ又は他のイクイップメントによって 、コンピュータ言語(デジタル)に翻訳された後に、撮影速度及び/又はその他 に従って、入力メモリA/51及びB/51(図面1)に受理される。コンピュ ータービジョンシステムによる調整は、インストール時において物理的に及び/ 又は他のいずれかの機会に行うことができる。 2.1つの包囲体又は分離されたパッケージング内の前記2以上のカメラは、C CDカメラ等のビデオカメラに類似するものであり画像中の受理されたデータを デジタルデータに変換するための統合された手段を有するカメラを含み、 且つ以下の1つ以上を含む: a)光増幅等の手段による、様々なスピード及びIR、可視等のいずれかの光 、及び不十分なもの等のいずれかのライティングコンディションにおけるカラー 撮影のための適合; b)望遠又は顕微手段を含む拡大又は縮小装置 c)直線的、凹又は凸の、所望の解像度を含む光学イメージ25(図面3及び A/3)。 3.カメラは、コンピュータービジョンシステムにより与えられる指示に従って 働く必要な補助イクイップメントを備える。 a)レンズを調整する(距離、光等)。 b)カメラを動かす(横方向、円運動、上向き、下向き等)。 c)セットする(望遠鏡、顕微鏡、スターライト増幅機等) d)コンピュータービジョンシステム及びカメラをサーブし、それらを、特定 の時間において適切で所望で正確な態様においてコンピュータービジョンが実行 される状況に持っていく。トランスレーター A/59及びB/59トランスレーター(図面1)は、カメラの一体的な部分 を形成することができ、及び/又は、操作、測定、外部イクイップメントへの結 合イクイップメント及び/又はいずれかの付属手段からコンピュータービジョン システムへ、またはその逆に翻訳することができる。それは、 システムの全ての部分又はその一部のみ、又は上記のいくつかを、コンピュータ ービジョンシステムにサーブすることができる。画像入力プロセス 1.いずれかのカメラから受理されたいずれかの画像(カラー画像を含む)は、 そのまま入力メモリA/51及びB/51(図面1)へその指定された位置へ入 り、カメラ解像度に比例したスペースを占める。全てのカメラの画像は、イメー ジシミュレーティングメモリ装置(例えば「スクリーンカード」)等の入力メモ リの分離された場所に、全ての色を有し撮影速度で入り、さらに、例えば主カメ ラAの画像はカラーフィルタリング53後(図面1)に、所定時間間隔での運動 同定レジスタ54(図面1)に入る。 2.1つのカメラ又は3−D撮影の場合には2つのカメラへの、画像の、空間メ モリA/52中のその位置への転送(図面1)は、もしコンピュータービジョン システムがユーザの一部をつくる場合はコンスマームーブメント6(図面2)に 従って、及び/又は水平及び垂直軸上のカメラの運動に従って、固定された、拡 大/縮小及び/又は他の画像から受理された全ての画像を登録する。画像は水平 及び垂直座標軸内のアウトライン画像としてセーブされ、コンスタントに更新さ れる。動き、運動の計算に従って、それぞれ及び全てのカメラからの全ての画像 の水平及び垂直の座標は更新される。それらはまた空間カウンター57の運 動に従って更新される(図面1)。 3.撮影速度に従ってカメラから受理された画像は、A/55プロセッサにより スキャンされ(図面1)、スキャンニングプロセスの間、画像中の同定されてい ない又は動いた/前進したそれぞれの形状に関して、カメラからの距離、並びに 計算できる及び/又は画像からの結果である他のデータ、例えば色等が計算され 、さらに、画像は空間メモリレジスタの適切な場所へ及びコンスマー等の他の位 置へ転送される。スキャンニング及びマッチング方法 1.左から右へ且つ上から下向きのスキャンニングが右カメラ(主カメラ)の画 像から始まり、画素(0:0)へ、それから左カメラ画像の画素(0:0)へで あると仮定して、全てのカメラ画像内の点(Y:X)に届くまで、撮影及び/又 はその他の速度に従った画像データのスキャンニングがされる。もし3−D表示 が必要な場合、主カメラだけでなく両方のそれぞれの及び全てのカメラのスキャ ンニングデータはそれぞれ別個に座標軸及び空間カウンターに従って、空間メモ リ画像とマッチングされ、マッチングがない場合、それらは更新され、得られる 画像との間にマッチングが見いだされる。 2.変更された画像及びその中のドットは、距離測定及び/又は輪郭の同定の目 的でマッチングされていなければならない。また、普通のマッチングの他に、互 いにマッチング される。 3.両方のカメラの画像中の水平線X及び列Y中の点Dへの距離L(図面4及び A/4)のマッチング及び計算を目的としたスキャンニングが行われる。X1は 主カメラ中の点(Y:0)からの画素の数でありX2は他のカメラ中の点(Y: 0)から同じドットへの画素の数である。以下の差異が得られる:Wr=X2− X1。これが距離の計算を可能とする。 4.画素は右及び左のカメラで見られた点を示し、前記点は、一致距離(2M及 びO=Wr<1/2を示す画素)の先に位置する。この距離から先では距離の変 動は検出できない。 両方のカメラで受理された画像中の同じ点は同じ位置(Y:X)に位置し、そ れらを示す画素は同一である。 5.一致距離から、距離が短いほど画素間の距離Wrは大きくなる。即ち、離れ た形状から近づいた形状への移動は画素間の距離Wrを増加させ、一方近づいた 形状から離れた形状への移動は画素間の距離Wrを減少させる。結果として、遠 くなって、クローズアップした際に主カメラの画像に表われず他のカメラの画像 内にあるドットが存在するが、コンピュータービジョンシステムはマッチングの 実行の際それを考慮に入れる。これらの深度ドットもまた、連続的である場合、 輪郭線及び/又は異なる領域間の分割線を形成する。 6.最初に見る際、ビジョンコンピューターは、間隔をおいた運動検出レジスタ を除いて追加の画像が入るのを妨害し、 画素転送のスキャンニング及び最初に見た画像のマッチングを実行する。 コンピュータービジョンシステムは主カメラの画像中の画素(0:0)を他 のカメラ中の同じ画素とマッチングする。マッチングがあれば、差異は0=Wr であり、システムは、両方の画像中の転送マッチングされるべき次の画素に移り 、非マッチングが見いだされるまで続けられる。結局マッチングが無かった場合 、差異は0≠Wrであり、コンピュータービジョンシステムはまず主カメラの画 像の画素を次々に、マッチングがなかった第2カメラの画像の同じ画素とマッチ ングが見いだされるまでマッチさせ、転送とマッチングを同様に、又は差異が0 =Wrであるまで続け、もしマッチングが見いだされなければ、コンピューター は主カメラの画像の、マッチングが無かった同一の画素に戻り、第2カメラの画 像の画素を、間隔をおいた運動検出に基づいた領域限定の定義を用いてこの画素 とマッチングするまで次々マッチングさせる。 7.同一の距離にある両方の画像における同一の線において連続する代表画素は 、順序に従って次々にマッチングされ、もし2つの画素がマッチしなければ、点 の一つの距離が変化したと推測され、それに従って計算のためのマッチングのプ ロセスが働く。 8.標準的なマッチングスクリーニングにおいて、インプット画像と空間メモリ 画像との間にマッチングがない場合、コンピュータは、それぞれの画像において マッチングが無 かった同一の場所から受理された画像間のマッチングを始め、前の情報に基づき 、いずれかの形状が動いたか、変化したか、又は新しいかを検出し、全てのマッ チングにおけるそれぞれの点の距離を計算する。これを、受理された画像と空間 メモリ画像との間のマッチングが見いだされるまで行い、通常通り進行する。距離計算プロセス 1.計算及び画像の取り扱いの目的で、例えば(0,0)から(Y,X)又は( −Y,−X)から(Y,X)と、座標57をカウンタに割り当てることができ( 図面1)(線を示す)、これは、その上に空間メモリ画像が置かれた一種のグリ ッドである。例えば、「0」点は、それぞれのカメラについての水平水準上の中 心読み取り点Op(図面3及びA/3)であり(画像の中心点)、カメラは水準 が決められコンパスの「北」の方角に従って北向きにされる。 カメラの東向きの横運動つまり上向きの運動が正で西向きつまり下向きが負 である場合、コンピュータは、外的要素又はコンパス又は補助システムによる画 像の運動に従って自動的に(例えば1つの画素の角度のサイズによって)更新さ れ、それに従いカメラのデータを受理する。 1つの座標は周辺水平的な、他は周辺垂直的な点を示す。 2.領域の方向付けの目的で、例えば、主カメラの視野の中心線(カメラの中心 点)と関係する三次元カウンタ57(図面1)が存在する。例えば、セットされ た基準の「0」 点からの「東から西へ」のカメラの動きの進みをカウントするカウンタ(1)、 セットされた基準の「0」点からの「北−南」のカメラの動きの進みをカウント するカウンタ(2)、例えば海面又は「0」点を形成する他のいずれかの確立さ れた水準についての上昇及び下降(高さ)をカウントするカウンタ(3)等であ る。 3.全ての入力メモリへ受理された画像について、その中の第1の同定された点 に関して、カウンタを座標にマッチングするための計算を行う。得られた画像は 計算及び相対座標に従って空間メモリ画像に転送される。 4.ビデオカメラ(CCD)又はいずれかの同様なカメラを使用する場合、カメ ラの、水平面又は垂直面上における自転は、カメラ画像中の画素の数に従った座 標で(標準撮影において)周辺画像をマップすることを可能とする。従って、空 間は球の包絡面内の角を示す座標によりマップされる。その中心はカメラの撮影 角度の角度点である。1回転が完結した際又は水平又は垂直軸に沿った撮影/視 覚空間の終点に達した際、コンピュータービジョンは、例えば、画素/座標の数 を同定し、運動の中のコース又は撮影/視覚された空間の始めの座標へ戻らなけ ればならないことを「知る」。 5.例えば拡大する間、カメラのズームは撮影される画像の角度を減少させるた めに活動化され、それに従って追加される座標は小数点部分、例えば小数点以下 3桁である。 6.空間中の全ての形によって占められる画素の数は光学イ メージ内の画素の数、形状の物理的な寸法、そのカメラへの近さ及び開いている 視野角度に依存する。画素の数が多い程、光学イメージの視野角度の開口が小さ くなり、より多くの画素が(カメラから一定の距離において)自然と同じサイズ の形を示し、形状の同定が改善する。さらに、拡大が大きい程、同一の寸法の形 状を示す画素の数が多くなる。計算方法 カメラから計算がなされるマッチング点への距離Lの計算は、距離Wr、同定 、光学イメージの物理的寸法及び解像度、カメラ間のマッチング及び一定の距離 M(平行離隔)に基づいて行われる。 1.視野角度の角部分αから光学イメージまでの半径r0、(X軸上の)幅X0、 及び拡大/縮小Aの計算式は、以下の通りである:r0=360*A*X0/2* π*α(全円を周る角度は360である);及びK0は全て式中一定のデータで あり:K0=360*X0/2*πである。 2.視野角αから見られるいずれかの点までの半径r、光学イメージ内の(X軸 上の)水平な画素の数X及び計算のための式は:r=360*A*X*M/2* π*Wr*αでありKは全て式中一定のデータであり:K=360*X/2*π である。 3.K1はいずれの場合も定数であり、拡大/縮小Aと正比例し、視野角αと反 比例し、その式は:K1=A/αであ る。 4.距離Lの計算のための式は:L=K1(K/Wr−K0)(変数Wrの因子) 5.間接距離L1の計算のための式、ここでQ1は、例えば知られた人の背丈等の 標準的なサイズを有する形の位置における画素が示すもののサイズである。 計算式は; L1=360*A*Q1*X/2*π*α−r0=K1(K*Q1−K0) 従って、その結果:点への距離の計算は、それが示す点についての画素が示 すもののサイズを計算することを可能とする。その計算は、その点が属する領域 の枠、及び計算を必要とする幅、高さ、深さ、サイズ、角度、特徴及び(はため いている、ぶらさらっている等の)状態等の他の定義データを検出することを補 助/許容する。領域分割及びデータ収集のプロセス 領域11及び12のそれぞれ(図面A/4)には、コード(仮の名前)が同定 のために与えられる。領域は、その中に様々な寸法の他の領域を形作ることがで きる。それぞれの領域は、(ドット及び線を除き)通常輪郭、領域の固定された 距離、環境との差異又は異なる色又は輪郭線及び/又は領域と周囲の領域との間 の分離、領域の運動及び領域の状態(震え、ぶらさがり等)等の特徴を有しなけ ればならない。これら、並びに他のデータはB/55プロセッサによるコンピュ ータービジョンシステムにより同定され定義される(図面1)。 1.色分離58(図面1)ソフトウエア56(図面1)は、受理された画像の色 を処理し、色を分離し、他の先立つ領域の定義を使用して領域の定義を助け、領 域の支配的な色のそれぞれについて、領域中の全ての色の中のその色の追加の定 義を検出する。例えば、4形態の分割が可能である。 a.色の量が:領域内の色の100%−90%; b.色の量が:領域内の色の90%−70%; c.色の量が:領域内の色の70%−50%; d.色の量が:領域内の色の50%以下。 さらに私はまた、色の拡散の態様(拡散したドット、あるサイズのスポット 等)を強調したい。 2.受理と同時に、また正常な受理に加え、主カメラの画像はカラーフィルタリ ング53を通り(図面1)(供給源のセーブ)、所定時間間隔での運動検出レジ スタ54にセーブされ(図面1)、固定された拡大/縮小及び所望の及び知られ た拡大/縮小の写真(それらはいくつかとすることができる)において等しい時 間間隔で複製され調べられる。受理された画像から取られた先立つデータ(例え ば色、影、計算等)に基づいて、動き、運動、スピード、角度(見られる対象に 関する角度、見られる対象のカメラ及び空間内の他のものに対する角度)、並び に領域内の運動(目の動き等)、領域の包絡面内の動き(位置、手の動き等)を 、領域/形状11及び12(図面4)について検出及び/又 は計算することができ、基部が安定で上部が動いている(例えば樹木)かどうか 、領域の運動が流れている(例えば川)かどうか、方向(北、南、東、西、上向 き、下向き、前向き、後ろ向き、右及び左)、速度、並びに運動及び/又は運動 のタイプ及び形状の状態、及び、空間カウンタに基づいて、コンピュータービジ ョンの位置及び領域及び形状チェックでき、検出されていなかった領域の枠組を 定義するのを助けることができる。 3.根本的で必須の基本形状C/52(図面1)(例えば幾何学的なもの)のレ ジスターは、それらのあちこちに線及び/又は少しのドットを有する輪郭線−白 黒で−コンピュータービジョン、その課題及び目的と互換的な最も単純な形状で つくられる。この基本的形状は、処理された形状(1つの形状はいくつかの基本 形状とマッチすることができる)に関する(概略的な)比較データを得るために 、適切な枠処理を経た入力形状を基本形状に対するサイズマッチングにおいて比 較するための即座のアクセスを可能とする順番でセーブされる。領域輪郭の定義 セッティングのために、長方形、格子、ドーム、とがり等、基本形状のためのメ モリ(原則として256以下)が、セーブされた形状B/52の数に依存する( 図面1)(数十万とすることができる)。 4.「真性」表等の表58(図面1)は、前記コンピュータービジョンと互換的 であり、その中に含まれる及び/又は1つの表から得た領域/形状データについ て1つの表の次 /中に別の表があり、これらの表は一部は本表、一部は次の表等、特徴の検出、 定義、結論のために、前記データを特定の順番で使用する。全てのまたはいずれ かの集められた特徴、定義及び結論は、検出、マッチング及び同定のためのキー エレメントに追加され及び又は参加する。追加の特徴、検出、定義のセッティン グ及び結論の導出が可能とされ、例えば不動の物、車、浮かんでいるもの、生き 物、例えば;領域があるサイズと他のサイズとの間であるかどうか、それが動い ているかどうか、及び包絡面及び/又はその中に動き及び/又は運動があるかど うか、等、ここでそれぞれの表は可能な動き及び/又は運動の取り扱い、可能な 色の取り扱い、周囲の環境からの距離の変更の取り扱い等の主題を扱う。 5.ストアされた形状に調節された写真距離において見いだされた、再び表われ た形状のためのデータ表58(図面1)及び画像におけるその存在は、非常に適 当である。これらの場合、画像を受けてサイズ及び色等の追加の個々のデータを 計算した直後に、コンピュータービジョンシステムはその形状が再び表われたこ とを見いだし、それらはストアされた形状のレジスタに対する検出及び同定のた めのキーエレメントを構成する。 6.要求され、必要であり、可能であれば、熱、放射、声、味、臭い等の同定デ ータ57(図面1)もまた存在する同定データに追加される。 7.内部ファクター(空間カウンタ、コンパス等)、外部フ ァクター(例えばカメラ、拡大/縮小等から、ユーザから、例えば運動の速度等 )、プリンタ、スピードメータ、及び/又はいずれかのシステムの付属物、例え ばコンパス、望遠鏡、距離計(以下付属手段)、並びに他の関連するデータから 、コンピュータービジョンの要求、所望の速度及びコンピューター言語(デジタ ル)に従って補足データ57(図面1)を得ることができる。 8.定義され及び/又は名前を与えられ及び/又は独立性が同定されることがで きる、いずれかの形状の近く/上の画像、マップ、サイン及び又はテキストデー タの記憶され認識された形状B/52(図面1)(例えば不動の物、植物、生き 物、背景、サイン、現象及び他の物)は、キーエレメントとマッチした特定の且 つ知られた順序で、以下の4つの形状のいずれかで記憶される。 a.色を含みカメラで受理された通り B.白黒画像 C.単純化された形状(スケッチ) D.名前及びデータと共に表の形態で、又は言い表された形状例えばカードイ ンデックス等。画像及びマップは写真標準にあり、それは形のサイズ及び撮影距 離に依存する。画像の形式で記憶された形は、いくつかの場所にストアすること ができ−それぞれの場所においてそれは異なる側の視野の角度からセーブされ、 そのことによりそれは全ての方向から同定される。例えば、3−D画像のために 、6つの異なる画像をストアする ことができ−それぞれはカルテシアン方向である。画像中の領域認識及び保存された形状とのマッチングの工程 1.保存された形状は、空間内の種々の距離にあるその形状のあり得る各サイズ の全てを表現することはできないので、「対数的」システム及び/又は他の形式 の処理56及びB/52(図1)が、画像中に受理された実際の形状の空間中の 所定瞬間における撮影距離と、保存されている形状の適切な撮影距離とのサイズ マッチングを行う。 2.一つの領域は、その内部に追加の領域を包含することがある。マッチング及 び同定は、最も大きい領域から開始し、より小さい領域へと進行する。内部領域 が、より概略的に見て領域内の同定された形状のデータの一部である場合には、 領域を同定することによって、内部領域を同定する必要性はなくなるが、同定を 完了するために必要不可欠であれば(例えば位置)、同定を行う。 3.既知の保存された形状のデータベースと同じ順序に調節された特定の順序に 配置されたデータ、特徴、定義、及び結論からのキーエレメント58(図1)に より、集められたキーエレメントを迅速に分類及び配置することができ、それに より未同定領域の検出、マッチング、及び同定を行うことができる。通常の視界 では、いかなる撮影速度においても未同定領域は非常に少ないので、同定はほと んど即時に行われ、検出は、辞書で単語を調べるように行われる、つまりカテゴ リーは言語であり、キーエレメントの順序は アルファベット順であり、単語全体がキーである。構成要素は、絶対的、間間、 若しくは可能性であってもよい。レジスター内に保存されている画像、マップ、 サイン、及び/又はテキストデータ(表の形式で、近く、上方に)の形式等の、 形状についてのデータを含む認識保存されている形状のレジスターに対して同定 が行われ、画像及びマップに関わる場合には、形状の物理的寸法、撮影距離、及 びコンピュータビジョンの目的に応じて、保存されている形状の撮影基準に従っ て、サイズ及び撮影角度によっても同定が行われる。 4.二次的領域、部分、二次的詳細、年齢、形式、位置等についてのより深い分 析を必要とする形状は、その必要に従って処理され、ビジョンがサーブするカス タマーに提供するよう要求されているいかなるデータをも含むより同定的で詳細 なデータを提供する。サイン検出及び同定 画像中の顕著なサインの検出及び同定のためのソフトウェア。 例えば: 1.ソフトウェアプログラムは、画像によるサイン(例えば、マーク、文書、道 路標識、交通信号等)を検出、マッチング、及び同定する。同定データに従って 、ソフトウェアは、例えば形状内のどこに文書又は所定のサインがあるのか(例 えば、車両登録番号の位置)を知り、記憶されている 文書又はサインに対して、マッチング、同定、及びサイズのマッチングを行うた めに、その場所にアクセスすることを知る。 2.検出工程における補助のために、カタログつまり辞書[サイン、文書(地方 の言語又は英語等の単語、名前)、書式、道路標識、交通信号等]がある。部分的ビジョン 1.形状の一部が隠れている場合には、部分的ビジョンが生じ、見えている部分 に基づいて、全体の形状を検出し、同定しなければならない。 2.このような場合には、コンピュータービジョンは、画像中に現われている部 分を検出し、この部分について、その特定の形状及びその見えている部分につい ての全ての詳細を表示する。未同定形状 マッチング及び同定の段階で、画像中の形状にマッチする形状が見つからない 場合には、 1.その形状を全ての関連データと共に、レジスター内の割り当てられた場所に 保存する(領域、部分、詳細等)。 2.コンピュータービジョンシステムは、この形状に何度遭遇するかを数える。 妥当な期間内に二度とこの形状に遭遇しない場合には、システムは、レジスター 内のその場所を、他の同様なケースに使用する。 3.コンピュータービジョンシステムは、例えばファクシミリインターフェース 、モニター、及びプリンター31、32(図2)、ボイスシステム、コンピュー ター通信等の外部要素へ送信する又は外部要素から受理するためのオプションを 含んでいてもよく、このようなオプションをシステムメモリーに従って同定でき なかった形状を同定するために使用する。マップ分析 建物、市街地、畑、郊外等で移動する装置にサーブするコンピュータービジョ ンシステムは、見た画像又はコースを分析することができ、データを、システム レジスター内に記憶されているマップ内の同じ場所と、正確に比較することがで きる。 1.コンピュータービジョンシステムは、スペースカウンターによって、又は外 部要因から、マップ上における自分の出発地を知り、若しくは実際の画像からの データを同定することによって、マップ上における自分の位置を見つける。例え ば、システムは、通りの名前、及びこれと交差する別の通りの名前、及び通りの 同じ側にある二つの家の番号を読み上げ、適切なプランによって、見つけられた 市街地を含む場所を同定する。 2.マップはコース及びコースに沿ったデータを提供する。 a.コース上、又はコース外の障害物、横断する歩行者、鉄道、交差点、イン ターセクション、坂道、交通信号、 道路標識等に関するデータ。データは、図面、マップ等に現われ、コースに隣接 しているものと、他の態様で示されるものがある。 B.データは、書面、形状を示すコード、又はデータ表の形式で登録すること ができる(例えば、書面、コード、サイン、交通信号等)。回転運動 コンピュータービジョンシステムは、見ている形状が運動することによって、 及び/又はカメラを上方、下方、及び側方へ傾けることによって、及び/又はユ ーザーがある軸を中心として回転することによって、及び/又はカメラ接続され ているユーザーの運動が変化することによって、変化する空間を見ていると仮定 される。 空間的メモリー画像は、円の全ての角度及びコンピュータービジョンシステム の所望の視野をカバーする。カメラがある角度の画像を受理する度に、システム は、最新の画像と空間的メモリーに適当な座標で記憶されている画像とのマッチ ングにおける変化を検出し、最新の画像のうち、その場所と異なる部分を、空間 的メモリーに記憶されている画像の一部と入れ替える。3D及びマルチメディアにおける空間の保存及び表示 各一対のコンピューターから、コンピュータービジョンシステムは、完全な空 間的メモリー画像を保存する。 1.画像は全体的に円運動のように供給され、各画像は個別に保存され、各カメ ラの周囲に複雑な空間画像を創生する。 2.空間画像によって、コンピュータービジョンシステムは、他のいかなる因子 に対しても、該システムが移動させ若しくは見つけた空間のデータを、同定の詳 細及びデータの表示を含む3D表示ソフトウェアプログラム(必ずしもコンピュ ータービジョンシステムの一部を構成するものではない)によって、搬送し、デ ィスプレーし、表示することができる。 3.外部ディスプレー又は他の形式の表示装置を接続することによって可能とな る表示であって、この表示により、コンピュータービジョンシステムの周囲の空 間を、現実のように3Dで見ることが可能になる。 4.スクリーン又は他の形式のディスプレーに、インターフェース33(図2) によって、物理的伝達又は送信のいずれかによって、データを伝達するができる 。これは、コンピュータービジョンシステムの一部を為すものではないが、ユー ザー又はユーザーシステムのサプリメントの一部を為すものである。領域/形状追跡 1.いかなる時にも、領域/形状の場所、及び位置、及び/又は動作、及び/又 は運動、及び/又は包絡面中の形状の一部、及び/又は内部の中(例えば動く物 、増殖等)における変化を追跡するために、主カメラの映像における領域 /形状についてスキャンされた第一の点の座標、及び包絡面中の迫加の点の座標 、及び/又は領域が示す形状の座標を参照して、追跡の目的で、同定されていな い領域は、仮の名前で保存され、同定された形式はその名前で保存される。 2.映像、計算、所定時間間隔で行われる運動同定、及び保存されたフォームの データベース、及び形状に関わる全ての同定手段から集められた全てのデータは 、形状がカメラの空間的メモリー画像から無くなるまで、必要に備えて保存され る。レジスターにおける 保存 必要に応じて、コンピュータービジョンシステムは、保管のために、画像(完 全画像、サンプル画像、部分画像等)又は形状(画像、グラフ、サイン、コード 等)を、後に使用するためにレジスターへ送信する。コンピュータービジョンシ ステムは、後に必要な時に復元することができるように、画像を保存つまり記憶 しなければならず、この記憶を以下の態様で行う。 1.ある瞬間から他の瞬間までの画像を規定する完全且つ連続する画像及び/又 はデータを、適当なレジスター(例えば、プロセス、証拠等を理解するために、 見たいと思う物事の、その物事が生じる前、生じている間、及び生じた後の記録 )へ送信する。 2.レジスターにおける画像又はマップを、より新しく、更 新されたものと更新及び交換すること。 3.全ての方法によって見たもののプロセス及び/又はデータ、及び/又は形状 。外部接続 1.コンピュータービジョンシステムは、接続手段50(図1)を有し、この接 続手段には、コンピューター、ロボット、ユーザー、装置20(図1)、プリン ター、ファックス装置、制御された装置、マイク、ラウドスピーカー、通信ライ ン等を接続することができる。 当然ながら、全てのコンピュータビジョンシステムは、必要に応じて、ビジ ョンデータの送信、データ交換、指示、命令等の受理のために、必要な接続手段 を有していればよい(一つの入出力、及びオープニング又はチューニングのため の第一コードがあるであろう)。 2.コーディネーターA/59及びB/59(図1)は、コンピュータービジョ ンシステムとカメラ、ユーザー等との間、及びこれらのいずれかからコンピュー タービジョンシステムへの接続をコーディネートする。転送 システムがサーブすることを意図しているユーザーの目的及び要求に従って、 詳細及びデータを同定した後に、システムは要求された必要なデータを、適当な 転送手段つまりインターフェースによって、ユーザーに転送する。 1.受信した画像、計算、メモリーに保存された情報、プロセッシング、デコー ディング、追加データ、及び種々のプロセッシングに基づいて、コンピューター ビジョンシステムは、システムがサーブするユーザーへデータを提供し、全ての オブジェクトそれぞれに関する全ての直接データ及びコンピュータで処理したデ ータ(例えば、測定値、距離、位置)を、ユーザーに提示する。リポートは連続 的若しくは要求によって行われる。 2.コンピュータービジョンシステムは、画像を全体的に、及び詳細に同定する ことができ、且つ画像中の全ての詳細の各々の位置を同定することがでる。また 、必要に応じて、要求された画像若しくは画像全体を、インストラクション、書 面、スピーチ、ファックス等の形式で、種々の形式の詳細分析と共に転送するこ とができる。 3.システムからレポートを受信したユーザーは、これに従って作動するように 、受信したデータを受理及び処理する準備を整えておく必要がある。ユーザーが 、所定操作を行うためにコンピュータービジョンを使用する場合には、ユーザー は、正確な動作、指示等のためにシステムを使用することができる。 4.空間的メモリー画像は、直接そのままユーザーへ、又は必要に応じて空間的 メモリーからモニタースクリーン又は適当な装置へ、3D表示のために、及び/ 又は同定データと共に必要に応じて転送される。結び 1.コンピュータービジョンシステムは、レーザー等を含むいかなる種類の幻惑 光、閃光等に対して、いかなる位置においても、且つ他の物理的損傷からも、可 能な限り適切に保護されるものとする。 2.コンピュータービジョンシステムは、互換性であり、ユーザーの必要及び要 求に従って操作することができる。 3.コンピュータービジョンシステムは、ソフトウェアプログラム56(図1) 、システムを機能させる電子及び一般サークル、及び保存された形状の標準サイ ズ及び撮影角度に従ってサイズ及び撮影拡大/縮小データを調節するソフトウェ アプログラム、3D表示のためのソフトウェア及びマルチメディア、並びに必要 とされる他のソフトウェアプログラムを含んでいる。 4.受理した画像、データ、空間的メモリーにおける画像の計算、及び受理した 画像又はマップ又はシステムの全てのメモリーに保存されたデータに関する他の 情報は、データ、データのみ、及び/又は入力又は空間的ステレオ画像を含んで 、ロボット等のユーザーへ、要求及び設計に応じて、いかなる方法によっても、 そのまま送出してもよく、ユーザーは、必要な時に、システムの設計に従ってデ ータを引出すことができる。 5.上述の全ての操作は、プロセッサA/55及びB/55(図1)、及び必要 に応じて追加のプロセッサ、並びに処理及び計算手段によって行われる。これら は、コンピュー タービジョンの目的に必要且つ適合されたコンピューター装置、部品、一つ以上 の電子サークル等、及びその組合せを使用する。 これらの役割分担は、各部品、パーツ、電子サークル、システム等が、互い に干渉し合わずにその役割を果たすものであり、これら全ての間には総合的なコ ーディネーション及び互換性がある。例えばプロセッサNo.1は、操作Aにお ける自分の担当部分を終了したので、プロセッサNo.2が複雑な操作Aにおけ る自分の担当部分を継続して行ってもよい旨を、部品、電子サークル等によって プロセッサNo.2へ通知する等である。商業的実施 1.コンピュータービジョンは、以下のように使用することができる。 a.ビューアー(監視装置、分析装置、デコーダー、リポーター等)として b.何らかの方法によってデータを収集し、データベース又はレジスターに保 存する(完全、一部、いかなる形式かによる分類等)ビューアーとして 2.コンピュータービジョンには多くの使用可能性があるため、いくつかの標準 的コンピュータービジョンシステムを使用することができ、各標準システムは、 所定のサービスを提供し、所定の仕事を行うように適合され、よって「保護用」 に利用することができる。一方、特殊な仕事につい ては、よって、「保護用」に利用することができる。一方特殊な要求については 、特殊な用途に適合されたコンピュータービジョンシステムを設計する。 3.各コンピュータービジョンシステムには、標準的能力と特殊能力が与えられ る。 4.コンピュータービジョンシステムを、設計者または設計段階における構成者 であるユーザーの特殊用途及び要求に適合させ、システムをユーザーの一部とし て若しくはユーザーにサーブする別個のユニットとして組込むことができる。DETAILED DESCRIPTION OF THE INVENTION Computer Stereo Vision System and Method Field of the invention The present invention relates generally to computer vision and identification viewed in real time by means of cameras, computers, etc., and 3-D computer vision with two or more "stereoscopic" cameras. Background of the Invention The demand for computer vision is to solve problems in all areas, such as research, astronomy, robotics, industry, agriculture, manufacturing, services, driving, security, assisting the blind, detecting phenomena, etc., and for the actual use by humans. Is a daily necessity. Today, as both internal and external computer memory grows, the physical dimensions of computer components are gradually decreasing and there are various types of high speed processors. Therefore, if we could create a system and method for computer vision that could identify everything we see in real time, everything would be easier and simpler. current situation Computer vision using one or two cameras that exists today focuses on individual, defined, known and predominantly static object visions, their identification is redundant and comparative Only partial, focused and focused, does not analyze and identify everything seen at the same time as the image is taken, and requires many devices such as sensors, lighting, measuring gauges, It is cumbersome, limited, inefficient and does not give a satisfactory solution. Purpose of the invention It is an object of the present invention to be able to analyze and identify all visible shapes simultaneously and at the speed of photography, by means of a camera connected to the computer, computing the dimensions, movements and other perceptual features. To provide a system and method. In addition, it is an object of the present invention that all automated devices (tools, computers, robots, etc.) can view and identify all tangible objects and phenomena by means of various appropriate visions. To make it possible. Enabling movements, tasks and tasks performed by approximately everyone to be more accurate, efficient, faster, better, anytime, anywhere, physically difficult to access, dangerous, inaccessible, boring, Help and execute. Further, it is an object of the present invention that a person can use the multimedia of the present invention to display a space around a specific area from a remote place in a 3-D display by using the multimedia software with the means of the present invention. , Seeing by using glasses and / or special equipment designed for 3-D vision, or lines and regular monitor screens for data transfer. It is an object of the present invention to make it possible to construct devices therefor using equipment, systems, circuits and electronic components, basic software, etc. that exist in some form on the market. And by their combination, combination, addition, extension, etc., the device can be created and / or assembled in accordance with the present invention, including its ability to adapt to the environment. The average electronic engineer, computer engineer, system analyzer, etc. can design, assemble and configure the device according to the present invention. The present invention The present invention comprises an innovative system and method for preferred stereoscopic computer vision, including and operating as follows. Introduction 1. Overall, all materials as software descriptions, which do not form part of the process of the present invention, are presented as samples only. Its purpose is to explain the process of operating computer vision, but not to diminish the essence of the invention. 2. Due to the existence of computer vision systems of various types, models and sizes (eg, large, small, medium, Philips screwdrivers, etc.), depending on the data that computer vision must transfer to serving customers, The description is general, but the basic operating principle in all of them is the same. 3. Computer vision is a means of providing "seeing" services. The challenge is to look at sections in space, decrypt as needed, store whatever is needed in registers, and transfer the viewed or related data. If necessary, transfer data in 3-D format or "multimedia" (including data on the shape, location, location, size, color, distance, etc. of the object seen), all for the purpose of the computer vision system It is also possible to design 4. Because computer vision is thought to serve customers and customers are likely to perform limited operations, their workspace is usually limited. Therefore, a computer vision system tailored to such a customer must provide the customer with the necessary data to satisfy the task. With the help of the appropriate data and software, it becomes possible to "get familiar" with the environment in which the customer operates and recognize the shapes of objects that can be found in the area and whose perception is important to such customers. In addition, the system recognizes by the degree to which customers must meet and handle in all disciplines, and the equipment and tools to use in their mission framework. 5. Computer vision can use additional auxiliary equipment, such as a memory system, to help customers make measurements. Also, such auxiliary devices can be external to the system or customer. There may be interrelationships, compatibility, references, consultations, interoperability, data transfer, etc., between the customer's computer vision and auxiliary equipment. List of drawings (figure) Drawing 1 is a schematic block diagram-like sketch of a preferred system with possible connections according to the invention, with two processors. Drawing 2 is a schematic sketch of the parts that make up the system constructed and operated in accordance with the present invention. Drawing 3 is a horizontal cross-sectional view schematically illustrating the plurality of central viewing axes, the field of view and the parallel constraint lines of the field of view and the visual image of the system shown in FIG. Drawing (Figure) A / 3 (× 4 magnification) is a parallel visual image of Drawing 3. Drawing (FIG.) 4 is a horizontal sectional view schematically showing the field of view (of the system described in FIG. 1) and the shape seen at various distances and various sizes. The drawing (FIG.) A / 4 (magnification: × 4) shows a view of the shape shown in FIG. 4 viewed simultaneously by both the left and right cameras of the system described in FIG. Shooting and camera 1. A pair of identical cameras 3 (FIGS. 1 and 2) are arranged so that the shooting angles including variable and enlargement / reduction are arranged on coordinate axes and coexist on a common plane (hereinafter referred to as a horizontal plane). A parallel visual field (FIG. 3) is formed. That is, the distance of each site line to the field is the same for both cameras from (0: 0) to (Y: X), and is a fixed distance M (FIG. 3 and A / 3) at all shooting distances. is there. The vertical movement of the camera (perpendicular to the horizontal plane) is constant and identical. Pictures taken by the camera are translated into a computer language (digital) by the camera or other equipment and then received in the input memories A / 51 and B / 51 (FIG. 1) according to the shooting speed and / or the like. You. Adjustments by the computer vision system can be made physically during installation and / or at any other time. 2. The two or more cameras in one enclosure or separate packaging are similar to a video camera, such as a CCD camera, and integrate to convert the received data in the image to digital data Including one or more of the following: a) Various speeds and any light, such as IR, visible, etc., by any means such as light amplification, and any such as insufficient B) magnification or reduction device including telephoto or microscopic means c) linear, concave or convex, optical image 25 with desired resolution (FIGS. 3 and A / 3). 3. The camera is equipped with the necessary auxiliary equipment that works according to the instructions given by the computer vision system. a) Adjust the lens (distance, light, etc.). b) Move the camera (lateral, circular, upward, downward, etc.). c) Set (telescope, microscope, starlight amplifier, etc.) d) Serve the computer vision system and camera and bring them to a situation where computer vision is performed in a proper, desired and accurate manner at a specific time. To go. translator The A / 59 and B / 59 translators (FIG. 1) can form an integral part of the camera and / or from operation, measurement, coupling to external equipment and / or any attached means It can be translated into a computer vision system and vice versa. It can serve all or only part of the system, or some of the above, to a computer vision system. Image input process 1. Any image (including a color image) received from any of the cameras enters the input memory A / 51 and B / 51 (FIG. 1) as it is at the designated position, creating a space proportional to the camera resolution. Occupy. The images of all the cameras enter all separate locations of the input memory, such as an image simulating memory device (eg a “screen card”), at all shooting speeds with all the colors. After the color filtering 53 (FIG. 1), it enters the motion identification register 54 (FIG. 1) at predetermined time intervals. 2. The transfer of the image to its location in the spatial memory A / 52 (FIG. 1) to one camera or two cameras in the case of 3-D photography, if the computer vision system is part of the user Register all images received from a fixed, scaled and / or other image according to the Consumer Movement 6 (FIG. 2) and / or according to the camera movement on the horizontal and vertical axes I do. The image is saved as an outline image in the horizontal and vertical coordinate axes and is constantly updated. The horizontal and vertical coordinates of all images from each and all cameras are updated according to the motion, motion calculations. They are also updated according to the movement of the space counter 57 (FIG. 1). 3. The image received from the camera according to the shooting speed is scanned by the A / 55 processor (FIG. 1) and during the scanning process, for each unidentified or moved / advanced shape in the image, the image from the camera is taken. The distance and other data that can be calculated and / or resulting from the image, such as color, are calculated, and the image is transferred to the appropriate location in the spatial memory register and to another location, such as a consumer. Scanning and matching methods 1. Assuming that the left-to-right and top-to-down scanning starts from the right camera (main camera) image to pixel (0: 0) and then to the left camera image pixel (0: 0), Until a point (Y: X) in all camera images is reached, scanning of image data according to shooting and / or other speeds is performed. If a 3-D display is required, the scanning data of both each and all cameras, not just the main camera, are separately matched to the spatial memory image according to the coordinate axes and the spatial counter, respectively. Is updated and a match is found between the resulting image and the image. 2. The modified image and the dots therein must be matched for distance measurement and / or contour identification purposes. In addition to normal matching, they are matched with each other. 3. Scanning is performed for the purpose of matching and calculating the distance L (FIGS. 4 and A / 4) to point D in the horizontal line X and column Y in the images of both cameras. X1 is the number of pixels from a point (Y: 0) in the main camera, and X2 is the number of pixels from the point (Y: 0) in another camera to the same dot. The following differences are obtained: Wr = X2-X1. This allows the calculation of the distance. 4. Pixels indicate points seen by the right and left cameras, which are located beyond the matching distance (2M and pixels indicating O = Wr <<). A change in distance cannot be detected beyond this distance. The same point in the images received by both cameras is located at the same position (Y: X) and the pixels representing them are the same. 5. From the matching distance, the shorter the distance, the greater the distance Wr between the pixels. That is, moving from a distant shape to a closer shape increases the distance Wr between pixels, while moving from a closer shape to a distant shape decreases the distance Wr between pixels. as a result There is a dot in the image of the other camera that does not appear in the image of the main camera when it gets farther and closes up, but the computer vision system takes it into account when performing the matching. These depth dots, if continuous, also form contours and / or dividing lines between different regions. 6. At first look, the vision computer blocks additional images, except for the spaced motion detection registers, and performs pixel transfer scanning and matching of the first seen image. Computer vision systems match pixels (0: 0) in the image of the main camera with the same pixels in other cameras. If there is a match, the difference is 0 = Wr, and the system moves on to the next pixel in both images to be transfer matched and continues until a non-match is found. If there is no match, the difference is 0 ≠ Wr, and the computer vision system first matches the pixels of the image of the main camera one after the other until it finds a match with the same pixel of the unmatched image of the second camera. Continue the transfer and matching, or until the difference is 0 = Wr, and if no match is found, the computer returns to the same unmatched pixel of the image of the primary camera and the image of the second camera. Pixels are successively matched until they are matched using the definition of region limitation based on spaced motion detection. 7. Successive representative pixels on the same line in both images at the same distance are sequentially matched in order, and if two pixels do not match, it is assumed that one of the points has changed in distance, and accordingly The matching process for the calculation works. 8. In a standard matching screen, if there is no match between the input image and the spatial memory image, the computer will start matching between images received from the same place where there was no match in each image, and the previous information , Detect whether any shape has moved, changed, or is new, and calculate the distance of each point in all matchings. This is done until a match between the received image and the spatial memory image is found and proceeds as normal. Distance calculation process 1. For the purpose of calculation and image handling, the coordinates 57 can be assigned to a counter, for example from (0,0) to (Y, X) or (−Y, −X) to (Y, X) (FIG. 1) (Showing a line), which is a kind of grid on which the spatial memory image is placed. For example, the "0" point is the center reading point Op (horizontal point in the image) on the horizontal level for each camera (Figure 3 and A / 3) and the camera is leveled and "North" of the compass. Turned north according to the direction. If the camera's eastward lateral or upward movement is positive and the westward or downward movement is negative, the computer automatically (eg, angle of one pixel) according to the movement of the image by an external element or compass or auxiliary system. Updated (by size) and accept camera data accordingly. One coordinate indicates a peripheral horizontal point and the other a peripheral vertical point. 2. For the purpose of region orientation, for example, there is a three-dimensional counter 57 (FIG. 1) associated with the center line of the field of view of the main camera (center point of the camera). For example, a counter (1) that counts the progress of the camera movement from “East to West” from the set reference “0” point, “North-South” from the set reference “0” point A counter (2) for counting the progress of the camera movement, such as a counter (3) for counting rise and fall (height) for sea level or any other established level forming a "0" point. is there. 3. For all images received into the input memory, a calculation is performed to match the counter to coordinates with respect to the first identified point therein. The resulting image is transferred to a spatial memory image according to calculations and relative coordinates. 4. If a video camera (CCD) or any similar camera is used, the rotation of the camera on a horizontal or vertical plane maps the peripheral image (in standard shooting) with coordinates according to the number of pixels in the camera image. It is possible to do. Thus, the space is mapped by coordinates that indicate corners within the envelope of the sphere. The center is the angle point of the shooting angle of the camera. When one revolution is completed or when the end of the shooting / visual space along the horizontal or vertical axis is reached, the computer vision identifies, for example, the number of pixels / coordinates and the course or motion / movement in the motion "Knows" that you have to return to the beginning coordinates of the space. 5. For example, during zooming, the camera zoom is activated to reduce the angle of the captured image, and the coordinates added accordingly are decimal places, for example three decimal places. 6. The number of pixels occupied by all shapes in space depends on the number of pixels in the optical image, the physical dimensions of the shape, its proximity to the camera and the open viewing angle. The larger the number of pixels, the smaller the viewing angle aperture of the optical image, the more pixels will exhibit the same size shape (at a fixed distance from the camera) and the better the shape identification. Furthermore, the larger the enlargement, the larger the number of pixels having the same size shape. Method of calculation The calculation of the distance L from the camera to the matching point to be calculated is based on the distance Wr, the identification, the physical dimensions and resolution of the optical image, the matching between the cameras and the constant distance M (parallel separation). 1. Radius r from the angle part α of the viewing angle to the optical image 0 , Width X (on X axis) 0 , And the formula for scaling A is: r 0 = 360 * A * X 0 / 2 * π * α (the angle around the full circle is 360); and K 0 Are all constant data in the formula: K 0 = 360 * X 0 / 2 * π. 2. The radius r to any point seen from the viewing angle α, the number X of horizontal pixels (on the X axis) in the optical image and the formula for calculation are: r = 360 * A * X * M / 2 * Π * Wr * α and K are all constant data in the formula: K = 360 * X / 2 * π. 3. K 1 Is a constant in each case and is directly proportional to the enlargement / reduction A and inversely proportional to the viewing angle α, and the equation is 1 = A / α. 4. The formula for calculating the distance L is: L = K 1 (K / Wr-K 0 4.) (Factor of variable Wr) Indirect distance L 1 Equation for the calculation of, where Q 1 Is the size of what the pixel indicates at a location of a shape having a standard size, such as the height of a known person. The calculation formula is: L 1 = 360 * A * Q 1 * X / 2 * π * α-r 0 = K 1 (K * Q 1 -K 0 Therefore, the result: the calculation of the distance to the point makes it possible to calculate the size of what the pixel indicates for the point it indicates. The calculation is based on the frame of the area to which the point belongs, and other information, such as the width, height, depth, size, angle, features, and states (fluttering, fluttering, etc.) that require the calculation. Assist / allow detection of definition data. Process of area division and data collection Each of the regions 11 and 12 (Drawing A / 4) is given a code (temporary name) for identification. The region can form other regions of various dimensions therein. Each area has a normal contour (except for dots and lines), a fixed distance of the area, a difference from the environment or a different color or contour and / or a separation between the area and the surrounding area, a movement of the area and It must have characteristics such as the state of the area (trembling, hanging, etc.). These, as well as other data, are identified and defined by a computer vision system with a B / 55 processor (FIG. 1). 1. Color Separation 58 (FIG. 1) Software 56 (FIG. 1) processes the colors of the received image, separates the colors, uses other prior region definitions to help define the region, and governs the region. For each of the target colors, an additional definition of that color among all the colors in the region is detected. For example, four types of divisions are possible. a. The amount of color: 100% -90% of the color in the area; b. The amount of color: 90% -70% of the color in the area; c. The amount of color: 70% -50% of the color in the area; d. Color amount: 50% or less of the color in the area. In addition, I also want to emphasize aspects of color diffusion (diffused dots, spots of a certain size, etc.). 2. Simultaneously with the reception and in addition to the normal reception, the image of the main camera is passed through the color filtering 53 (FIG. 1) (save source) and saved in the motion detection register 54 at predetermined time intervals (FIG. 1) and fixed. In the scaled and desired and known scaled photos (they can be several), they are duplicated and examined at equal time intervals. Based on prior data (eg, colors, shadows, calculations, etc.) taken from the received image, the motion, motion, speed, angle (angle for the viewed object, camera of the viewed object and others in space) Angle), as well as motion within the region (such as eye movement), and movement within the envelope of the region (position, hand movement, etc.) for the regions / shapes 11 and 12 (FIG. 4) and / or calculation. Whether the base is stable and the top is moving (eg trees), whether the movement of the area is flowing (eg rivers), the direction (north, south, east, west, up, down, forward, backward) , Right and left), speed, and the state of motion and / or motion type and shape, and the position and area and shape of the computer vision that could be checked and not detected based on the spatial counter It can help to define the framework. 3. Registers of the basic and essential basic shape C / 52 (FIG. 1) (eg geometric ones) have contours with lines and / or a few dots around them-in black and white-computer vision, the challenge And in the simplest form compatible with the purpose. This basic shape is based on the input shape through appropriate frame processing to obtain (schematic) comparison data on the processed shape (one shape can match several basic shapes). Saved in an order that allows immediate access for comparison in size matching on shapes. For the definition setting of the area contour, the memory for the basic shape (in principle 256 or less), such as rectangle, grid, dome, point, etc., depends on the number of saved shapes B / 52 (FIG. 1) (number 100,000). 4. Tables 58 (Drawing 1), such as the "intrinsic" tables, are compatible with the computer vision and may be included next to / into one table for area / shape data contained therein and / or obtained from one table. There are other tables, some of which are this table and some of which are the following tables, which use the data in a particular order for feature detection, definition, and conclusions. All or any collected features, definitions and conclusions are added and / or participate in key elements for detection, matching and identification. Additional features, detection, setting of definitions and derivation of conclusions are possible, e.g. immobile objects, vehicles, floating objects, creatures, e.g .; whether an area is between one size and another, Here each table shows possible movements and / or movement treatments, possible color treatments, whether it is moving and whether there is movement and / or movement in the envelope surface and / or therein. Covers subjects such as handling changes in distance from the surrounding environment. 5. The data table 58 (FIG. 1) for the re-presented shape, found at the photographic distance adjusted to the stored shape, and its presence in the image are very appropriate. In these cases, immediately after receiving the image and calculating additional individual data, such as size and color, the computer vision system finds that the shape has reappeared, and it detects and stores the stored shape against the registers. Construct a key element for identification. 6. If required, necessary and possible, identification data 57 (FIG. 1), such as heat, radiation, voice, taste, smell, etc., are also added to the existing identification data. 7. Internal factors (spatial counter, compass, etc.), external factors (eg, from camera, zoom, etc., from user, eg, speed of movement, etc.), printers, speedometers, and / or accessories of any system, eg, compass From telescopes, telescopes, rangefinders (hereafter ancillary means), and other relevant data, supplementary data 57 (FIG. 1) can be obtained in accordance with computer vision requirements, desired speed and computer language (digital). 8. A stored and recognized shape B / 52 of image, map, sign and / or text data near / on any shape that can be defined and / or given a name and / or independence identified. (Drawing 1) (eg, immovable objects, plants, creatures, backgrounds, signs, phenomena, and other things) are stored in any of the following four shapes in a specific and known order that matches the key elements: Is done. a. B. including color, as received by camera B. Black and white image S. Simplified shape (sketch) In the form of a table together with names and data, or in a stated shape, such as a card index. Images and maps are in photographic standards, which depend on shape size and shooting distance. The shape, stored in the form of an image, can be stored in several places-at each place it is saved from a different side view angle, so that it is identified from all directions. For example, for a 3-D image, six different images can be stored-each in the Cartesian direction. Process of recognizing area in image and matching with stored shape 1. Since the stored shape cannot represent all of the possible sizes of the shape at various distances in space, a "logarithmic" system and / or other forms of processing 56 and B / 52 ( FIG. 1) performs size matching between the shooting distance at a predetermined moment in the space of the actual shape received in the image and the appropriate shooting distance of the stored shape. 2. One region may include additional regions within it. Matching and identification starts with the largest region and progresses to smaller regions. If the interior region is part of the data of the identified shape within the region, more generally, identifying the region eliminates the need to identify the interior region, but completes the identification. If necessary (eg, position), identification is performed. 3. The key elements 58 (FIG. 1) from the data, features, definitions, and conclusions arranged in a particular order adjusted to the same order as the database of known stored shapes quickly classify the collected key elements. And arrangement, whereby detection, matching, and identification of an unidentified region can be performed. In normal field of view, there is very little unidentified area at any shooting speed, so identification is almost instantaneous and detection is done like looking up a word in a dictionary, i.e. the category is language and the key element The order is alphabetical, with the whole word being the key. A component may be absolute, in-between, or possible. For registers of recognized and stored shapes that contain data about the shape, such as the form of images, maps, signs, and / or textual data (in the form of a table, near or above) stored in the register. If relevant to images and maps, depending on the physical dimensions of the shape, the shooting distance and the purpose of the computer vision, the identification by size and shooting angle according to the stored shooting standards for the shape Is performed. 4. Any shape that requires a deeper analysis of secondary areas, parts, secondary details, age, form, location, etc. will be processed according to its needs and any vision required to be provided to the serving customer by Vision Provides more specific and detailed data, including data. Signature detection and identification Software for detecting and identifying salient signatures in images. For example: The software program detects, matches, and identifies image signatures (e.g., marks, documents, road signs, traffic lights, etc.). According to the identification data, the software knows, for example, where in the shape the document or predetermined sign is (eg the location of the vehicle registration number), and matches, identifies, and sizes the stored document or sign. Know to access that place to do the matching. 2. To assist in the detection process, there is a catalog or dictionary [signs, documents (words or names in local language or English, etc.), formats, road signs, traffic lights, etc.]. Partial vision 1. If a part of the shape is hidden, a partial vision arises and the entire shape must be detected and identified based on what is visible. 2. In such a case, computer vision detects the part that appears in the image and displays for this part its particular shape and all details about its visible part. Unidentified shape If no matching shape is found in the image during the matching and identification steps, Save the shape along with all relevant data to the assigned location in the register (area, part, detail, etc.). 2. Computer vision systems count how many times this shape is encountered. If this shape is not encountered again within a reasonable time, the system uses that location in the register for other similar cases. 3. The computer vision system may include, for example, a facsimile interface, a monitor, and options for transmitting to or receiving from external components, such as printers 31, 32 (FIG. 2), voice systems, computer communications, and the like. Such options are used to identify shapes that could not be identified according to system memory. Map analysis A computer vision system that serves devices moving in buildings, urban areas, fields, suburbs, etc., can analyze the images or courses viewed and transfer the data to the same locations in the map stored in system registers, Can be compared exactly. 1. The computer vision system finds its position on the map by knowing its place of departure on the map or by identifying data from the actual image, either by a space counter or from external factors. For example, the system reads the name of the street, and the name of another street that intersects it, and the number of the two houses on the same side of the street, and identifies the location that includes the located urban area with an appropriate plan. . 2. Maps provide data on courses and courses. a. Data on obstacles on and off the course, pedestrians crossing, railways, intersections, intersections, slopes, traffic lights, road signs, etc. The data may appear on drawings, maps, etc., some being adjacent to the course, and others being shown in other ways. B. The data can be registered in the form of a document, a code indicating a shape, or a data table (for example, a document, a code, a sign, a traffic signal, and the like). Rotational motion The computer vision system may be configured to move the shape being viewed, and / or to tilt the camera up, down, and sideways, and / or by rotating the user about an axis, and / or It is assumed that the movement of the user connected to the camera changes, so that the user sees a changing space. The spatial memory image covers all angles of the circle and the desired field of view of the computer vision system. Each time the camera receives an image at an angle, the system detects a change in the matching between the latest image and the image stored at the appropriate coordinates in spatial memory, and determines the location and location of the latest image. The different part is replaced with a part of the image stored in the spatial memory. Storage and display of space in 3D and multimedia From each pair of computers, the computer vision system stores a complete spatial memory image. 1. The images are provided as a whole in a circular motion, and each image is stored separately, creating a complex spatial image around each camera. 2. The aerial image allows the computer vision system to translate the data of the space it has moved or found into any 3D display software program (including necessarily the details of the computer vision system, including identification details and display of the data) against any other factors. (Which does not form a part) can be transported, displayed and displayed. 3. A display made possible by connecting an external display or other type of display device, which allows the space around the computer vision system to be viewed in 3D as if it were real. 4. Data can be transmitted to the screen or other type of display by interface 33 (FIG. 2), either by physical transmission or transmission. It does not form part of a computer vision system, but does form part of a user or user system supplement. Area / shape tracking 1. At any time, the location and location of the region / shape, and / or movement and / or movement, and / or part of the shape in the envelope and / or within the interior (eg, moving objects, growth, etc.) To track the change, refer to the coordinates of the first point scanned for the region / shape in the image of the main camera and the coordinates of the impending point in the envelope and / or the coordinates of the shape indicated by the region. Thus, for tracking purposes, the unidentified region is saved under a temporary name, and the identified form is saved under that name. 2. All data gathered from video, calculations, motion identification performed at predetermined time intervals, and a database of stored forms, and all identification means associated with the shape, until the shape disappears from the camera's spatial memory image Stored for your needs. In the register Storage If necessary, the computer vision system sends the image (full image, sample image, partial image, etc.) or shape (image, graph, signature, code, etc.) to a register for later use for storage I do. The computer vision system must save or store the image so that it can be later restored when needed, in the following manner. 1. Complete and continuous images and / or data defining an image from one moment to another can be stored in appropriate registers (eg, to understand processes, evidence, etc., of the things that one wants to see, (Before, during and after recording). 2. Updating and replacing the image or map in the register with a newer, updated one. 3. Process and / or data and / or shape as seen by all methods. External connection 1. The computer vision system has connection means 50 (FIG. 1) including a computer, robot, user, device 20 (FIG. 1), printer, fax machine, controlled device, microphone, loudspeaker, A communication line or the like can be connected. Of course, all computer vision systems only need to have the necessary connection means (one input / output, one input / output, And there will be a first code for opening or tuning). 2. Coordinators A / 59 and B / 59 (FIG. 1) coordinate connections between the computer vision system and cameras, users, etc., and from any of them to the computer vision system. transfer After identifying the details and data according to the purpose and requirements of the user for whom the system is intended to serve, the system transfers the required required data to the user by a suitable transfer means or interface. 1. Based on the received images, calculations, information stored in memory, processing, decoding, additional data, and various processing, the computer vision system provides data to the user that the system serves, and All direct and computer processed data (eg, measurements, distances, locations) are presented to the user. Reports can be continuous or on demand. 2. Computer vision systems can identify images globally and in detail, and can identify the location of each and every detail in an image. Also, if desired, the requested image or the entire image can be transferred in the form of instructions, documents, speech, fax, etc. along with various forms of detailed analysis. 3. The user receiving the report from the system needs to be prepared to accept and process the received data to operate accordingly. When the user uses the computer vision to perform a predetermined operation, the user can use the system for accurate operation, instructions, and the like. 4. The spatial memory image is transferred directly to the user directly, or from the spatial memory as needed, to a monitor screen or suitable device for 3D display and / or with identification data as needed. Knot 1. The computer vision system shall be protected as much as possible from any kind of dazzling light, flash, etc., including lasers, etc., in any location and from other physical damage. 2. Computer vision systems are compatible and can operate according to user needs and requirements. 3. The computer vision system includes a software program 56 (FIG. 1), a software program that adjusts the size and shooting enlargement / reduction data according to the standard size and shooting angle of the stored electronic and general circles and stored shapes, and a 3D display. Software and multimedia, as well as other software programs required. 4. The received image, data, computation of the image in spatial memory, and other information about the received image or map or data stored in all memories of the system may be data, data only, and / or input or spatial stereo. The images, including the images, may be sent directly to the user such as a robot according to the request and design according to any method, and the user can extract the data when necessary according to the system design. 5. All of the above operations are performed by processors A / 55 and B / 55 (FIG. 1) and, if necessary, additional processors and processing and computing means. These use computer equipment, components, one or more electronic circles, etc., and combinations thereof, required and adapted for computer vision purposes. In these roles, each part, part, electronic circle, system, and the like plays a role without interfering with each other, and there is comprehensive coordination and compatibility among all of them. For example, the processor No. The processor No. 1 has completed its part of the operation A, and the processor no. The processor No. 2 informs the user of the fact that he / she may continue his / her own part in the complicated operation A by means of parts, an electronic circle, or the like. 2 is notified. Commercial implementation 1. Computer vision can be used as follows. a. As a viewer (monitoring device, analyzer, decoder, reporter, etc.) b. 1. As a viewer that collects data by any means and saves it in a database or register (complete, partial, classified by any form, etc.) Due to the many possibilities of computer vision, several standard computer vision systems can be used, each of which is adapted to provide certain services and perform certain tasks, Therefore, it can be used for “protection”. On the other hand, special jobs can therefore be used for “protection”. On the other hand, for special requirements, we design computer vision systems tailored to special applications. 3. Each computer vision system is provided with standard and special abilities. 4. The computer vision system can be tailored to the special uses and needs of the designer or a user who is a constituent in the design phase, and the system can be incorporated as part of the user or as a separate unit serving the user.

【手続補正書】特許法第184条の4第4項 【提出日】1997年7月2日(1997.7.2) 【補正内容】 請求の範囲 1.立体コンピュータービジョンシステムであって、該システムは、 a.同一で、整列し、座標軸上に配置された、一定距離Mにある一対のカメラ を有し、該カメラは、座標軸上に配置された撮影角度及び拡大/縮小を伴い、撮 影カメラのために、いかなる撮影距離においても一定距離Mで、(0:0)から (Y:X)まで双方のカメラにおける同一のサイトラインの視野と座標を合わせ 且つ整列させた、光学的に平行な視野を形成し、該カメラの画像は、コンピュー ター内の入力メモリー装置によって受理され、コンピューター言語に翻訳され、 b.工程Aに基づいて、受理された画像の画素は、撮影速度で及び/又はその 他の速度で、使用可能な手段によって、座標及びスペースカウンターに従って、 システムの空間的メモリーレジストリー内にある先の画像のそれぞれとマッチさ れ、そこでマッチングがないとわかったら、システムを更新し、入力した二つの 画像のマッチングを進め、 c.工程A及びBに基づいて、未同定領域、つまりある運動が行われており、 二つのカメラから同時に見ている領域について、システムは、色彩等の画像の種 々の特徴を探し、ラインの始点からそのマッチングポイントまでの、カメラが捕 らえた各画像の画素の数の差に基 づいて、画素によって表される空間中の点の距離及びサイズを計算し、それに基 づいて、領域のサイズ、距離等を計算することができ、 d.工程B及びCに基づいて、未同定領域の点と登録されている画像とをマッ チングする際に、該領域と周囲環境との距離の変化及び二つのカメラ間の距離に よってマッチしない該領域周囲の点があり、これらの深度ドットは、領域ドット と略同等な距離に加えて、輪郭線及び/又は分割線を創生し、同様な距離にある 領域について、領域間の色彩または暗度及び/又は領域動作/運動の変化によっ て、全ての領域各々の枠つまり輪郭を利用可能な手段により検知し、規定するこ とができ、 e.利用可能な手段によって、計算、マッチング、定義のセッティング、結論 の導出しを行うことを可能にする追加のデータを集めるために、一方のカメラか ら受信した映像は、カラーフィルターにかけられ、複製された後に、所定時間間 隔の運動同定レジスターに入り、一定時間間隔で検査され、次に工程B〜Dに基 づいて、検出された領域の枠つまり輪郭は、基準形状レジスターとサイズについ てマッチングされ、このレジスターからのデータによって、例えば領域/形状の サイズ及び所定時間内の運動/動作速度を計算することが可能であり、追加デー タ、入力されたデータの一部、及び先に計算/検出されたデータの一部によって 、例えば 「真性」等の表のレジスターに対するマッチングが可能となり、例えば、動かな い対象物である、振動している物である、動く物である、また例えば、領域のサ イズがあるサイズから別のサイズに変化しているか、及び包絡面内及び/又は領 域内で運動及び/又は動作が起こっているか等の他のキーエレメントについて、 定義をセットし、結論を導き出し、 f.特定の順序に並べられたデータ、特徴、定義、及び結論から導き出された 前記キーエレメントにより、登録されている形状のレジスターに対して、提供さ れた手段によって領域を検出し、マッチングし、同定することができ、 g.未同定領域は仮の名前で保存され、同定された領域は、包絡面及び/又は 形状の内部における、場所、位置、及び/又は動作、及び/又は運動におけるい かなる変化をも常に追跡、監視するために、形状/領域の形式に従って、第一の ドット及び追加のドットをそれぞれスキャンした際の座標データを参照して、そ の同定領域自身の名前で保存される、立体コンピュータービジョンシステム。 2.請求の範囲第1項に記載のコンピュータービジョンシステムであって、前記 一対及び/又はそれ以上のカメラは、単一のケース内に収容してもよく、若しく は別個としてもよく、該カメラは、CCDカメラ等のビデオカメラに類似 するものであり、カメラが捕らえた映像から受理したデータを、デジタルデータ に変換するための複合手段を備えるカメラを含み、さらに、 a)種々の速度で、赤外線(IR)、可視光線等の様々な光で、且つ不十分な 光量等のいかなる照明条件でも、光増幅手段によって行う、カラー撮影のための 適合; b)望遠鏡又は顕微鏡手段を含む拡大又は縮小装置; c)直線的、凸型、又は凹型の、所望の解像度を含む光学的イメージ のうちの一つ以上を含む、請求の範囲第1項に記載のコンピュータービジョン システム。 3.請求の範囲第1項及び第2項に記載のコンピュータービジョンシステムであ って、 検出及び/又は計算されたデータ、特徴、定義されたもの、導き出されたも の、及び/又は見たものを集めるための前記手段の主なものは、絶対的、半々、 及び可能性がある、と予め設定された一つ以上の階層順に配置された、内部又は 外部のキーエレメントの分類に従って、場合によっては前記手段によって、該デ ータの検出に直ぐにアクセス可能とし、これらは、 a.撮影/観察された画像を受理するための入力メモリー; b.拡大/縮小、固定及び/又は他の撮影によって受理した全ての画像を集め る一つのカメラ又は3D表示のための二つのカメラのための空間的メモリーであ って、 該画像は、水平及び垂直方向の周縁座標として表現される輪郭画像として保存さ れ、絶えず更新される、空間的メモリー; c.既知の保存されている形状のための表の形式であるレジストリーであって 、定義され、及び/又は名前を与えられ、及び/又は別個に同定され(例えば、 物体、植物、生物、背景、サイン、現象等)、特別な順序で保存され、知られ、 キーエレメントに対して調節され得る、各形状の上方に隣接する画像、マップ、 サイン、及び/又はテキストデータを含み、画像及びマップは、形状のサイズ及 び撮影の距離に従って、撮影基準となるレジストリー; d.カラーフィルターにかけた後に得られる画像の一つを、運動、動作、及び 速度等の検出及び計算のために、等時間間隔でチェックする、所定時間間隔での 運動検出レジスター; e.例えば四角、階段形状等の既知の幾何学的形状を、好ましくは白黒で登録 する基本形状レジスター; f.1.色彩分離のためのレジスター;2.領域の輪郭及び同定前の領域を保 存するためのレジスター;3.「真性」表等の表のためのレジスターであって、 データ、定義、及び結論のための定義をセットし、結論を導き出すために、一つ の表の次に若しくは内部に次の表が配置されるレジスター;4.再発する形状の ためのデータ表のレジスター;5.キーエレメントのため のレジスター;を包含するデータベース; g.アクセサリーデータのためのレジスター:1.スペースカウンター、コン パス等からの内部のもの;2.例えば拡大/縮小等のカメラからのもの、例えば 運動速度等のユーザーからのもの等の外部のもの;追加のアクセサリーデータ; のうちの一つ以上を含む、請求の範囲第1項及び第2項に記載のコンピュータ ービジョンシステム。 4.請求の範囲第1項から第3項に記載のコンピュータービジョンシステムであ って、前記データが、データとして定義することができるものであり、コンピュ ータービジョンの要求及び所望の速度及びコンピューター言語(デジタル)に従 って、画像から、計算、検出、特徴化から、定義及び結論から、スペースカウン ターから、プリンター、スピードメーター等の外部エレメントから、及び/又は コンパス、望遠鏡、距離計(以下補助手段と称する)等のシステムのアクセサリ ーから受理し得るものであり、及び以下のもの若しくは以下のものの組合せ: a.領域、又は領域の形状又は部分、又は形状の、方向(例えば北、南、東、 西、上方、下方、前方、後方、右、左)、及び座標システム、又はカメラ、又は 領域、又は形状に関する測定(例えば距離、幅、高さ、深さ、サイズ、比、及び 角度)、色彩(例えばカラーパーセンテージのレベル、カラー分散、散在するド ット、ス ポット)、枠(輪郭)、動作、運動、速度、位置、及び角度(例えば領域、形状 、カメラによる); b.熱、放射線、声、匂い、及び味の特徴、現象、属性、検出; c.定義及び結論(例えば仮の名前、四角、階段、オブジェクト、車、はため いているもの、炎、水の流れ、生き物、四足歩行、成長、プライベート型の乗り 物の右側、時間の変化); のいずれかである請求の範囲第1項から第3項に記載のコンピュータービジョ ンシステム。 5.請求の範囲第4項に記載のコンピュータービジョンシステムであって、 未同定形状、及び/又は領域/形状全体において、及び又は包絡面において 、及び/又は内部において、何らかの動作(例えば動作、運動)が生じている形 状、及び画像中に見えている又は一部見えている形状に関する領域、特徴、定義 、及び結論の前記データの同定及び計算のための手段を含み、その全て、その一 部、その組合せが、キーエレメントデータと結合され、システムを操作し、且つ 見ている形状のサイズ、距離、拡大/縮小、及び撮影角度を、保存されている形 状のサイズ、距離、及び撮影角度に従ってマッチングさせるソフトウェアプログ ラム、電子サークル、及びルール、並びに転送及び3D表示のためのマルチメデ ィアの形式のソフトウェアプログラムによって実行される、 請求の範囲第4項に記載のコンピュータービジョンシステム。 6.請求の範囲第4項及び第5項に記載のコンピュータービジョンシステムであ って、 データ、特徴、定義、及び結論は、比較及びマッチングのための前記手段及 びソフトウェアプログラムによって、全てのデータ又はその一部を有するレジス ター/メモリーとマッチされ、予め決められた一つ以上の階層的順序の分類に従 って、絶対的か、半々か、又は可能性があるかの同定がキーエレメントによって 行われ、前記キーエレメントにより、場合によっては予め又は先の写真から知ら れている既知の領域、形状又はその一部のデータに関する情報に対して、領域、 形状、又はその一部を同定することができる、請求の範囲第4項及び第5項に記 載のコンピュータービジョンシステム。 7.請求の範囲第1項から第6項に記載のコンピュータービジョンシステムであ って、 コンピューター、コンピューター構成要素、構成要素、電子サークル、プロ セッサー、コンピュータによるデータ処理システム等のうち一つ以上が、前記手 段の一つ以上又はその組合せを構成し;前記手段は、既知、新規、及び互換性の あるソフトウェアプログラムであり;撮影した画像から得たデータをデジタルデ ータに変換するための前記手 段;同一の視点及び/又は撮影した画像中に形成された点に関する色彩同一性の マッチング及び定義のための手段;特徴、定義、及び結論の同定のために距離及 び寸法を計算するための前記手段;サイズのマッチング及び撮影角度のマッチン グのための手段;運動、動作の形式について、運動を所定時間間隔で検出するた めの前記手段;「真性」表を取り扱うための前記手段;再発する形状を取り扱う ための前記手段;キー構成のためにデータを集めるための前記手段;比較及びマ ッチングのための前記手段;種々の形式の情報を保存するための前記手段;デー タを受理し、転送し、引出すための前記手段;前記手段は、電源、データ保護、 前記手段、システム等の保護を含む、請求の範囲第1項から第6項に記載のコン ピュータービジョンシステム。 8.請求の範囲第1項から第7項のいずれかに記載のコンピュータービジョンシ ステムであって、 領域、形状等について集められた計算、既知のデータ、特徴、定義を含む、 同定の前、間、及び後に集められた、受理及び帆損された情報は、即時に又はわ ずかな時間の後に、情報の形式で、通常の態様で及び/又はマルチメディアの形 式で立体的に、及び/又は3D形式で、搬送され、システムは、適当なインター フェース手段によって、ロボット、装置、盲人等のユーザーに、要求により及び /又は自動的に保存し及び/又は提供し、及び/又はアクセス可能である、請求 の範囲第1項から第7項のいずれかに記載 のコンピュータービジョンシステム。 9.立体的コンピュータービジョン方法であって、該方法は、 a.同一で、整列し、座標軸上に配置された、一定距離Mにある一対のカメラ を有し、該カメラは、座標軸上に配置された撮影角度及び拡大/縮小を伴い、撮 影カメラのために、いかなる撮影距離においても一定距離Mで、(0:0)から (Y:X)まで双方のカメラにおける同一のサイトラインの視野と座標を合わせ 且つ整列させた、光学的に平行な視野を形成し、該カメラの画像は、コンピュー ター内の入力メモリー装置によって受理され、コンピューター言語に翻訳され、 b.工程Aに基づいて、受理された画像の画素は、撮影速度で及び/又はその 他の速度で、使用可能な手段によって、座標及びスペースカウンターに従って、 システムの空間的メモリーレジストリー内にある先の画像のそれぞれとマッチさ れ、そこでマッチングがないとわかったら、システムを更新し、入力した二つの 画像のマッチングを進め、 c.工程A及びBに基づいて、未同定領域、つまりある運動が行われており、 二つのカメラから同時に見ている領域について、システムは、色彩等の画像の種 々の特徴を探し、ラインの始点からそのマッチングポイントまでの、カメラが捕 らえた各画像の画素の数の差に基づいて、画素によって表される空間中の点の距 離及び サイズを計算し、それに基づいて、領域のサイズ、距離等を計算することができ 、 d.工程B及びCに基づいて、未同定領域の点と登録されている画像とをマッ チングする際に、該領域と周囲環境との距離の変化及び二つのカメラ間の距離に よってマッチしない該領域周囲の点があり、これらの深度ドットは、領域ドット と略同等な距離に加えて、輪郭線及び/又は分割線を創生し、同様な距離にある 領域について、領域間の色彩または暗度及び/又は領域動作/運動の変化によっ て、全ての領域各々の枠つまり輪郭を利用可能な手段により検知し、規定するこ とができ、 e.利用可能な手段によって、計算、マッチング、定義のセッティング、結論 の導出しを行うことを可能にする追加のデータを集めるために、一方のカメラか ら受信した映像は、カラーフィルターにかけられ、複製された後に、所定時間間 隔の運動同定レジスターに入り、一定時間間隔で検査され、次に工程B〜Dに基 づいて、検出された領域の枠つまり輪郭は、基準形状レジスターとサイズについ てマッチングされ、このレジスターからのデータによって、例えば領域/形状の サイズ及び所定時間内の運動/動作速度を計算することが可能であり、追加デー タ、入力されたデータの一部、及び先に計算/検出されたデータの一部によって 、例えば「真性」等の表のレジスターに対するマッチングが可 能となり、例えば、動かない対象物である、振動している物である、動く物であ る、また例えば、領域のサイズがあるサイズから別のサイズに変化しているか、 及び包絡面内及び/又は領域内で運動及び/又は動作が起こっているか等の他の キーエレメントについて、定義をセットし、結論を導き出し、 f.特定の順序に並べられたデータ、特徴、定義、及び結論から導き出された 前記キーエレメントにより、登録されている形状のレジスターに対して、提供さ れた手段によって領域を検出し、マッチングし、同定することができ、 g.未同定領域は仮の名前で保存され、同定された領域は、包絡面及び/又は 形状の内部における、場所、位置、及び/又は動作、及び/又は運動におけるい かなる変化をも常に追跡、監視するために、形状/領域の形式に従って、第一の ドット及び追加のドットをそれぞれスキャンした際の座標データを参照して、そ の同定領域自身の名前で保存される、立体コンピュータービジョン方法。 10.請求の範囲第9項に記載のコンピュータービジョンシステムであって、前記 一対及び/又はそれ以上のカメラは、単一のケース内に収容してもよく、若しく は別個としてもよく、該カメラは、CCDカメラ等のビデオカメラに類似するも のであり、カメラが捕らえた映像から受理したデー タを、デジタルデータに変換するための複合手段を備えるカメラを含み、さらに 、 a)種々の速度で、赤外線(IR)、可視光線等の様々な光で、且つ不十分な 光量等のいかなる照明条件でも、光増幅手段によって行う、カラー撮影のための 適合; b)望遠鏡又は顕微鏡手段を含む拡大又は縮小装置; c)直線的、凸型、又は凹型の、所望の解像度を含む光学的イメージ のうちの一つ以上を含む、請求の範囲第9項に記載のコンピュータービジョン 方法。 11.請求の範囲第9項及び第10項に記載のコンピュータービジョン方法であっ て、 検出及び/又は計算されたデータ、特徴、定義されたもの、導き出されたも の、及び/又は見たものを集めるための前記手段の主なものは、絶対的、半々、 及び可能性がある、と予め設定された一つ以上の階層順に配置された、内部又は 外部のキーエレメントの分類に従って、場合によっては前記手段によって、該デ ータの検出に直ぐにアクセス可能とし、これらは、 a.撮影/観察された画像を受理するための入力メモリー; b.拡大/縮小、固定及び/又は他の撮影によって受理した全ての画像を集め る一つのカメラ又は3D表示のための二つのカメラのための空間的メモリーであ って、該画像は、水平及び垂直方向の周縁座標として表現さ れる輪郭画像として保存され、絶えず更新される、空間的メモリー; c.既知の保存されている形状のための表の形式であるレジストリーであって 、定義され、及び/又は名前を与えられ、及び/又は別個に同定され(例えば、 物体、植物、生物、背景、サイン、現象等)、特別な順序で保存され、知られ、 キーエレメントに対して調節され得る、各形状の上方に隣接する画像、マップ、 サイン、及び/又はテキストデータを含み、画像及びマップは、形状のサイズ及 び撮影の距離に従って、撮影基準となるレジストリー; d.カラーフィルターにかけた後に得られる画像の一つを、運動、動作、及び 速度等の検出及び計算のために、等時間間隔でチェックする、所定時間間隔での 運動検出レジスター; e.例えば四角、階段形状等の既知の幾何学的形状を、好ましくは白黒で登録 する基本形状レジスター; f.1.色彩分離のためのレジスター;2.領域の輪郭及び同定前の領域を保 存するためのレジスター;3.「真性」表等の表のためのレジスターであって、 データ、定義、及び結論のための定義をセットし、結論を導き出すために、一つ の表の次に若しくは内部に次の表が配置されるレジスター;4.再発する形状の ためのデータ表のレジスター;5.キーエレメントのためのレジスター;を包含 するデータベース; g.アクセサリーデータのためのレジスター:1.スペースカウンター、コン パス等からの内部のもの;2.例えば拡大/縮小等のカメラからのもの、例えば 運動速度等のユーザーからのもの等の外部のもの;追加のアクセサリーデータ; のうちの一つ以上を含む、請求の範囲第9項及び第10項に記載のコンピュー タービジョン方法。 12.請求の範囲第9項から第10項に記載のコンピュータービジョン方法であっ て、前記データが、データとして定義することができるものであり、コンピュー タービジョンの要求及び所望の速度及びコンピューター言語(デジタル)に従っ て、画像から、計算、検出、特徴化から、定義及び結論から、スペースカウンタ ーから、プリンター、スピードメーター等の外部エレメントから、及び/又はコ ンパス、望遠鏡、距離計(以下補助手段と称する)等のシステムのアクセサリー から受理し得るものであり、及び以下のもの若しくは以下のものの組合せ: a.領域、又は領域の形状又は部分、又は形状の、方向(例えば北、南、東、 西、上方、下方、前方、後方、右、左)、及び座標システム、又はカメラ、又は 領域、又は形状に関する測定(例えば距離、幅、高さ、深さ、サイズ、比、及び 角度)、色彩(例えばカラーパーセンテージのレベル、カラー分散、散在するド ット、スポット)、枠(輪郭)、動作、運動、速度、位置、及 び角度(例えば領域、形状、カメラによる); b.熱、放射線、声、匂い、及び味の特徴、現象、属性、検出; c.定義及び結論(例えば仮の名前、四角、階段、オブジェクト、車、はため いているもの、炎、水の流れ、生き物、四足歩行、成長、プライベート型の乗り 物の右側、時間の変化); のいずれかである請求の範囲第9項から第10項に記載のコンピュータービジ ョン方法。 13.請求の範囲第12項に記載のコンピュータービジョン方法であって、 未同定形状、及び/又は領域/形状全体において、及び又は包絡面において 、及び/又は内部において、何らかの動作(例えば動作、運動)が生じている形 状、及び画像中に見えている又は一部見えている形状に関する領域、特徴、定義 、及び結論の前記データの同定及び計算のための手段を含み、その全て、その一 部、その組合せが、キーエレメントデータと結合され、システムを操作し、且つ 見ている形状のサイズ、距離、拡大/縮小、及び撮影角度を、保存されている形 状のサイズ、距離、及び撮影角度に従ってマッチングさせるソフトウェアプログ ラム、電子サークル、及びルール、並びに転送及び3D表示のためのマルチメデ ィアの形式のソフトウェアプログラムによって実行される、請求の範囲第12項 に記載のコンピュータービジョン方法。 14.請求の範囲第12項及び第13項に記載のコンピュータービジョン方法であ って、 データ、特徴、定義、及び結論は、比較及びマッチングのための前記手段及 びソフトウェアプログラムによって、全てのデータ又はその一部を有するレジス ター/メモリーとマッチされ、予め決められた一つ以上の階層的順序の分類に従 って、絶対的か、半々か、又は可能性があるかの同定がキーエレメントによって 行われ、前記キーエレメントにより、場合によっては予め又は先の写真から知ら れている既知の領域、形状又はその一部のデータに関する情報に対して、領域、 形状、又はその一部を同定することができる、請求の範囲第12項及び第13項 に記載のコンピュータービジョン方法。 15.請求の範囲第9項から第14項に記載のコンピュータービジョン方法であっ て、 コンピューター、コンピューター構成要素、構成要素、電子サークル、プロ セッサー、コンピュータによるデータ処理システム等のうち一つ以上が、前記手 段の一つ以上又はその組合せを構成し;前記手段は、既知、新規、及び互換性の あるソフトウェアプログラムであり;撮影した画像から得たデータをデジタルデ ータに変換するための前記手段;同一の視点及び/又は撮影した画像中に形成さ れた点に関する色彩同一性のマッチング及び定義のための手段; 特徴、定義、及び結論の同定のために距離及び寸法を計算するための前記手段; サイズのマッチング及び撮影角度のマッチングのための手段;運動、動作の形式 について、運動を所定時間間隔で検出するための前記手段;「真性」表を取り扱 うための前記手段;再発する形状を取り扱うための前記手段;キー構成のために データを集めるための前記手段;比較及びマッチングのための前記手段;種々の 形式の情報を保存するための前記手段;データを受理し、転送し、引出すための 前記手段;前記手段は、電源、データ保護、前記手段、システム等の保護を含む 、請求の範囲第9項から第14項に記載のコンピュータービジョン方法。 16.請求の範囲第9項から第15項のいずれかに記載のコンピュータービジョン 方法であって、 領域、形状等について集められた計算、既知のデータ、特徴、定義を含む、 同定の前、間、及び後に集められた、受理及び保存された情報は、即時に又はわ ずかな時間の後に、情報の形式で、通常の態様で及び/又は立体的に、マルチメ ディアの形式で及び/又は3D形式で、搬送され、システムは、適当なインター フェース手段によって、ロボット、装置、盲人等のユーザーに、要求により及び /又は自動的に保護し及び/又は提供し、及び/又はアクセス可能である、請求 の範囲第9項から第15項のいずれかに記載のコンピュータービジョン方法。 17.上記請求の範囲又は添付図面に、詳細に、描写し、言及し、説明し、図示し 、表示し、又は暗示した、本明細書に記載した新規な事項、又はその組合せを本 質的に含むコンピュータービジョンシステム及び方法。 【手続補正書】特許法第184条の8第1項 【提出日】1998年2月6日(1998.2.6) 【補正内容】 明細書 コンピュータ立体ビジョンシステム及び方法発明の分野 本発明は、一般的に、カメラ、コンピュータ等の手段によりリアルタイムに見 られるコンピュータビジョン及び同定、特に2以上の「立体」カメラによる3− Dコンピュータビジョンに関する。発明の背景 コンピュータビジョンの需要は、あらゆる分野、例えば研究、天文学、ロボッ ト工学、工業、農業、製造、サービス、運転、警備、盲者の援助、現象の検出等 における問題の解決及び人による実際の使用のために、日常必要なものである。 今日、内部及び外部両方のコンピュータメモリの容量が大きくなるにつれ、コン ピュータコンポネントの物理的寸法は次第に減少してきており、さまざまなタイ プの高速プロセッサが存在する。従って、もし、見る全てのものをリアルタイム に同定することができるコンピュータビジョンのためのシステム及び方法をつく ることができたら、全てのことがより簡単且つ単純になるであろう。現在の状況 1つ又は2つのカメラを使用する今日のコンピュータビジ ョンは、個々の、定義された、知られた、且つ主に静的な対象のビジョンに焦点 を合わせ、それらの同定は冗長で、比較的(画像対画像)で、部分的で、焦点が あったもののみであり、見られる全てのものを撮影速度で分析及び同定せず、ま た、センサー、照明、測定ゲージ等の多くの装置を必要とし、扱いにくく、限定 され、効率が不十分であり、満足な解決を与えない。発明の目的 本発明の目的は、コンピュータに接続されるカメラ、寸法、動き及び他の知覚 的特徴をコンピューテイングする手段により、見える全ての形を同時的に且つ撮 影の速度で分析及び同定することを可能とするシステム及び方法を提供すること にある。 さらに、本発明の目的は、全ての自動化装置(ロボット、ツール、コンピュー タ等)が、全ての有形物及び現象を、さまざまな適切なビジョンの手段により、 人が見ることができ同定できるのと同様な方法で、見ることを可能にし、このよ うな自動化装置が、人が言語でコミュニケーションを行なうのと同様に、その周 囲環境とコミュニケーションを行なうために必要な人工知能の基本的用語を教え 、およそ全ての人が行う動き、課題及び作業を、より正確に、効率的に、早く、 良く、いつどこででも、物理的に接近が困難、危険、接近不可能、退屈な場所で も、行なうことにある。 さらに、本発明の目的は、リアルタイム3D画像を、保存 し、通常のデータ転送ラインによって放送及び/又は転送することを可能にし、 それによって、デコーディングソフトウェアプログラム及び/又はマルチメディ ア、3−Dビジョン、投影、表示、及び拡大のために設計された眼鏡及び/又は 特殊な装置を用いて、離れた場所から、人が画像を「見る」ことができるように することである。 本発明の目的は、市場に何らかの形で存在するイクイップメント、システム、 回路及び電子コンポーネント、基本ソフトウエア等を用いて、そのための装置を 構成することを可能とすることにある。そしてそれらの結合、組み合わせ、付加 、延長等により、環境への適合能力を含めて、本発明に従って装置を創造及び/ 又は組み立てることができる。平均的な電子エンジニア、コンピューターエンジ ニア、システムアナライザー等は、本発明に従って装置を設計、組立及び構成す ることができる。 本発明の利点の一つは、最小限の制限で使用することができるというその単純 性であり、本発明のみが上記すべての目的を達成することができる。本発明 本発明は、立体コンピュータービジョンのための革新的なシステム及び方法か らなる。 1.全体的に、本発明のプロセスの部分を形成しない、ソフトウエアの説明とし てのすべての材料は、サンプルとしての提示に過ぎない。その目的は、コンピュ ータービジョン の操作のプロセスを説明することであり、本発明の本質を減じるものではない。 2.コンピュータービジョンが、サーブするカスタマに転送しなければならない データによって様々なタイプ、モデル及びサイズ(例えば、大型、小型、中型、 フィリップス等)のコンピュータービジョンシステムが存在するため、以下にな される説明は、一般的なものであるが、それら全てにおける基本的な操作原理は 同一である。 3.コンピュータービジョンは、「見る」サービスを提供する手段である。その 課題は、空間中のセクションを見、それに関するデータ、定義、及び用語を集め 、且つ視界の画像を保存し、及び/又は見た画像をコード及びデータに変換し、 必要に応じて解読し、必要なものを何でもレジスターにストアし、さらに見られ た対象又は関係するデータを転送することであり、変化するデータを、いずれか の撮影速度で保存することによって、3Dデータ及びマルチメディアを保存する ことができる。 必要であれば、全てコンピュータービジョンシステムの目的に合わせて、3 −D形式又は「マルチメディア」(見られた対象の形、場所、位置、サイズ、色 、距離等に関するデータを含む)のデータ転送を設計することも可能である。 4.スキャニング及び処理に関して、二つのシステム及び方法は異なるが、原理 的には同一である。 画像保存システム及び方法においては、比較画像は、空 間的画像でなければならず、色彩、Wr(同一のドットに関する二つのカメラ間 の差異)等、集めたデータの一部は、各ドットを示している。カメラの画像は、 座標において写真によって更新され、空間画像に対するカメラの画像のスキャニ ングは、相互関係に関連し、カメラの画像と比較した空間画像座標の場所に依存 する。 この方法において、一方のカメラの画素は、装置によって、及び座標を調節 することによって、通常の態様で、撮影速度及び/又は他の速度で、空間的メモ リーレジスターに保存された先の画像の画素に対して調節され、同一性及び対応 関係がある限りは全て継続される。ビデオに登録された画像中の新たな運動及び /又は形状は、対応関係及び更新の喪失を生じ、よって、二つのカメラの画素が 、画素対画素で比較される。同一画素のデータは、各色彩画素、Wr差異等ごと に、空間的メモリーに記録される。空間的メモリーに保存されている画像に対応 関係のないドットは、空間的画像中の深度線として登録され、第二の画像のドッ トが、続いて別個に登録され、再度、空間的メモリーに対するマッチングが開始 される。 その先の処理も同様であり、上記の好ましい例に詳細に説明した、エンコー ドされたデータの検出及び比較と同じ原理に従って継続する。しかし、スキャニ ング及びデータ収集の態様に合わせた異なる態様で行なわれる。 5.データ収集工程は二つの方法で行なわれる:A.Wr、座標のマッチング、 動作、対応、同定等を検出するために、 一つの画像のドットを、同じ速度の別の画像のドットと比較する、及び/又はデ ータを二つの連続する画像のデータのうちの一つのデータと比較する;B.全て のデータ及び/又はその一部に基づいた、例えば、枠、幾何学的線、幾何学的形 状(枠)等、同じ画像に存在するデータからのデータの収集/検出。次の処理、 人工知能、マッチング及び同定キー、及びコミュニケーションのために、結論、 定義等が導き出される。 6.必要があれば、ビジョンフェイズの一部をデータ転送のために使用すること ができる。例えば、3D放送においては、各形式のデータを、角度運度によって 分割し、データ構成及び転送帯域範囲及び/又はこれに類するものを削減するこ とができる。また別の場所では、コード及びそれに属するデータを、様々な方法 で、翻訳/解読し、表示し、投影して、拡大することもできる3D画像を得るこ とができる。 7.コンピュータービジョンはカスタマにサーブすると考えられ、カスタマは限 定された操作を行うと考えられるので、それの作業空間は通常制限される。従っ て、そのようなカスタマに適合したコンピュータービジョンシステムは、カスタ マに、その課題を満足させるために必要なデータを提供しなければならない。 8.コンピュータービジョン及び/又は(好ましくは)ロボットは、メモリシス テム、カスタマの測定、聴覚、触覚(熱、強度、圧力、風が吹く等)、味覚、嗅 覚、放射線等 の追加の外部補助を用いることができ、このような補助はシステム又はカスタマ の外部にあってもよい。カスタマのコンピュータービジョンと補助との間に、必 要に応じて、相互関係、互換性、参照、コンシダレーション、相互性、データ転 送等が存在しうる。 9.システムは、ロボット及びそれ自身の及び/又はロボットにデータ等を提供 する別個のコンピューター装置と組み合わせることができる。 10.データ収集の間に、人工知能における基本用語が検出される。これら基本用 語は、解読システム及びロボットコンピューターが、画像、現象等を解読し、ま た他のロボット等及び/又は人等の、ロボットを操作している環境とコミュニケ ーションを行なうのを補助する目的のものである。図面の一覧 図1は、2つのプロセッサを有する、本発明による可能な接続を含む好ましい システムの概略的なカラム線図形式のスケッチである。 図2は、カメラから受理したデータの比較処理、及び検出されたデータによっ てエンコードされたデータのメモリーへの転送のための、好ましいシステムのフ ローチャートである。 図3は、図1に示されるシステムの複数の中心視軸、視野及び視野の平行制限 線及び視覚イメージを概略的に説明する水平横断面図である。 図A/3(×4拡大)は、図3の平行視覚イメージである。 図4は、様々な距離及び様々なサイズにおける(図1に記載されたシステムの )視野及び見られた形を概略的に示す水平横断面図である。 図A/4(×4拡大)は、図4で見られた形状の、図1に記載されたシステム の左右の両方のカメラにより同時に見た図を示す。撮影及びカメラ 1.一対の同一のカメラ4(図1)は、整列し、可変及び拡大/縮小を含む撮影 角度が座標軸に配置され、共通な平面(以下水平面と称す)上に共存する、カメ ラの光学的平行視野(図3)を形成する。即ち、それぞれのサイトラインのフィ ールドに対する距離は(0:0)から(Y:X)まで両方のカメラで常に同一で あり、全ての撮影距離において固定された拡がり角距離M(図3及びA/3)で ある。カメラの垂直運動(水平面と垂直な)は一定で同一である。 カメラによって取られた写真は、カメラ又は他のイクイップメント5(図1) によって翻訳されたデジタルデータの形式で、撮影速度(及び/又はその他)に 従って、入力メモリP−0、P−1(図1)に受理される。整列は、製造、イン ストール、及び/又は他のいずれかの機会に(好ましくはロボットによって)物 理的に行なう。 2.1つの包囲体又は分離されたパッケージング内の前記2以上のカメラは、C CDカメラ等のビデオカメラに類似するものであり画像中の受理されたデータを デジタルデータ に変換するための統合された手段を有するカメラを含み、且つ以下の1つ以上を 含む: a)光増幅等の手段による、様々なスピード及びIR、可視等のいずれかの光 、及び不十分なもの等のいずれかのライティングコンディションにおけるカラー 撮影のための適合; b)望遠又は顕微手段を含む拡大又は縮小装置 c)直線的、凹又は凸の、所望の解像度を含む光学イメージ(図3及びA/3 )。距離、寸法の計算 1.X軸上の、二つのカメラ画像中の対応するドットの位置間の差異であるデー タWrに基づいて、また平行拡がり角固定データM[全ての撮影距離における平 行線間の固定距離(図3)]に基づいて、画素表示のサイズを計算することがで きる:Q=M/Wr 2.カメラといずれかのドットとの間の距離Lの計算は、全てのビューイングシ ステムについて、二つのカメラが同一であること[カメラの撮影角度が同一であ る(通常の状態では、水平α0、垂直β0)]、物理的サイズ(光学的イメージ1 の幅)、光学的イメージX:Yの固定解像度、Z拡大/縮小、M、及びWr、及 び定数:K0、K1、K2、K3に基づいている。 基本式 (αp)一つの画素に対する角度、(U)画素(光学的イメージ)内の円の 周囲長さ、(Qm)一致面1における画素表示のサイズ、(Qd)形状Aにおけ る標準測定値dの画素表示及びdにおける画素Xdのサイズ。 1.αp=α0/(X*Z) 2.U=Z(X*360/α0) 3.Qm=2M 4.Qd=d/Xd 距離計算式0−円の半径から光学的イメージまでの(距離) r−いずれかの点までの半径 L−光学的イメージからいずれかの点までの距離 La−同定された形状Aまでの距離(間接的計算) 1一致面とは、二つのカメラにおいて平行マッチングドットがX軸上の同一の 位置にある場合の距離を言う。 Wr=0であれば、Q=2M(コンピュータが知る)であり、距離の計算はL =Z(K3*M−K1)に従って行われる。 3.ドット表示のサイズの計算によって、サイズ、長さ、幅、高さ、表面積等を 計算することができる。 4.いかなる枠内の及び/又は隣接する枠間等のドットの順序、及びX軸とY軸 との間におけるドットの位置の変化率によって、角度を検出することができる。 また幾何学的線及び形状、例えば直線は、X及びYの変化に一定の周期性があり 、そのサインは変化しない。線の角度一変化率が線の(タンジェント/コタンジ ェント)角度を決定する、例えば、周期の各段階において、ドットが[(+−1 )固定サイン]だけ変化する場合、その角度は−45°である等。 5.運動速度Vの計算はF(撮影頻度)及びT[Tは一回の持続期間(図2)で あり、その期間がコンピュータ内に存在する。]に基づいている。 6.Wrもまた、3D画像を時間内に再生する助けとなる。 7.フローチャート101(図2)には、ファクターU(そ の隣に登録されるように私が選択した5番と共に)があり、これは、二つの隣接 する点間の変化に対する理論的変化率である(チャート中では1.25)。本発明によるシステムのサンプル及び好ましい操作方法 全てのサンプル、ビデオクリップ、フローチャート等は例示に過ぎず、例えど んなに優れたものであっても、エラー、不正確さ、補正、状況に合わせての調節 を含むことがある(タイプ、翻訳等のように)。工程において、各プロセッサー が所定の操作を行い、これはこうての段階の一例であり、処理速度(プロセッサ ー)に依存するものであり、、工程の段階の順序によって、何らかの変更を行な ってもよいことを強調しておく。画像入力工程 1.いずれかのカメラから受理され、コンピューター言語に翻訳されたいずれか の画像(カラー画像を含む)は、メモリーP0;P1(図1)の一方の指定され た位置に、一度はライン0で、一度はライン1で等(空間の節約)、入る。ライ ンはカメラの解像度におけるXの長さに合わせられる。 2.各コード表には、ヘッダーのように一般的データが与えられ、その一部はロ ボットコンピューターから受理したものであり、別の一部はビューイングコンピ ューターから受理したものである。例えばカメラにおいて、Z−拡大/縮小、C −水平に対する軸の傾斜角度、等がロボット(運動 及びカメラを制御する)によって与えられる。各画像における光学的イメージの 枠のドットの四つすべての角度(解像度)を、ロボットの運動座標及びカメラに マッチさせることができる。つまり、その後の座標のマッチング及び更新の基礎 として、空間内におけるその位置を定義するデータがあるということである。同 様に、システムのデータとして、ビートtの数[フローチャート(図2)]があ る。 3.フローチャート(図2)において、PCU−1(図1)プロセッサーは、カ メラから受理したデータの比較(例えば画素bに対する画素a(図2)等)を行 ない、その中から、カメラのデータから削除することができる新しいデータを検 出し、これをコードのためのマッチング表に登録する:Q1;Q2;Q3。この コードはそれぞれ、4ビットの大型バイトにおける数(隣に登録される)である 。コードは、Y縦軸及びX横軸(カメラB)にその外観に従って配置され、各コ ードのデータは、同じ順序及び/又は他の通常の順序でマッチングテーブル中に 配置される。 PCU−1プロセッサーは、フリーラインにおいていつでも、撮影速度に合 わせて調節された速度で、P−0;P−1を処理し、コードを含むデータをPP −0;PP−1(図1)へ、各撮影サイクルごとに別の位置へ挿入する。 a.フローチャート(図2)において、四角1−「start(スタート)」 、四角2−「Read Ya,Yb(Ya,Ybを読め)」、平行四辺形3−「 go back(戻れ)」。 b.円[101(図2)]は、二つのカメラのデータにおける最初の同一のド ットを検出する。 c.円[102(図2)]はX軸上で、コードQ2−色、Q3−領域、並びに 関連データを検出する。 Q2:p;Wr;(Y:Xcn);f;(Y:Xx) Q3:Wr;(Y:Xn);q;u;(Y:Xx) ここで:pは色彩、Wrは二つのカメラにおける同一のドットに関する差異、 (n,cn)は最小ドットの表示、(x)はそのカラー/ライン深さ/表面に関 する最大ドットの表示、fは同一色彩のドット数、qは一つの領域内のドット数 、uはその領域内の色彩の数、及び(Yn(cn):X);(Y:Xx)は最小 及び最大ドットを示す。 d.円[103(図2)]は、X軸上で、コードQ1−深度線及びこれに関連 するデーターを検出する:(Y:Xn)が最小点である場合、Q1:(p);( Y:Xn);f(−;+);(Y:Xx)であり、f(−;+)X軸上のドット の数(負:XaカメラA、正:XbカメラB、3Dデータ)、マイナス記号は「 離れている」を示し、プラス記号は「近付いている」を示す[人工知能における 基本用語]、Y:Xx−最大点(チャートにスペースがないため、深度線は描か れていない)。 e.円[104(図2)]は、プロセッサーとカメラとの対応関係を示す。 f.円[105(図2)]は、データをさらに処理するた めに種々のメモリーに分配することを示す。 4.各速度のデータ全体又は一部、例えば:Q2:(Wr);p;f、Q1:( p);f(+−)(及び撮影パルス)は、例えばテレビチャンネル、3D放送等 によって転送/放送するよう指定されたコードによって各データ及びコンポジシ ョンの角度を動かし、転送バンドを節約する等によって与えられる。別の場所で は、転送が受理され、分離され、翻訳され、X軸上の全てのfデータにいずれか の数をかけ、ることによって、これを何倍かに拡大し、各縦軸(横軸)Yに同じ 回数だけ戻すことができる。よって別の方法で画像を3D画像として時間内に投 影し及び/又は表示する。 同様に、これらのデータを保存し、何らかの方法で別の時間又は場所で投影 /表示することができる。枠点検出方法のサンプル 1.プロセッサーPCU−2(図1)は、メモリーPP0;PP1のうち一方で みいだされたデータの検出を行ない、このデータは完全である。プロセッサーP CU−2の役割は、エンコーディング及び存在するエンコーディングデータに基 づいて、固定順序で各色についての枠ドット、深度線及び領域を検出し、枠デー タ及び枠ドット位置についてのヘッダーを次々に記録することである。先のスキ ャン/マッチングから、X軸上の最小点、点の数、及び最大点が分かり、Y軸に ついては、これらのデータは得られない。従って、輪郭点の検出中の可能な時点 で、これらのデータ を表示しなければならない。 考えられる輪郭点は以下のとおりである: 1)Yx,f,Xx 2)Yx,f,X 3)Yx,f,Xn(cn),f(q) 4)Y,Xn(cn),f(q) 5)Y,Xx 6)Yn(cn),X 7)Yn(cn),Xx 8)Yn(cn),Xn(cn),f(q) 2.スキャニングを左から右へ、上から下へ行い、輪郭の同定方向が反時計廻り であると仮定すると、プロセッサーは、コード表を通って色彩、深度線、及び領 域へ、その場所順に、又は形式及び/又は他の方法で通過する。初めて遭遇した コードは全て処理し、画像内の同一色彩、同一コード及び/又は隣接コードの輪 郭を検出する。そして、そのコードの仮のヘッダー及び名前(AAn;ABn; ACn)を登録する。例えば、色は、AAn;p;Wr;S、深度線は、ABn ;S、領域は、ACn;Wr;Sである。各ヘッダーは、深度線又は深度線内に 見られる領域に関して、X軸及びY軸のデータf(−+)を含む隣接する全ての 輪郭ドットを、始点(輪郭の閉鎖)まで、次々に登録するカラムようのものを有 する。終点(輪郭の閉鎖)は、画像輪郭(カメラB)の極軸[(0:0)(Y: X)]であってもよい。原理的には、各ドットの登録は、隣接するドットを同定 した後に行なわれる。 3.Xが最小(n;cn)である場合にはいつでも、輪郭に 関して、ドットの数f(q)は、その軸上の最大値まで、その隣にコピー/登録 される。Yが最大(x)である場合にはいつでも、同じ輪郭に関して、ドットの 数は、その軸上の最大値まで、その隣に(そのXに対するYが最小である場合に は、同時又は遅れて)登録される。 4.ラインを更にスキャンする場合及び/又は他のラインをスキャンする場合に 、同じコードを二回処理してしまうことを防止するために、コードを処理する必 要がある場合にはいつでも(処理には同定コードを使用する)、処理中の障害を 防止するために、コードは連続コード(ループとして)に変えられ、従って(> >=〜に変化する(change to)): この方法により、何台かのプロセッサーが、同じデータベースで同時に操作 することができる。各プロセッサーは自分の仕事を行ない、それが終わると次の プロセッサーが継続する等。よって、Wrのサイズによる処理によって、二つの プロセッサーが、一つが大きい方から、他方は小さい方から、同時に処理を行な うことができる。 5.色彩について、輪郭を検出するためのスキャニングを行なう場合には、その コード又は連続コードのデータベースで同一の色彩の隣接するドットを検出しな ければならない。深度線又は領域について、輪郭を検出するためのスキャニ ングを行なう場合には、同一のコード又は連続コードの隣接するドットを検出し なければならない。 6.ドットがXn(cn)である場合には、X軸上のドットの数f(q)をS[ Sはその輪郭内の総ドット数であるS=S+f(q)]に加え、コードは、コー ドのリスト及びその連続コードに従って変化する。輪郭定義のルール 1.先のセクションに従って、コードをスキャンし、各コードに関してデータが 仮の位置DDDにコピーされる。コードのXxデータは、輪郭の開始ドットであ り、このデータはまた輪郭のYxでもある。ドットは記録され、(no.1)と される。Yのデータfは喪失し、後に完了される。後に、f(q)における各点 は、(明らかに)通過し、従ってドットは、最小点Xn(cn)まで次々に登録 される[第一ラインではそれは(no.2)である]。データはDDDからコピ ーされ、(no.3)とされる。Yはマークされ、そのfのためのスペースが残 り、X軸のf(q)をSに加える[さらに(c)参照]。 直線運動(水平、垂直)において、軸(Y:X)の一方は一定(静止)のま まであり、他方が定数(+;−)で工程(1)を進める。隣接するドットの検出 は、運動軸の右側(90度の角度で)で、以下のように行なわれる:運動軸は静 止したままであり、静止していた軸が工程(1)によって、さらに直線を下降し たところにあるドットがその 輪郭に属さなくなるまで、前進する(さらにa、c、e、g参照)。この点(輪 郭の外側)から、従って(b、d、f.hにおける継続を参照)。 対角線上での運動[隣接する点には以下の可能性しかない:1)135°、 2)225°、3)315°、4)45°]においては、二つの軸(Y:X)は 工程(1)によって各時間ごとに前進する。運動方向の右側における隣接する点 の検出には、対角線をさらに下降したところにある点がその輪郭に属さなくなる まで、一方(45°の角度)及び他方(90°の角度)の二つがある[以下、( i,k,m,o)参照]。この点(輪郭の外側)から[更に(j,l,n,p) 参照]、 各クエスチョンマーク(?)において、可能且つ必要である場合には、要求され たデータを登録しなければならない(そのドット及び/又は先のドットに関して ) (>go to、n=no、y=yes)。 2.線上における戻り運動において(対角線の場合には、先に行なった輪郭ドッ トの記録を考慮し、質問を調整しなければならない)、輪郭ドットは、一回は前 方に、一回は後方に、二回登録され、コード変更、合計(S)に対するドットの 追加、最小値、最大値等に関する必要な操作を、先のルールに従って行なう。 3.スキャニング中に、深度線又は領域についての輪郭を検出する間、又は深度 線から外に出ないように、コードに次々と質問がなされる(基本的には、Xn( cn)上での運動については、スキャニングコード上のドット、Xx上での運動 については、連続コード上のドット)及び場合によっては両方。 4.領域の輪郭は、深度線の輪郭の内部又はこれに隣接して、若しくは二つの深 度線の輪郭の間に又はこれらに隣接して見出され、深度線を検出した後に、輪郭 ドット表を検出す ることが可能である(内部及び外部)。 5.輪郭検出中に、連続コード上にある場合には、次のドットが、たとえそのド ットが画像データ中の終了ドットなくても(輪郭の終了ドットである場合がある )、深度線内及び深度線内の領域内の開始点であるかどうかを質問しなければな らない。 6.ここに示したルールは、輪郭検出の例示であり、全ての詳細を包含するもの ではない。詳細の一部は不完全であり、よって完了させなければならない。色彩 枠が内部に別の色彩の追加の枠を包含する場合には、追加のルールをつけ加える 必要がある。 7.この方法及び/又は他の方法の間、人工知能のデータ及び基本用語が、デコ ーディング及び接続を助ける解読及び/又はロボットシステムのために検出され る。例えば、ある枠のX軸又はY軸の一方について、最小値と最大値がマークさ れていない場合、これは直線(最小終点及び最大終点を含む)であることを示し ている。さらに、基本用語はデータに基づいて以下のように定義される:1)X は、Yxが定義されているドットについては定義されない、よって「上方水平直 線」が得られる。2)Xは、Ynが定義されているドットについては定義されな い、よって「下方水平直線」が得られる。3)Yは、Xxが定義されているドッ トについては定義されない、よって「右垂直直線」が得られる。4)Yは、Xn (cn)が定義されているドットについては定義されない、よって「左垂直直線 」が得られ る。 8.各処理の終わり及び/又はその途中で、人工知能のためのコード表、データ 、輪郭、定義、及び基本用語は、各パルスに合ったM−0;M−1;M−2メモ リー(図1)に転送され、PCU−(3;4)プロセッサーによってさらに処理 される。PCU−(3;4)は、人工知能等における運動/動作、幾何学的線、幾何学的 形状、基本的用語を検出する PCU−3プロセッサーは、M−0;M−1;M−2データが完了している三 つの後続するメモリーのうち二つのメモリー間で、比較する態様で運動/動作を 処理し、座標をマッチングする: 1.可能性の一つは:最初の画像に入った座標が、その後の座標の基礎となる。 2.二番目の可能性は:ロボットが、その運動及びカメラの拡がり角に従って、 座標の計算を行ない、カメラの撮影データを一時的に更新する。 3.コンピュータービジョン装置は、例えば最初の画像において、まっすぐな東 面上の水平線の最初の点及び/又はいずれかの点が0点であり、上方及び右方向 が正で、下方及び左方向が負であり、最大拡大における全ての画素の各々が座標 線であり、その画素が先の画像のデータから比較する画像のデータへと座標を更 新するということを、教えられる。 4.座標のマッチング及びヘッダーへの登録は、ロボットのデータ及びカメラの 運動に従って、両方の速度のデータに見出される一つの(小さな)動的な同定さ れた輪郭をマッチングすることによって、先の画像の座標データから、運動/動 作検出を行なおうとする画像のデータへと行なうことができる。 5.この段階までに集められたデータに基づいて、運動/動作の検出のために、 それぞれ別個に輪郭、深度線、及び色彩に関する二つのメモリーの間、及びYと Xの長さの変化と、先の二番目のメモリーにおける対応する値との間で、比較処 理を行なう。 6.データの変化は、左から右へ、高い方から低い方へ、現われる順番に従って 、及び/又はカメラへの近さに従って、つまり最も大きいWrからメモリー内の 輪郭の終点(最も小さいWr)まで、普通に検出することができる。また、デー タの変化は、必要に応じて二つ以上のプロセッサーによって検出することができ る。 7.PCU−4プロセッサーは、例えば、周囲環境からの距離の変更、定義され 検出された幾何学的形状に属する均一な運動方向等、様々な基準に従って、また カメラへの近さ順番に従って、輪郭を集める。この輪郭はまだ同定されておらず (空間的メモリーMM−0(図1)において名前がない)、先の同定(MM−0 内における名前の場所は、二つの輪郭の座標によって作られる)もないので、可 能であれば、例えば以下のようにこの輪郭に定義を与える: a)いかなる運動も起こっていない輪郭(領域、色彩、及び深度線)に隣接し て、輪郭全体が、追加の輪郭(ヘッダーを含む)として同定され、仮の名前BA nを与えられる。人工知能に関する意義は、「動かない」ということである。 b)サイズ及び方向に関して均一な運動が起こっていた隣接する輪郭−その輪 郭は、追加の輪郭(ヘッダーを含む)として検出され、登録され、仮の名前BB nを与えられる。人工知能に関する意義は、「動く」ということである。 c)内部で、通常の運動とはサイズ及び/又は方向が異なる運動が起こってい る(又は何らかの変化が生じている)BBnの輪郭には、仮の名前BCnが与え られる。人工知能に関する意義は、「生きている」ということである。 d)間に(顕著な)Wrの差異がある隣接する輪郭、及びその周囲環境全体に 、仮の名前BDnが与えられる。人工知能に関する意義は、「浮いている」とい うことである。 輪郭内(及び所定範囲内の寸法)に運動がある場合には、仮の名前BEn が与えられる。その意義は「翼のある鳥」ということである。 e)このプロセッサーに残り時間がある場合には、及び/又は別の追加のプロ セッサーが同じメモリーM−0;M−1;M−3を障害なく処理する場合には、 このプ ロセッサーは、完全な枠(形状)、直線、凹状の線、弓型(凸状)の線、対角線 (角度を含む)、その他の同定可能な幾何学的線を形成する輪郭ドット及び輪郭 間の定義を検出する。また、四角形、正方形、三角形、円、楕円等の幾何学的形 状も検出し、これらの形状について人工知能の基本用語を確立する。 f)幾何学的定義が知られていない線、輪郭等、若しくは検出に時間のかかる 線、輪郭等は、このような形状/輪郭の定義を定めるために、基本的且つ知られ ている形状/輪郭のレジスターMM−4(図1)に対して、保存されている基本 的輪郭に対して輪郭のサイズをマッチングすることによって、マッチされる。こ のレジスターは、その機能及び目的に従って(原理的に256以下)全てのコン ピュータービジョンに適合されている。 8.運動、種々の輪郭等のマッチング及び検出をする間、及び/又はその終了時 に、解読システム及び/又はロボットは、人工知能において、以下のような多く の追加の基本用語を知る: a.長さYは一定のままであり、上方に動いた(場所を変えた)、意義−「上 昇した」 b.長さYは一定のままであり、下方に動いた(場所を変えた)、意義−「下 降した」 c.長さYは小さくなった、意義−「短くなった」 d.長さXは小さくなった、意義−「細くなった」 e.長さYが大きくなった、意義−「高くなった」 f.X及びYが大きくなった、意義−「拡大した」 g.X及びYが小さくなった、意義−「収縮した」 9.処理中及び/又は他の時に、人工知能における多くの基本用語を、必要に応 じて検出/派生させることができる。これは、人の言語のように、形状及び/又 は現象及び/又は用語及び/又は通信等を多くの方法でデコーディングするのに 役立つ。 10.各処理の終了時及び/又はその途中で、コード、データ、輪郭、定義、及び 人工知能の基本用語の表が、その属性及び場所、座標に従って、メモリーMM− 0(空間的メモリー)に送られ、追加のプロセッサーPCU−(5;6..)( 図1)によってさらに処理、同定される。 11.空間的メモリーMM−0は、例えば水平線180°及び垂直線120°等の ある空間、及び/又は全ての空間的範囲を、必要に応じてカバーする。形状の同定 キー、同定 マッチング及び検出の間に集められたデータ、輪郭、特徴、現象、定義、結果 等は、その属性及び空間的メモリーMM−0中の場所に従って、保存されている 形状のデータが配列されている順序と同じ順序に適合された特別の順序で、種々 の表中に配置され、マッチング及び同定(データ対データ)のための、及び/又 は「真性」表等に従って、キーファクター を形成する。 未同定領域(輪郭)は、各撮影速度において非常に少ないので、通常は画像の 余白にある。特別な順序に配列された未同定形状のデータは、キーファクターを 構成する。これにより、手段の全て又は一部並びに頻度、「真性」表等によって 、辞書の単語のように、分類が言語であり、キー要素の順序が文字の順序であり 、単語全体がキーである場合には、データを他の画像/記録と比較して、及び/ 又はデータを知られている保存されている形状のデータを比較して、画像/記録 を検出、マッチ、同定することができる。この保存されている形状のデータは同 じ特別な順序に配列されており、キー要素に従って、且つ「確実な」、「半々」 、「妥当」、「可能性がある」に従って、調整されている。 1.同定は、見た形状のレジスターMM−0のデータと、保存されている一定の 既知形状のレジスターMM−1(図1)のデータとの間で行なわれる。寸法デー タMM−0において、サイズ、角度、及び撮影距離のマッチングは、距離及び/ 又は拡大/縮小データに従って、また保存されている形状の寸法データのサイズ 及び撮影/記録角度の基準に従って行なわれる。 2.MM−1に保存されている形状のデータは、マッチングキーに合わせて調整 されたサイズ及び距離に従って、形状をコンピュータビジョンに表示することに よって、各形状のデータを解読して得ることができる、及び/又はデータを同じ 条件で、論理的分析によって定義することもできる。 形状は、例えば色彩、幾何学的形状等の、解読キーと一致する特定の順序( 寸法)に従って定義、配置され、「確実な」、「半々」、「妥当」、及び「可能 性がある」に分類される。 3.運動メモリーMM−2(図1)があり、これは運動/動作速度を計算するた めに、例えば、「生きている」形状の全ての変化についてのデータを、秒、時間 等の定義される所定時間に渡って、所望の距離のみ、及び/又は所望の距離まで 、パルス毎、10パルス毎、毎秒等、で保存する。 4.このメモリー又は別のメモリーにおいて、各パルスにおける運動/動作の全 ての変化、及びパルスを保存することが可能である。従って、3Dデータ及び/ 又はマルチメディアを保存することが可能であり、よって、翻訳、デコーディン グ、及び拡大の後でさえも、別の時に別の場所で、表示及び/又は投影等を行な うことが可能である。 5.また、擬似メモリーMM−3(図1)を設けることも可能である。このメモ リーは、ロボット7(図1)が機能する空間の輪郭を含み、空間の輪郭の内側に は、重要な形状及び空間の輪郭が表示され、そこではいくつかの同定のための詳 細、例えば名前(1つ又は2つのデータ及び/又は1つ又は2つの単語を追加す る)等を伴う輪郭の形式となっている。ロボットがどこかの場所にいる場合には いつでも、メモリーはその場所を知ることができ、場所が変わった場合には、輪 郭、形状の場所等の場所が変わったこと(どのような変化、及びどこへ)を知る ことができる。そ して、新しい現実及び同じ登録方法に従って、擬似空間を更新する。また外部デ ータを受理するためにPMメモリー(図1)を設けてもよい。要約 1.コンピュータービジョンシステムは、レーザー等を含むいかなる種類の幻惑 光、閃光等に対して、システムが設置され得るいかなる場所においても、且つ他 の物理的損傷からも、可能な限り適切に保護されるものとする。 2.コンピュータービジョンシステムは、互換性であり、ユーザーの入力必要性 に従って操作することができる。 3.コンピュータービジョンシステムは、ソフトウェアプログラム6(図1)、 システムを機能させる電子及び一般サークル、距離及び/又は拡大/縮小データ 、及び保存されている形状の寸法データのサイズ及び撮影/記録の基準に従って 、見た形状のサイズ及び撮影角度を調節するソフトウェアプログラム、並びに放 送、3D表示、及びマルチメディアのために、要求されたデータを外部へ転送す るための他のいかなるソフトウェアプログラム、及び必要な他のソフトウェアプ ログラムを含んでいる。 4.受理した画像、コード、データ、計算、空間的メモリーにおける画像、及び 受理した画像又はマップ又はシステムの全てのメモリーに保存されたデータに関 する他の情報は、データを含む、コードとデータのみ、及び/又は入力又は空間 的ステレオ画像を含んで、ロボット等のユーザーへ、 要求及び設計に応じて、いかなる方法によっても、そのまま送出してもよく、ユ ーザーは、必要な時に、システムの設計に従ってデータを引出すことができる。 5.上述の全ての操作は、プロセッサ、及びマッチング、検出、処理、及び計算 のための追加の処理手段によって行われる。これらは、コンピュータービジョン の目的に必要且つ適合されたコンピューター装置、部品、一つ以上の電子サーク ル等、及びその組合せを使用する。 これらの役割分担は、各部品、パーツ、電子サークル、システム等が、互い に干渉し合わずにその役割を果たすものであり、これら全ての間には完全なコー ディネーション及び互換性がある。例えばプロセッサNo.1は、操作Aにおけ る自分の担当部分を終了したので、プロセッサNo.2が複雑な操作Aにおける 自分の担当部分を継続して行ってもよい旨を、部品、電子サークル等によってプ ロセッサNo.2へ通知する等である。商業的実施 1.コンピュータービジョンは、以下のように使用することができる。 a.ビューアー(監視する、分析する、デコードする、リポートする、転送す る等)として b.何らかの方法によってデータを収集し、データベース又はレジスターに保 存する(完全、一部、いかなる形式かによる分類等)ビューアーとして 2.コンピュータービジョンには多くの使用可能性があるため、いくつかの標準 的コンピュータービジョンシステムを使用することができ、各標準システムは、 所定のサービスを提供し、所定の仕事を行うように適合され、よって「保護用」 に利用することができる。一方、特殊な要求については、特殊な用途に適合され たコンピュータービジョンシステムを設計する。 3.各コンピュータービジョンシステムには、標準的能力と特殊能力が与えられ る。 4.コンピュータービジョンシステムを、設計者または設計段階における構成者 であるユーザーの特殊用途及び要求に適合させ、システムをユーザーの一部とし て若しくはユーザーにサーブする別個のユニットとして組込むことができる。 請求の範囲 1.立体コンピュータービジョンシステムであって、該システムは、 a.同一で、整列し、座標軸上に配置された、一定距離Mにある一対のカメラ を有し、該カメラは、座標軸上に配置された撮影角度及び拡大/縮小を伴い、撮 影カメラのために、いかなる撮影距離においても一定距離Mで、(0:0)から (Y:X)まで双方のカメラにおける同一のサイトラインの視野と座標を合わせ 且つ整列させた、光学的に平行な視野を形成し、該カメラの画像は、コンピュー ター内の入力メモリー装置によって受理され、コンピューター言語に翻訳され、 b.工程aに基づいて、受理された画像の画素は、種々の方法で処理すること ができる、例えば:1.画像の画素は、一つずつ装置によってマッチされ、デー タはヘッダーについて収集/検出され、パルス/速度、拡大/縮小、色彩を含む エンコーディングのために、二つのカメラの間の同一点のドットの距離Wrは等 しく、場所、隣接する同じ色及び/又は距離の水平ドットの数、又は3Dのため の深度線等;2.一方のカメラの画素は、撮影速度及び/又は他の速度に従った 順序に従って、空間的メモリーレジスターに保存されている先の画像の画素に対 して、座標をマッチングすることにより、装置によってマッチされ、新たな運動 及び/ 又は形状にマッチングがない場合には、更新し、両方の画像の画素は互いにマッ チされ、同一画素のデータは、各色彩の画素、Wr差異等について、空間的メモ リーに記録され、マッチングしない画素は、空間画像内の深度線ドットとして記 録され、他の画像の画素は別個に、関連して等、記録され、 c.工程bに基づいて、装置及びデータWrによって、サイズ、寸法、距離等 を計算することができ、またこの装置及びデータは、プロセッサー間に仕事を分 配し、時間内に3D画像を再生すること等を助け、 d.先の工程に基づいて、色彩、深度線、及び領域の輪郭、並びに隣接する、 及び/又は均一な運動を有する、近い等の領域、深度線のグループが検出され、 これらは、存在するデータにデータ表として加えられ、各枠における垂直線のサ イズが検出され、輪郭のサイズ及び角度を、保存されている基本形状とマッチン グすること等により、幾何学的線及び/又は幾何学的形状が検出され、検出/比 較を通して、直線、円、三角形、凹型、動かない、浮いている、生きている等の 、人工知能のための定義が導き出され、一方、測定、聴覚、味覚、嗅覚、触覚等 の、同定及び/又は周囲環境とのコミュニケーションを助ける外部補助用語が得 られ、 e.先の工程に基づいて、連続画像のデータが、座標をマッチングすることに より、装置によって比較され、及び/又は輪郭を両方の速度に見られる同一の静 止形状 にマッチングすることにより、座標が連続データにマッチされ、よって、ロボッ トがバランスをとるのを許容する撮影偏向角度が検出され、種々の輪郭における 水平及び垂直線の運動/動作が検出され、変化、方向、角度等の程度が計算され 、所定間隔の速度で保存された変化のデータによって、座標をマッチングするこ とによって、運動/動作の速度を計算することができ、検出されたデータの一部 は、様々な方法で保存することができ、速度の変化は、次々に保存することがで き、翻訳/解読及び拡大した後、何らかの方法による投影/表示のための3Dデ ータとして、いつでも、どこでも、種々の方法で保存、放送、転送等することが でき、 f.先の工程に基づいて、装置によって集められたデータの一部又は全ては、 データごとに、その属性に従って、座標のマッチングにより、空間的メモリーに 保存することができ、特定の順序に配列された未同定の形状のデータは、キー要 素を構成し、また全て又は一部の装置によって、及び発生率によって、「真性」 表等、及び記録された画像/記録/データサイズ、角度及び距離に従って、画像 /記録/データを、「確実な」、「半々」、「妥当な」、及び「可能性のある」 に従って、キー要素に合わせて調節された同じ特別の順序に配置された、保存さ れている既知形状の画像/記録/データに対して、マッチング/検出/同定する ことができ、 g.検出の間、未同定の輪郭及びそのデータは、仮の名前で記録され、同定さ れた形状は、自分の名前で記録され、人工メモリーを、輪郭の名前の表示並びに 基本形状及びいくつかの同定データを伴う輪郭線の形式で、ロボットを操作する 周囲環境に追加することができ、これは時々ロボット及び/又はビジョンシステ ムによって更新される、立体コンピュータービジョンシステム。 2.請求の範囲第1項に記載のコンピュータービジョンシステムであって、前記 一対及び/又はそれ以上のカメラは、単一のケース内に収容してもよく、若しく は別個としてもよく、該カメラは、CCDカメラ等のビデオカメラに類似するも のであり、カメラが捕らえた映像から受理したデータを、デジタルデータに変換 するための複合手段を備えるカメラを含み、さらに、 a)種々の速度で、赤外線(IR)、可視光線等の様々な光で、且つ不十分な 光量等のいかなる照明条件でも、光増幅手段によって行う、カラー撮影のための 適合; b)望遠鏡又は顕微鏡手段を含む拡大又は縮小装置; c)直線的、凸型、又は凹型の、所望の解像度を含む光学的イメージ のうちの一つ以上を含む、請求の範囲第1項に記載のコンピュータービジョン システム。 3.請求の範囲第1項及び第2項に記載のコンピュータービジョンシステムであ って、 データとして定義することができる、データについての、検出され、比較さ れ、及び/又はコンピューター処理され、定義され、導きだされ、見られた等の 情報(例えばコード表、サイズのコード、色彩、輪郭、幾何学的線、幾何学的形 状、定義、及び/又は通常の用語、及び/又は人工知能内等)を集め、保存する ための主な装置であって、保存されているデータのサイズ及び角度に対する、サ イズ及び角度のマッチングに従って、キー要素に従って座標及び分離をマッチン グすることによって、寸法に関して、保存された形状を同定するために、場合に よって、データへのアクセスを許容する装置であって、該キー要素は、「確実な 」、「半々」、「妥当な」、及び「可能性のある」等の、予め確立された一つ以 上の階層的順序であり、内部にあっても、外部にあってもよく、前記装置は: a.カメラの画像/見た画像を受理するための入力メモリー; b.一つ又は二つのカメラ及び/又は3Dのためのデータのための空間的メモ リーであって、座標をマッチングすることによって、画像を保存する方法と統合 されたメモリーと、別のメモリーにおける、他のデータに加えて、別個に又は一 緒に、第二の画像について、エンコーディングの方法で、両方のカメラのデータ を含む、固定、拡大/縮小記録及びその他によって得られた全 ての画像、データ及び表は、定義された空間のある一部について、統合され、更 新され、全てのパルスごとに調節され、画像及びデータは、水平及び垂直周辺座 標で示された状態で保存され、常に更新され; c.既知の保存されている形状のための表の形式のレジスターであって、定義 し得る及び/又は名前を与えられる及び/又は別個に同定されるいかなる形状( 例えば、スクリュードライバー、指、壁、拝啓、サイン、現象、及びその他)か に隣接し、その上方にあり、接続する等の画像、マップ、サイン(これらに関連 するデータ及び表を含む)、データ、コード等を含み、キーエレメントに合わせ て調整された特定の既知の順序で登録され、寸法であるデータは、形状、その寸 法、及び撮影角度のサイズによって、撮影/記録基準に合わせて調整され; d.種々の速度における運動を検出するためのレジスターであって、速度の変 化は、保存され、定義された既知の時間間隔に調節され、変化の程度、及び速度 及び撮影頻度の数に基づいて、運動のサイズ及び速度を計算することができ; e.ある速度におけるコード、データ、及び水平及び垂直寸法の全ての変化を 次々に保存するためのレジスターは、翻訳/解読、及び拡大した後に、別の時間 及び別の場所において、画像を再び表示/投影することを可能にし; f.妥当な時間内に定義及び検出できない基本形状の輪郭のためのレジスター であって、検出された輪郭と照らし合わせて、基本輪郭に対して、幾何学的形状 を検出することを可能にし、よってキーデータに対する補足として定義を導きだ し; g.必要に応じて、表を収集し及び取扱い、輪郭についてのそのデータ、表、 及び用語についてのそのデータ及び表、三角法による及び他の定義、人工知能の 基本用語等のエンコーディングを行なうためのメモリー、レジスター; h.ロボット、オーディオ装置、検知装置等の装置から受理した補助的データ のためのレジスター; i.コンピュータービジョン装置がその機能を果たすために、その装置の機能 のために必要とされる全ての操作を行なうための、コンピュータによる検出、比 較、取扱、及び同定のための容量を有するソフトウェアのためのレジスター; のうちの一つを含む、請求の範囲第1項及び第2項に記載のコンピュータービ ジョンシステム。 4.立体コンピュータービジョンのための方法であって、該方法は、 a.同一で、整列し、座標軸上に配置された、一定距離Mにある一対のカメラ を有し、該カメラは、座標軸上に配置された撮影角度及び拡大/縮小を伴い、撮 影カメ ラのために、いかなる撮影距離においても一定距離Mで、(0:0)から(Y: X)まで双方のカメラにおける同一のサイトラインの視野と座標を合わせ且つ整 列させた、光学的に平行な視野を形成し、該カメラの画像は、コンピューター内 の入力メモリー装置によって受理され、コンピューター言語に翻訳され、 b.工程aに基づいて、受理された画像の画素は、種々の方法で処理すること ができる、例えば:1.画像の画素は、一つずつ装置によってマッチされ、デー タはヘッダーについて収集/検出され、パルス/速度、拡大/縮小、色彩を含む エンコーディングのために、二つのカメラの間の同一点のドットの距離Wrは等 しく、場所、隣接する同じ色及び/又は距離の水平ドットの数、又は3Dのため の深度線等;2.一方のカメラの画素は、撮影速度及び/又は他の速度に従った 順序に従って、空間的メモリーレジスターに保存されている先の画像の画素に対 して、座標をマッチングすることにより、装置によってマッチされ、新たな運動 及び/又は形状にマッチングがない場合には、更新し、両方の画像の画素は互い にマッチされ、同一画素のデータは、各色彩の画素、Wr差異等について、空間 的メモリーに記録され、マッチングしない画素は、空間画像内の深度線ドットと して記録され、他の画像の画素は別個に、関連して等、記録され、 c.工程bに基づいて、装置及びデータWrによって、サ イズ、寸法、距離等を計算することができ、またこの装置及びデータは、プロセ ッサー間に仕事を分配し、時間内に3D画像を再生すること等を助け、 d.先の工程に基づいて、色彩、深度線、及び領域の輪郭、並びに隣接する、 及び/又は均一な運動を有する、近い等の領域、深度線のグループが検出され、 これらは、存在するデータにデータ表として加えられ、各枠における垂直線のサ イズが検出され、輪郭のサイズ及び角度を、保存されている基本形状とマッチン グすること等により、幾何学的線及び/又は幾何学的形状が検出され、検出/比 較を通して、直線、円、三角形、凹型、動かない、浮いている、生きている等の 、人工知能のための定義が導き出され、一方、測定、聴覚、味覚、嗅覚、触覚等 の、同定及び/又は周囲環境とのコミュニケーションを助ける外部補助用語が得 られ、 e.先の工程に基づいて、連続画像のデータが、座標をマッチングすることに より、装置によって比較され、及び/又は輪郭を両方の速度に見られる同一の静 止形状にマッチングすることにより、座標が連続データにマッチされ、よって、 ロボットがバランスをとるのを許容する撮影偏向角度が検出され、種々の輪郭に おける水平及び垂直線の運動/動作が検出され、変化、方向、角度等の程度が計 算され、所定間隔の速度で保存された変化のデータによって、座標をマッチング することによって、運動/動作の速度を計算することができ、 検出されたデータの一部は、様々な方法で保存することができ、速度の変化は、 次々に保存することができ、翻訳/解読及び拡大した後、何らかの方法による投 影/表示のための3Dデータとして、いつでも、どこでも、種々の方法で保存、 放送、転送等することができ、 f.先の工程に基づいて、装置によって集められたデータの一部又は全ては、 データごとに、その属性に従って、座標のマッチングにより、空間的メモリーに 保存することができ、特定の順序に配列された未同定の形状のデータは、キー要 素を構成し、また全て又は一部の装置によって、及び発生率によって、「真性」 表等、及び記録された画像/記録/データサイズ、角度及び距離に従って、画像 /記録/データを、「確実な」、「半々」、「妥当な」、及び「可能性のある」 に従って、キー要素に合わせて調節された同じ特別の順序に配置された、保存さ れている既知形状の画像/記録/データに対して、マッチング/検出/同定する ことができ、 g.検出の間、未同定の輪郭及びそのデータは、仮の名前で記録され、同定さ れた形状は、自分の名前で記録され、人工メモリーを、輪郭の名前の表示並びに 基本形状及びいくつかの同定データを伴う輪郭線の形式で、ロボットを操作する 周囲環境に追加することができ、これは時々ロボット及び/又はビジョンシステ ムによって更新される、立体コンピュータービジョンのため の方法。 5.請求の範囲第4項に記載のコンピュータービジョンのための方法であって、 前記一対及び/又はそれ以上のカメラは、単一のケース内に収容してもよく、 若しくは別個としてもよく、該カメラは、CCDカメラ等のビデオカメラに類似 するものであり、カメラが捕らえた映像から受理したデータを、デジタルデータ に変換するための複合手段を備えるカメラを含み、さらに、 a)種々の速度で、赤外線(IR)、可視光線等の様々な光で、且つ不十分な 光量等のいかなる照明条件でも、光増幅手段によって行う、カラー撮影のための 適合; b)望遠鏡又は顕微鏡手段を含む拡大又は縮小装置; c)直線的、凸型、又は凹型の、所望の解像度を含む光学的イメージ のうちの一つ以上を含む、請求の範囲第4項に記載のコンピュータービジョン のための方法。 6.請求の範囲第4項及び第5項に記載のコンピュータービジョンのための方法 であって、 データとして定義することができる、データについての、検出され、比較さ れ、及び/又はコンピューター処理され、定義され、導きだされ、見られた等の 情報(例えばコード表、サイズのコード、色彩、輪郭、幾何学的線、幾何学的 形状、定義、及び/又は通常の用語、及び/又は人工知能内等)を集め、保存す るための主な装置であって、保存されているデータのサイズ及び角度に対する、 サイズ及び角度のマッチングに従って、キー要素に従って座標及び分離をマッチ ングすることによって、寸法に関して、保存された形状を同定するために、場合 によって、データへのアクセスを許容する装置であって、該キー要素は、「確実 な」、「半々」、「妥当な」、及び「可能性のある」等の、予め確立された一つ 以上の階層的順序であり、内部にあっても、外部にあってもよく、前記装置は: a.カメラの画像/見た画像を受理するための入力メモリー; b.一つ又は二つのカメラ及び/又は3Dのためのデータのための空間的メモ リーであって、座標をマッチングすることによって、画像を保存する方法と統合 されたメモリーと、別のメモリーにおける、他のデータに加えて、別個に又は一 緒に、第二の画像について、エンコーディングの方法で、両方のカメラのデータ を含む、固定、拡大/縮小記録及びその他によって得られた全ての画像、データ 及び表は、定義された空間のある一部について、統合され、更新され、全てのパ ルスごとに調節され、画像及びデータは、水平及び垂直周辺座標で示された状態 で保存され、常に更新され; c.既知の保存されている形状のための表の形式のレジスターであって、定義 し得る及び/又は名前を与えられ る及び/又は別個に同定されるいかなる形状(例えば、スクリュードライバー、 指、壁、拝啓、サイン、現象、及びその他)かに隣接し、その上方にあり、接続 する等の画像、マップ、サイン(これらに関連するデータ及び表を含む)、デー タ、コード等を含み、キーエレメントに合わせて調整された特定の既知の順序で 登録され、寸法であるデータは、形状、その寸法、及び撮影角度のサイズによっ て、撮影/記録基準に合わせて調整され; d.種々の速度における運動を検出するためのレジスターであって、速度の変 化は、保存され、定義された既知の時間間隔に調節され、変化の程度、及び速度 及び撮影頻度の数に基づいて、運動のサイズ及び速度を計算することができ; e.ある速度におけるコード、データ、及び水平及び垂直寸法の全ての変化を 次々に保存するためのレジスターは、翻訳/解読、及び拡大した後に、別の時間 及び別の場所において、画像を再び表示/投影することを可能にし; f.妥当な時間内に定義及び検出できない基本形状の輪郭のためのレジスター であって、検出された輪郭と照らし合わせて、基本輪郭に対して、幾何学的形状 を検出することを可能にし、よってキーデータに対する補足として定義を導きだ し; g.必要に応じて、表を収集し及び取扱い、輪郭について のそのデータ、表、及び用語についてのそのデータ及び表、三角法による及び他 の定義、人工知能の基本用語等のエンコーディングを行なうためのメモリー、レ ジスター; h.ロボット、オーディオ装置、検知装置等の装置から受理した補助的データ のためのレジスター; i.コンピュータービジョン装置がその機能を果たすために、その装置の機能 のために必要とされる全ての操作を行なうための、コンピュータによる検出、比 較、取扱、及び同定のための容量を有するソフトウェアのためのレジスター; のうちの一つを含む、請求の範囲第4項及び第5項に記載のコンピュータービ ジョンのための方法。 7.請求の範囲第1項から第6項のいずれかに記載のコンピュータービジョンシ ステム及び方法であって、 コンピューター、コンピューター構成要素、構成要素、電子回路、プロセッ サー、コンピューター化されたデータ処理システム等のうち一つ以上が、前記手 段の一つ以上又はその組合せを構成し、前記手段は、必要なこと全てを行なうこ とができる能力を有する新規で互換性のある既知のソフトウェアプログラムであ り;撮影された画像から得られたデータをデジタルデータに変換するための前記 手段;色彩、コード、特徴、同一性を、見た点及び/又は隣接する点及び/又は カメラの画像中に形成された及び/又はい ずれかのレジスターに保存された輪郭に関して、通常の形式及び/又は人工知能 によって、マッチング、比較、検出、及び定義するための前記手段;コード、デ ータのための表、輪郭、用語、特徴、定義、計算、人工知能における基本用語等 のための表を作成及び検出するための前記手段;距離、寸法、座標、角度、速度 等の計算、比較、及び調節のための前記手段;所定時間間隔で運動/動作のタイ プを、運動検出するための前記手段;頻出及び/又は「真性」表の取扱のための 前記手段;キー要素のためのデータを収集するための前記手段;一定で、定義さ れた、既知の順序に従って、及び/又はキーに従って、レジスターを比較し、マ ッチングするための前記手段、種々の形式の上方を保存するための前記手段;デ ータを受理し、転送し、引出すための前記手段;前記手段は、入力、データ、保 護、前記手段、システム、方法等を含む、請求の範囲第1項から第6項のいずれ かに記載のコンピュータービジョンシステム及び方法。 8.請求の範囲第1項から第7項のいずれかに記載のコンピュータービジョンシ ステム及び方法であって、 よく知られており、ありふれた、計算、データ、特徴、通常の定義、及び結 論、及び/又は人工知能のための基本用語を含む、同定の前、途中、及び後に集 められた入力及び保存情報であって、領域、形状等に関して集められた情報は、 即時に、又は短い時間の後に、データ情報、スピー チ、画像等の形式で、通常の態様及び/又は3D及び/又はマルチメディアの形 式の立体によって、転送され、システムは、適当なインターフェース手段によっ て、ロボット、装置、盲人等のユーザーに、要求により及び/又は自動的に保存 し及び/又は提供し、及び/又はアクセス可能である、請求の範囲第1項から第 7項のいずれかに記載のコンピュータービジョンシステム及び方法。 9.上記請求の範囲又は添付図面に、詳細に、描写し、言及し、説明し、図示し 、表示し、又は暗示した、本明細書に記載した新規な事項、又はその組合せを本 質的に含むコンピュータービジョンシステム及び方法。 【図1】【図2】【図3】【図4】 [Procedure for Amendment] Article 184-4, Paragraph 4 of the Patent Act [Submission date] July 2, 1997 (1997.7.2) [Correction contents]                                The scope of the claims 1. A stereoscopic computer vision system, comprising:   a. A pair of identical, aligned, and co-located cameras at a fixed distance M The camera has a shooting angle and an enlargement / reduction arranged on a coordinate axis. For a shadow camera, at a fixed distance M at any shooting distance, from (0: 0) Match the field of view and coordinates of the same site line in both cameras until (Y: X) And form an aligned, optically parallel field of view, the image of the camera Received by the input memory device in the computer, translated into computer language,   b. Based on step A, the pixels of the received image may be captured at the shooting speed and / or At other speeds, by available means, according to coordinates and space counters, Matches each of the previous images in the system's spatial memory registry If there is no match, update the system and enter the two Advance image matching,   c. On the basis of steps A and B, an unidentified area, that is, a certain movement is performed, For an area that is viewed simultaneously by two cameras, the system will determine the type of image, such as color. The camera searches for various features and captures them from the start of the line to its matching point. Based on the difference in the number of pixels Then, the distance and size of the point in space represented by the pixel are calculated, and And calculate the area size, distance, etc.   d. Based on the steps B and C, the points of the unidentified area and the registered images are mapped. When changing the distance between the camera and the surrounding environment and the distance between the two cameras, Therefore, there are points around the area that do not match, and these depth dots are Create contour lines and / or parting lines in addition to distances approximately equal to For regions, changes in color or darkness between regions and / or changes in region motion / motion The frame or outline of each region is detected and defined by available means. And can   e. Calculation, matching, definition setting, conclusion, depending on the available means One camera to collect additional data that allows the derivation of The video received from the camera is filtered by a color filter and copied for a certain period of time. Enters the motion identification register of the remote and is inspected at regular time intervals. Then, the frame or outline of the detected area is set to the reference shape register and size. And the data from this register allows, for example, It is possible to calculate the size and the movement / movement speed within a given time, additional data Data, part of the data entered, and part of the data previously calculated / detected For example Matching against registers in tables such as "intrinsic" is possible, for example, Object, vibrating object, moving object, for example, The size has changed from one size to another, and within the envelope and / or For other key elements, such as whether movement and / or movement is taking place in the area, Set definitions, draw conclusions,   f. Derived from ordered data, features, definitions, and conclusions By the key element, the register of the registered shape is provided. The area can be detected, matched and identified by the means   g. Unidentified regions are stored under a temporary name, and identified regions are identified as envelopes and / or Location, position and / or motion and / or motion within the shape In order to always track and monitor such changes, the first Refer to the coordinate data when scanning the dots and additional dots, and 3D computer vision system stored under the name of the identification area itself. 2. The computer vision system according to claim 1, wherein The pair and / or more cameras may be housed in a single case, May be separate and the camera is similar to a video camera such as a CCD camera. Digitally converts the data received from the video captured by the camera into digital data. Including a camera with a composite means for converting to   a) at various speeds, with various lights such as infrared (IR), visible light, etc. and insufficient Under any lighting conditions, such as light intensity, the light amplification means Fit;   b) a magnification or reduction device including telescope or microscope means;   c) linear, convex or concave optical image with the desired resolution   The computer vision of claim 1, comprising one or more of the following. system. 3. A computer vision system according to claim 1 or claim 2. What     Detected and / or calculated data, features, definitions, derived The main means of collecting said and / or seen things are absolute, half- And possibly, arranged in the order of one or more hierarchies preset, internal or According to the classification of the external key element, and possibly by said means, Data access immediately, and these   a. Input memory for receiving captured / observed images;   b. Collect all images received by scaling / fixing and / or other shooting Spatial memory for one camera or two cameras for 3D display What The image is stored as a contour image expressed as horizontal and vertical edge coordinates. Updated, constantly updated, spatial memory;   c. A registry in the form of a table for known stored shapes, , Defined and / or given a name and / or separately identified (e.g., Objects, plants, organisms, backgrounds, signs, phenomena, etc.), stored in a special order, known, Images, maps, adjacent above each shape, which can be adjusted for key elements Images and maps, including signatures and / or text data, may be Registry based on shooting distance and shooting distance;   d. One of the images obtained after applying the color filter, movement, movement, and Check at equal time intervals for detection and calculation of speed, etc. Motion detection register;   e. Register known geometric shapes such as squares, steps, etc., preferably in black and white Basic shape register to do;   f. 1. Register for color separation; 2. Preserve the outline of the area and the area before identification. 2. register to live; A register for a table such as an "intrinsic" table, One set of data, definitions, and definitions for conclusions, to draw conclusions 3. The register in which the next table is placed next to or inside the above table; Recurring shape 4. Data table registers for: For key element A database containing:   g. Registers for accessory data: 1. Space counter, con 1. Internal from path etc .; For example, from a camera for enlargement / reduction, for example External things such as those from the user such as exercise speed; additional accessory data;   3. A computer as claimed in claim 1 and claim 2 comprising one or more of the following. -Vision system. 4. The computer vision system according to claim 1, wherein: Thus, the data can be defined as data, According to the requirements and the desired speed and computer language (digital) From images, from calculations, detection, characterization, from definitions and conclusions, From external elements such as printers, speedometers, and / or System accessories such as compass, telescope, distance meter (hereinafter referred to as auxiliary means) And the following or a combination of the following:   a. The direction of the region, or the shape or portion of the region, or the shape (eg, north, south, east, West, up, down, forward, backward, right, left) and coordinate system, or camera, or Area or shape measurements (eg, distance, width, height, depth, size, ratio, and Angle), color (e.g., color percentage level, color variance, , Pot), frame (contour), motion, movement, speed, position, and angle (eg, area, shape) , Depending on the camera);   b. Heat, radiation, voice, smell, and taste characteristics, phenomena, attributes, and detection;   c. Definitions and conclusions (eg temporary names, squares, stairs, objects, cars, Living things, fire, water flow, creatures, quadruped, growth, private riding Right side of the object, change of time);   The computer vision according to any one of claims 1 to 3, wherein System. 5. The computer vision system according to claim 4, wherein:     In unidentified shapes, and / or entire regions / shapes, and / or in envelopes And / or the form in which some movement (eg, movement, movement) occurs Regions, features, and definitions related to shapes and shapes that are visible or partially visible in the image And means for the identification and calculation of said data of conclusions, all of which Unit, its combination is combined with the key element data to operate the system, and The size, distance, scaling, and shooting angle of the shape being viewed Software program to match according to shape size, distance and shooting angle Ram, e-circle, and rules, and multimedia for transfer and 3D display Executed by software programs in the form of media The computer vision system according to claim 4. 6. A computer vision system according to claim 4 or claim 5. What     The data, features, definitions, and conclusions are based on the means and methods for comparison and matching. Registering all or part of the data, depending on the Data / memory and according to one or more predetermined hierarchical order classifications Therefore, the identification of absolute, half, or potential by key elements Performed by the key elements, possibly in advance or from previous pictures For information on known areas, shapes or partial data that are Claims 4 and 5 that can identify a shape or a part thereof. Computer vision system. 7. The computer vision system according to claim 1, wherein: What     Computer, computer component, component, electronic circle, professional One or more of a processor, a computer-based data processing system, etc. Constitute one or more of the steps or a combination thereof; said means are known, new, and compatible. A software program; data obtained from captured images is Said hand to convert to data Step; color identity for the same viewpoint and / or points formed in the captured image Means for matching and definition; distance and distance for identification of features, definitions, and conclusions Means for calculating size and dimensions; size matching and shooting angle match Means for detecting the movement at predetermined time intervals for the form of movement and movement Means for handling "intrinsic" tables; handling recurring shapes Said means for collecting data for key construction; comparison and mapping. Said means for switching; said means for storing various forms of information; Said means for receiving, transferring and withdrawing data; said means comprising power, data protection, 7. A system as claimed in claim 1, including protection of said means, systems and the like. Pewter vision system. 8. A computer vision system according to any one of claims 1 to 7. The stem,     Including calculations, known data, features, and definitions collected for regions, shapes, etc. Accepted and compromised information collected before, during, and after identification may be After a short time, in the form of information, in the usual way and / or in the form of multimedia Transported in a stereoscopic manner and / or in a 3D format, the system may By face means, to users such as robots, devices, blind people, etc. on demand Claims that are automatically stored and / or provided and / or accessible Any of paragraphs 1 to 7 above Computer vision system. 9. A stereoscopic computer vision method, comprising:   a. A pair of identical, aligned, and co-located cameras at a fixed distance M The camera has a shooting angle and an enlargement / reduction arranged on a coordinate axis. For a shadow camera, at a fixed distance M at any shooting distance, from (0: 0) Match the field of view and coordinates of the same site line in both cameras until (Y: X) And form an aligned, optically parallel field of view, the image of the camera Received by the input memory device in the computer, translated into computer language,   b. Based on step A, the pixels of the received image may be captured at the shooting speed and / or At other speeds, by available means, according to coordinates and space counters, Matches each of the previous images in the system's spatial memory registry If there is no match, update the system and enter the two Advance image matching,   c. On the basis of steps A and B, an unidentified area, that is, a certain movement is performed, For an area that is viewed simultaneously by two cameras, the system uses color and other image types. The camera searches for various features and captures them from the start of the line to its matching point. Based on the difference in the number of pixels of each image obtained, the distance of the point in space represented by the pixels Release and Calculate the size, based on which you can calculate the size of the area, distance, etc. ,   d. Based on the steps B and C, the points of the unidentified area and the registered images are mapped. When changing the distance between the camera and the surrounding environment and the distance between the two cameras, Therefore, there are points around the area that do not match, and these depth dots are Create contour lines and / or parting lines in addition to distances approximately equal to For regions, changes in color or darkness between regions and / or changes in region motion / motion The frame or outline of each region is detected and defined by available means. And can   e. Calculation, matching, definition setting, conclusion, depending on the available means One camera to collect additional data that allows the derivation of The video received from the camera is filtered by a color filter and copied for a certain period of time. Enters the motion identification register of the remote and is inspected at regular time intervals. Then, the frame or outline of the detected area is set to the reference shape register and size. And the data from this register allows, for example, It is possible to calculate the size and the movement / movement speed within a given time, additional data Data, part of the data entered, and part of the data previously calculated / detected Can be matched against table registers such as "intrinsic" For example, a stationary object, a vibrating object, or a moving object For example, if the size of the area has changed from one size to another, And other movements and / or movements within the envelope and / or region. For key elements, set definitions, draw conclusions,   f. Derived from ordered data, features, definitions, and conclusions By the key element, the register of the registered shape is provided. The area can be detected, matched and identified by the means   g. Unidentified regions are stored under a temporary name, and identified regions are identified as envelopes and / or Location, position and / or motion and / or motion within the shape In order to always track and monitor such changes, the first Refer to the coordinate data when scanning the dots and additional dots, and 3D computer vision method, saved under the name of the identification area itself. Ten. The computer vision system according to claim 9, wherein the computer vision system The pair and / or more cameras may be housed in a single case, May be separate and the camera is similar to a video camera such as a CCD camera. And the data received from the video captured by the camera. A camera with a combined means for converting the data into digital data, ,   a) at various speeds, with various lights such as infrared (IR), visible light, etc. and insufficient Under any lighting conditions, such as light intensity, the light amplification means Fit;   b) a magnification or reduction device including telescope or microscope means;   c) linear, convex or concave optical image with the desired resolution   10. The computer vision of claim 9, comprising one or more of the following. Method. 11. A computer vision method according to claims 9 and 10. hand,     Detected and / or calculated data, features, definitions, derived The main means of collecting said and / or seen things are absolute, half- And possibly, arranged in the order of one or more hierarchies preset, internal or According to the classification of the external key element, and possibly by said means, Data access immediately, and these   a. Input memory for receiving captured / observed images;   b. Collect all images received by scaling / fixing and / or other shooting Spatial memory for one camera or two cameras for 3D display Thus, the image is represented as horizontal and vertical peripheral coordinates. Spatial memory, stored as a contour image and updated constantly;   c. A registry in the form of a table for known stored shapes, , Defined and / or given a name and / or separately identified (e.g., Objects, plants, organisms, backgrounds, signs, phenomena, etc.), stored in a special order, known, Images, maps, adjacent above each shape, which can be adjusted for key elements Images and maps, including signatures and / or text data, may be Registry based on shooting distance and shooting distance;   d. One of the images obtained after applying the color filter, movement, movement, and Check at equal time intervals for detection and calculation of speed, etc. Motion detection register;   e. Register known geometric shapes such as squares, steps, etc., preferably in black and white Basic shape register to do;   f. 1. Register for color separation; 2. Preserve the outline of the area and the area before identification. 2. register to live; A register for a table such as an "intrinsic" table, One set of data, definitions, and definitions for conclusions, to draw conclusions 3. The register in which the next table is placed next to or inside the above table; Recurring shape 4. Data table registers for: Register for key element; Database   g. Registers for accessory data: 1. Space counter, con 1. Internal from path etc .; For example, from a camera for enlargement / reduction, for example External things such as those from the user such as exercise speed; additional accessory data;   A computer as claimed in claim 9 or claim 10, comprising one or more of the following: Tarvision method. 12. A computer vision method according to claim 9 or claim 10. The data can be defined as data; According to the requirements of the vision and the desired speed and computer language (digital) From images, from calculations, detection, characterization, from definitions and conclusions, space counters From external elements such as printers, speedometers, and / or Accessories for systems such as a pass, a telescope, and a distance meter (hereinafter referred to as auxiliary means) And the following or a combination of the following:   a. The direction of the region, or the shape or portion of the region, or the shape (eg, north, south, east, West, up, down, forward, backward, right, left) and coordinate system, or camera, or Area or shape measurements (eg, distance, width, height, depth, size, ratio, and Angle), color (e.g., color percentage level, color variance, Spot, spot), frame (contour), motion, motion, speed, position, And angle (eg, depending on area, shape, camera);   b. Heat, radiation, voice, smell, and taste characteristics, phenomena, attributes, and detection;   c. Definitions and conclusions (eg temporary names, squares, stairs, objects, cars, Living things, fire, water flow, creatures, quadruped, growth, private riding Right side of the object, change of time);   The computer business according to any one of claims 9 to 10, which is one of the following: Option. 13. A computer vision method according to claim 12, wherein:     In unidentified shapes, and / or entire regions / shapes, and / or in envelopes And / or the form in which some movement (eg, movement, movement) occurs Regions, features, and definitions related to shapes and shapes that are visible or partially visible in the image And means for the identification and calculation of said data of conclusions, all of which Unit, its combination is combined with the key element data to operate the system, and The size, distance, scaling, and shooting angle of the shape being viewed Software program to match according to shape size, distance and shooting angle Ram, e-circle, and rules, and multimedia for transfer and 3D display Claim 12 when executed by a software program in the form of a media Computer vision method according to. 14. The computer vision method according to claim 12 or claim 13. What     The data, features, definitions, and conclusions are based on the means and methods for comparison and matching. Registering all or part of the data, depending on the Data / memory and according to one or more predetermined hierarchical order classifications Therefore, the identification of absolute, half, or potential by key elements Performed by the key elements, possibly in advance or from previous pictures For information on known areas, shapes or partial data that are Claims 12 and 13 wherein the shape, or a part thereof, can be identified. Computer vision method according to. 15. The computer vision method according to claim 9, wherein: hand,     Computer, computer component, component, electronic circle, professional One or more of a processor, a computer-based data processing system, etc. Constitute one or more of the steps or a combination thereof; said means are known, new, and compatible. A software program; data obtained from captured images is Said means for converting to the same viewpoint and / or formed in the captured image. Means for matching and defining color identity for the identified points; Said means for calculating distances and dimensions for identification of features, definitions and conclusions; Means for size matching and matching of shooting angle; form of motion and movement Said means for detecting movements at predetermined time intervals; handling "intrinsic" tables Means for handling recurring shapes; for key construction Said means for collecting data; said means for comparison and matching; Said means for storing information in a form; for receiving, transferring and withdrawing data Said means; said means include power, data protection, protection of said means, systems, etc. A computer vision method according to any one of claims 9 to 14. 16. Computer vision according to any one of claims 9 to 15 The method     Including calculations, known data, features, and definitions collected for regions, shapes, etc. Accepted and stored information collected before, during, and after identification may be immediate or After a short time, in the form of information, in the usual way and / or stereoscopically, the multimedia Transported in media format and / or in 3D format, the system is By face means, to users such as robots, devices, blind people, etc. on demand Claims that are automatically protected and / or provided and / or accessible Item 16. The computer vision method according to any one of Items 9 to 15. 17. Detailed description, reference, description and illustration in the appended claims or accompanying drawings New, implied, stated, or implied herein, or combinations thereof. Computer vision systems and methods, including qualitatively. [Procedure of Amendment] Article 184-8, Paragraph 1 of the Patent Act [Submission date] February 6, 1998 (1998.2.6) [Correction contents]                                  Specification                 Computer stereo vision system and methodField of the invention   The invention is generally viewed in real time by means of a camera, computer, etc. Computer vision and identification, especially with two or more “stereo” cameras Related to D Computer Vision.Background of the Invention   The demand for computer vision is growing in all areas, such as research, astronomy, and robotics. Engineering, industry, agriculture, manufacturing, service, driving, security, assisting blind people, detecting phenomena, etc. It is a daily necessity for solving problems in and for actual use by humans. Today, as both internal and external computer memory capacity grows, The physical dimensions of pewter components are gradually decreasing, and various There are high speed processors. So if you see everything in real time System and method for computer vision that can be uniquely identified If it can be done, everything will be easier and simpler.current situation   Today's computer business using one or two cameras The focus is on individual, defined, known, and primarily static visions of the subject. And their identification is redundant, relatively (image-to-image), partial and focused Was not analyzed and identified at the shooting speed. Also requires many devices such as sensors, lighting, measuring gauges, etc. Is inefficient and does not give a satisfactory solution.Purpose of the invention   It is an object of the present invention to provide a camera connected to a computer, dimensions, movements and other perceptions. Simultaneous and simultaneous capture of all visible shapes by means of computing Providing a system and method that allows analysis and identification at shadow speed It is in.   In addition, the object of the present invention is to provide all automated devices (robots, tools, All tangible objects and phenomena by means of various appropriate visions. It allows you to see in the same way that people can see and identify, Automated devices such as those that communicate in language, Teaches the basic terms of artificial intelligence necessary to communicate with the surrounding environment The movements, tasks and tasks performed by almost everyone, more accurately, efficiently, faster, Good, anywhere, physically difficult to access, dangerous, inaccessible, boring Also to do.   Furthermore, an object of the present invention is to store a real-time 3D image. Enabling broadcast and / or transmission over normal data transfer lines, Thereby, decoding software programs and / or multimedia A, glasses designed for 3-D vision, projection, display, and magnification and / or Special devices allow people to "see" images from a distance It is to be.   It is an object of the present invention to provide equipment, systems, Using circuits and electronic components, basic software, etc. It is to make it possible to configure. And their combination, combination and addition Create and / or extend the device in accordance with the present invention, including its ability to adapt to the environment, by extension, etc. Or can be assembled. Average electronic engineer, computer engineer Near, system analyzers, etc. design, assemble and configure the device in accordance with the present invention. Can be   One of the advantages of the present invention is its simplicity that it can be used with minimal restrictions. The present inventiononlyCan achieve all of the above objects.The present invention   The present invention relates to an innovative system and method for stereoscopic computer vision. Become. 1. Overall, a description of the software that does not form part of the process of the present invention All materials are presented as samples only. Its purpose is to Data vision , And does not reduce the essence of the present invention. 2. Computer vision must be forwarded to serving customers Depending on the data, different types, models and sizes (for example, large, small, medium, Philips, etc.) computer vision systems exist. The explanations given are general, but the basic operating principle in all of them is Are the same. 3. Computer vision is a means of providing "seeing" services. That The assignment looks at sections in space and gathers data, definitions, and terminology for them. And saves the image of the field of view and / or converts the viewed image into code and data, Decrypt as needed, store whatever you need in a register, Transfer of the subject or related data Save 3D data and multimedia by saving at the shooting speed be able to.     If necessary, all should be 3 for the purpose of the computer vision system. -D format or "multimedia" (shape, location, position, size, color of the viewed object , Including data on distance, etc.). 4. Regarding scanning and processing, the two systems and methods are different, but the principle Are identical.     In the image storage system and method, the comparison image is empty. Must be an intermittent image, color, Wr (between two cameras for the same dot) , Etc.), a part of the collected data indicates each dot. The camera image is Scan of the camera image relative to the aerial image, updated by the photo in coordinates Is related to the correlation and depends on the location of the spatial image coordinates compared to the camera image I do.     In this way, the pixel of one camera is adjusted by the device and the coordinates By doing so, in the usual manner, at the shooting speed and / or other speeds, Adjusted for the pixels of the previous image stored in the register All will continue as long as there is a relationship. New movements in the images registered in the video and And / or the shape results in a loss of correspondence and updates, so that the two camera pixels , Pixel to pixel. Data of the same pixel is for each color pixel, Wr difference, etc. Is recorded in the spatial memory. Supports images stored in spatial memory Irrelevant dots are registered as depth lines in the spatial image and the dots in the second image Are subsequently registered separately and matching against spatial memory starts again Is done.     The same applies to the subsequent processing. Continue according to the same principles of detection and comparison of loaded data. But Scanny This is done in different ways to suit the manner of data and data collection. 5. The data collection process is performed in two ways: Wr, coordinate matching, In order to detect movement, correspondence, identification, etc., Comparing the dots of one image with the dots of another image of the same speed and / or Comparing the data with one of the data of two consecutive images; all Eg, frames, geometric lines, geometric shapes based on the data and / or parts thereof Collection / detection of data from data present in the same image, such as shape (frame). Next processing, For artificial intelligence, matching and identification keys, and communication, conclusions, Definitions are derived. 6. If necessary, use part of the Vision Phase for data transfer Can be. For example, in 3D broadcasting, each type of data is represented by an angular momentum. Divide and reduce data structure and transfer bandwidth range and / or the like. Can be. In other places, the code and its data can be To get a 3D image that can be translated / decoded, displayed, projected and enlarged Can be. 7. Computer vision is expected to serve customers, Its working space is usually limited because it is assumed to perform certain operations. Follow Computer vision systems tailored to such customers Must provide the data needed to satisfy the task. 8. The computer vision and / or (preferably) the robot System, customer measurement, hearing, touch (heat, intensity, pressure, wind blowing, etc.), taste, smell Sense, radiation, etc. Additional external assistance may be used, such It may be outside of. Indispensable between customer computer vision and assistance Relationships, compatibility, references, considations, reciprocity, data transfer as appropriate There may be transmissions and the like. 9. The system provides data etc. to the robot and its own and / or robot Can be combined with a separate computing device. Ten. During data collection, basic terms in artificial intelligence are detected. For these basics Words are interpreted by a decoding system and a robot computer to decode images, phenomena, etc. Communication with the environment in which the robot is operated, such as other robots and / or humans It is intended to assist you in conducting a session.List of drawings   FIG. 1 shows a preferred embodiment comprising a possible connection according to the invention with two processors 1 is a schematic column diagram type sketch of a system.   FIG. 2 shows the comparison processing of the data received from the camera and the detected data. Of a preferred system for transferring encoded data to memory It is a low chart.   FIG. 3 shows a plurality of central viewing axes, fields of view of the system shown in FIG. FIG. 2 is a horizontal cross-sectional view schematically illustrating a line and a visual image.   FIG. A / 3 (× 4 magnification) is a parallel visual image of FIG.   FIG. 4 illustrates different distances and different sizes (of the system described in FIG. 1). FIG. 5) is a horizontal cross-sectional view schematically showing the field of view and the shape seen.   FIG. A / 4 (× 4 magnification) shows the system described in FIG. 1 in the shape seen in FIG. 2 shows a view viewed simultaneously by both left and right cameras.Shooting and camera 1. A pair of identical cameras 4 (FIG. 1) are aligned and photographed, including variable and scaling. Turtles whose angles are located on coordinate axes and coexist on a common plane (hereinafter referred to as the horizontal plane) Form an optical parallel field of view (FIG. 3). In other words, each site line The distance to the field is always the same for both cameras from (0: 0) to (Y: X). At a fixed divergence angle distance M (FIG. 3 and A / 3) at all shooting distances is there. The vertical movement of the camera (perpendicular to the horizontal plane) is constant and identical.   The picture taken by the camera is a camera or other equipment 5 (FIG. 1) In the form of digital data translated by the shooting speed (and / or other) Therefore, it is accepted by the input memories P-0 and P-1 (FIG. 1). Alignment, manufacturing, in Stalls and / or objects on any other occasion (preferably by robot) Do it logically. 2. The two or more cameras in one enclosure or separate packaging It is similar to a video camera such as a CD camera. Digital data Including a camera with integrated means for converting to one or more of the following: Including:   a) Various speeds and any light such as IR, visible light, etc., by means such as light amplification Color in any of the lighting conditions, such as, and insufficient Fit for shooting;   b) Enlarging or reducing device including telephoto or microscopic means   c) Optical images containing the desired resolution, linear, concave or convex (FIGS. 3 and A / 3 ).Calculation of distance and dimensions 1. Data, which is the difference between the positions of the corresponding dots in the two camera images on the X axis On the basis of the data Wr and the parallel divergence angle fixed data M [flat at all shooting distances]. Pixel display size can be calculated based on the fixed distance between row lines (FIG. 3). OK: Q = M / Wr 2. The calculation of the distance L between the camera and any dot is calculated for all viewing systems. For the stem, the two cameras must be the same [camera angles must be the same. (In normal conditions, horizontal α0, Vertical β0)], Physical size (optical image 1) Width), fixed resolution of optical image X: Y, Z enlargement / reduction, M and Wr, and And constants: K0, K1, K2, and K3.   Basic formula     (Αp) Angle to one pixel, (U) circle of pixel (optical image) Perimeter, (Qm) matching surface1Size of pixel display in (Qd) shape A And the size of the pixel Xd at d.   1. αp= Α0/ (X * Z)   2. U = Z (X * 360 / α0)   3. Qm = 2M   4. Qd = d / Xd   Distance calculation formula   r0-(Distance) from the radius of the circle to the optical image   r-radius to any point   L—distance from optical image to any point   La—distance to identified shape A (indirect calculation) 1The coincident plane is defined as the two cameras where the parallel matching dots are the same on the X axis. Refers to the distance when in position.   If Wr = 0, then Q = 2M (the computer knows) and the distance calculation is L = Z (KThree* M-K1). 3. By calculating the size of the dot display, the size, length, width, height, surface area, etc. Can be calculated. 4. The order of dots within any frame and / or between adjacent frames, and the X and Y axes The angle can be detected based on the rate of change of the dot position between. Also, geometric lines and shapes, such as straight lines, have a certain periodicity in X and Y changes. , Its signature does not change. The rate of change of the angle of the line is the (tangent / Event) to determine the angle, for example, at each stage of the cycle, the dot is [(+ −1) ) Fixed sign], the angle is -45 °, etc. 5. The calculation of the movement speed V is F (photographing frequency) and T [T is one time duration (Fig. Yes, and that period exists in the computer. ]. 6. Wr also helps to reproduce 3D images in time. 7. Flowchart 101 (FIG. 2) includes factor U (the With the number 5 I chose to be registered next to This is the theoretical rate of change with respect to the change between points (1.25 in the chart).Samples of the system according to the invention and the preferred method of operation   All samples, video clips, flowcharts, etc. are only examples, Whatever the best, errors, inaccuracies, corrections and adjustments to the situation (Like type, translation, etc.). In the process, each processor Performs a given operation, which is an example of these stages, and the processing speed (processor ー), and some changes are made depending on the order of the process steps. It should be emphasized that this is acceptable.Image input process 1. Any received from any camera and translated into computer language (Including color images) are designated as one of the memories P0; P1 (FIG. 1). At line 0, once at line 0, once at line 1, etc. (saving space). Rye Is adjusted to the length of X at the camera resolution. 2. Each code table is given general data, such as a header, some of which are Received from the bot computer, another part of which is It was received from the computer. For example, in a camera, Z-enlarge / reduce, C -The inclination angle of the axis with respect to the horizontal And controlling the camera). Optical image of each image Transfer all four angles (resolution) of the frame dots to the robot's motion coordinates and camera Can be matched. In other words, the basis for subsequent coordinate matching and updating Means that there is data defining its position in space. same Thus, the number of beats t (flow chart (FIG. 2)) is included in the system data. You. 3. In the flowchart (FIG. 2), the PCU-1 (FIG. 1) processor The comparison of the data received from the camera (for example, the pixel a (FIG. 2) with respect to the pixel b) is performed. No, among them, find new data that can be deleted from camera data And register it in the matching table for the code: Q1; Q2; Q3. this Each code is a number in a 4-bit large byte (registered next to it) . The codes are arranged according to their appearance on the Y vertical axis and the X horizontal axis (camera B). Code data in matching tables in the same order and / or other normal order. Be placed.     The PCU-1 processor can be used at any time on the free line to match the shooting speed. Process P-0; P-1 at a rate adjusted accordingly, -0: Insert into PP-1 (FIG. 1) at another position for each imaging cycle.   a. In the flowchart (FIG. 2), square 1— “start” , Square 2- "Read Ya, Yb (read Ya, Yb)", parallelogram 3- " go back. "   b. Circle [101 (FIG. 2)] is the first identical domain in the two camera data. Detect the unit.   c. The circle [102 (FIG. 2)] has a code Q2-color, Q3-region, and Find related data.   Q2: p; Wr; (Y: Xcn); f; (Y: Xx)   Q3: Wr; (Y: Xn); q; u; (Y: Xx)   Where: p is color, Wr is the difference for the same dot in the two cameras, (N, cn) indicates the minimum dot, and (x) indicates the color / line depth / surface. Display the maximum dot, f is the number of dots of the same color, q is the number of dots in one area , U is the number of colors in the area, and (Yn (cn): X); (Y: Xx) is the minimum And the maximum dot.   d. The circle [103 (FIG. 2)] is represented on the X axis by the code Q1-depth line and its associated Data to be detected: When (Y: Xn) is the minimum point, Q1: (p); ( Y: Xn); f (−; +); (Y: Xx), f (−; +) dot on X axis (Negative: Xa camera A, positive: Xb camera B, 3D data), minus sign is " Away ”and the plus sign“ close ”[in artificial intelligence Basic terms], Y: Xx-maximum point (depth lines are drawn because there is no space in the chart Not).   e. The circle [104 (FIG. 2)] indicates the correspondence between the processor and the camera.   f. The circle [105 (FIG. 2)] is used to further process the data. Distribution to various memories for the sake of illustration. 4. All or part of the data of each speed, for example: Q2: (Wr); p; f, Q1: ( p); f (+-) (and shooting pulse) are, for example, television channels, 3D broadcasts, etc. Each data and composition is specified by the code specified to be transmitted / broadcast by By changing the angle of the option and saving the transfer band. In another place Indicates that the transfer has been accepted, separated, translated, and Multiply this by several times, and apply the same to each vertical axis (horizontal axis) Y You can go back the number of times. Therefore, the image can be projected as a 3D image by another method in time. Shadow and / or display.     Similarly, store these data and project them at some other time or place / Can be displayed.Sample of frame point detection method 1. The processor PCU-2 (FIG. 1) includes one of the memories PP0 and PP1. After detecting the data found, this data is complete. Processor P The role of CU-2 is based on encoding and existing encoding data. Frame dots, depth lines, and areas for each color in a fixed order, That is, the headers for the data and the frame dot positions are recorded one after another. Ahead You can find the minimum point, the number of points, and the maximum point on the X-axis from the These data are not available. Therefore, the possible points during the detection of contour points In these data Must be displayed.     The possible contour points are:   1) Yx, f, Xx 2) Yx, f, X   3) Yx, f, Xn (cn), f (q)   4) Y, Xn (cn), f (q)   5) Y, Xx 6) Yn (cn), X   7) Yn (cn), Xx   8) Yn (cn), Xn (cn), f (q) 2. Scanning from left to right, top to bottom, contour identification direction counterclockwise , The processor passes colors, depth lines, and regions through the code table. To the area, in the order of location, or in a form and / or other way. First encountered All codes are processed and the same color, same code and / or adjacent code loop in the image Guo is detected. Then, the provisional header and name of the code (AAn; ABn; ACn). For example, the color is AAn; p; Wr; S, and the depth line is ABn. S, the region is ACn; Wr; S. Each header must be at or within the depth line Regarding the area to be viewed, all the adjacent data including the X-axis and Y-axis data f (− +) There is a column for registering contour dots one after another up to the start point (closed contour). I do. The end point (closure of the contour) is determined by the polar axis [(0: 0) (Y: X)]. In principle, each dot registration identifies adjacent dots It is done after doing. 3. Whenever X is minimal (n; cn), the contour The number f (q) of dots is copied / registered next to it, up to the maximum value on that axis Is done. Whenever Y is the maximum (x), for the same contour, The number is next to the maximum value on that axis (if Y for that X is the smallest, Are registered simultaneously or late). 4. When scanning more lines and / or scanning other lines Must be processed to prevent the same code from being processed twice. Whenever necessary (use identification codes for processing) To prevent this, the code is turned into a continuous code (as a loop), and thus (> > = Change to):     In this way, several processors operate simultaneously on the same database can do. Each processor does its job, and when it's done, Processor continues, etc. Therefore, by the processing according to the size of Wr, two Processors perform processing simultaneously, one from the larger and the other from the smaller. I can. 5. When performing scanning to detect contours for colors, Do not detect adjacent dots of the same color in the code or sequential code database. I have to. Scan line to detect contours for depth lines or regions When performing dot printing, adjacent dots of the same code or continuous code are detected. There must be. 6. When the dot is Xn (cn), the number f (q) of dots on the X axis is represented by S [ S is the total number of dots in the contour, S = S + f (q)], and the code is It changes according to the list of codes and their sequential codes.Contour definition rules 1. Scan the codes according to the previous section and find the data for each code. It is copied to the tentative position DDD. The Xx data of the code is the starting dot of the contour. This data is also the Yx of the contour. Dots are recorded and (no. 1) Is done. The data f of Y is lost and will be completed later. Later, each point in f (q) Pass (obviously), so the dots register one after the other up to the minimum point Xn (cn) [In the first line it is (no. 2)]. Data is copied from DDD And (no. 3). Y is marked, leaving space for that f Then, f (q) on the X axis is added to S [see (c)].     In linear motion (horizontal, vertical), one of the axes (Y: X) remains constant (stationary). And the other proceeds with step (1) with a constant (+ ;-). Detection of adjacent dots Is performed to the right of the axis of motion (at a 90 degree angle) as follows: The axis, which has been stopped and stopped, goes down a straight line by step (1). The dot in the place Move forward until it no longer belongs to the contour (see also a, c, e, g). This point (ring From outside the gull), and thus (see continuations in b, d, fh).     Diagonal movement [adjacent points have the following possibilities: 1) 135 °, 2) 225 °, 3) 315 °, 4) 45 °], the two axes (Y: X) are Step (1) advances each time. Neighboring points on the right side of the direction of motion Points that are further down the diagonal no longer belong to that contour Until then, there is one (45 ° angle) and the other (90 ° angle) [hereinafter, ( i, k, m, o)]. From this point (outside the outline), [(j, l, n, p) reference], For each question mark (?),Where possible and necessary Data must be registered (for that dot and / or the previous dot) ) (> Go to, n = no, y = yes). 2. In the return movement on the line (in the case of a diagonal line, the contour The question must be adjusted, taking into account the record of the On the other hand, once registered backward, twice, code change, the dot of the total (S) Necessary operations regarding addition, minimum value, maximum value, etc. are performed according to the above rules. 3. During scanning, while detecting contours for depth lines or regions, or The code is queried one after another so as not to get out of the line (basically, Xn ( For the movement on cn), the dot on the scanning code, the movement on Xx For dots on continuous codes) and possibly both. 4. The contour of the region may be within or adjacent to the contour of the depth line or at two depths. After detecting the depth line, found between or adjacent to the contours of the stitches, the contour Detect dot table (Internal and external). 5. If it is on a continuous code during contour detection, the next dot will be Even if the dot is not the end dot in the image data (it may be the end dot of the outline ), It must be queried whether it is a starting point within the depth line and within the area within the depth line. No. 6. The rules shown here are examples of contour detection and encompass all details is not. Some of the details are incomplete and must be completed. color Add additional rules if the frame contains additional frames of another color inside There is a need. 7. During this and / or other methods, artificial intelligence data and basic terms Detected for decoding and / or robotic systems to aid in reading and connecting You. For example, the minimum and maximum values are marked for either the X or Y axis of a frame. If not, this indicates a straight line (including the minimum and maximum endpoints). ing. Further, the basic terms are defined based on the data as follows: 1) X Is not defined for the dot for which Yx is defined, so Line "is obtained. 2) X is not defined for dots for which Yn is defined Therefore, a "lower horizontal straight line" is obtained. 3) Y is the dot where Xx is defined. Are not defined, so a "right vertical line" is obtained. 4) Y is Xn The dot for which (cn) is defined is not defined. Is obtained You. 8. At the end of each process and / or in the middle, code tables and data for artificial intelligence , Contours, definitions, and basic terms are M-0; M-1; M-2 notes for each pulse. (Figure 1) and further processed by PCU- (3; 4) processor Is done.PCU- (3; 4) is used for motion / motion in artificial intelligence, geometric line, geometric Detect shapes, basic terms   The PCU-3 processor has completed M-0; M-1; M-2 data completion. Movement / motion between two of the two subsequent memories in a manner that compares them Process and match coordinates: 1. One of the possibilities: the coordinates that entered the first image are the basis for the subsequent coordinates. 2. The second possibility is: according to its movement and the divergence of the camera, The coordinates are calculated, and the photographing data of the camera is temporarily updated. 3. Computer vision equipment, for example, in the first image, a straight east The first point and / or any point on the horizontal line on the plane is zero, and points upward and to the right Is positive, negative in the down and left directions, and each of all pixels at maximum magnification has coordinates A line whose pixels update coordinates from the data of the previous image to the data of the image to be compared. I will be taught to be new. 4. Matching of coordinates and registration in the header are performed using the robot data and camera data. One (small) dynamic identification found in both velocity data according to the movement By matching the contours obtained, the movement / motion This can be performed on the data of the image to be detected. 5. Based on the data collected up to this stage, for motion / motion detection, Between two memories of contour, depth line and color separately, and Y and The comparison between the change in the length of X and the corresponding value in the previous second memory Do the work. 6. Data changes from left to right, from high to low, in the order in which they appear And / or according to the proximity to the camera, ie from the largest Wr in memory Until the end point (smallest Wr) of the contour, it can be detected normally. In addition, Data changes can be detected by more than one processor as needed. You. 7. The PCU-4 processor is defined, for example, to change the distance from the surrounding environment, According to various criteria, such as a uniform direction of motion belonging to the detected geometric shape, and Gather outlines according to the order of proximity to the camera. This contour has not yet been identified (No name in spatial memory MM-0 (FIG. 1)), previous identification (MM-0 The location of the name within is not created by the coordinates of the two contours). If possible, give this contour a definition, for example:   a) adjacent to contours (regions, colors and depth lines) where no movement has taken place The entire contour is identified as an additional contour (including the header) and the temporary name BA n. The significance of artificial intelligence is that it does not move.   b) the adjacent contour where the uniform movement has taken place in size and direction-its loop Guo is detected and registered as an additional contour (including the header) and the temporary name BB n. The significance of artificial intelligence is that it moves.   c) there is a movement inside which is different in size and / or direction from the normal movement. (Or some change has occurred), the outline of BBn is given a temporary name BCn. Can be The significance of artificial intelligence is that it is alive.   d) adjacent contours with a (significant) Wr difference between them and the entire surrounding environment , A tentative name BDn. The significance of artificial intelligence is "floating" That is.       If there is movement within the contour (and within a predetermined range), the temporary name BEn Is given. The significance is "winged bird".   e) if there is time remaining on this processor, and / or another additional If the processor processes the same memory M-0; M-1; M-3 without failure, This The processor can be a complete frame (shape), straight, concave, arcuate (convex), diagonal Contour dots and contours (including angles) and other identifiable geometric lines Detect the definition between Also, geometric shapes such as squares, squares, triangles, circles, ellipses, etc. Shapes are also detected and the basic terms of artificial intelligence are established for these shapes.   f) Lines, contours, etc. whose geometric definitions are not known, or detection takes time Lines, contours, etc. are basic and known to define such a shape / contour definition. The stored basic information for register MM-4 (FIG. 1) of It is matched by matching the size of the contour to the target contour. This Of all registers according to their function and purpose (up to 256 in principle) Compliant with Pewter Vision. 8. During and / or at the end of matching and detection of movements, various contours, etc. In addition, the decoding system and / or the robot can provide many Know additional basic terms for:   a. Length Y remained constant and moved up (changed location), meaning-"up Rose! "   b. Length Y remained constant and moved down (changed location), meaning-"down I fell down. "   c. Length Y is smaller, meaning-"shorter"   d. Length X is smaller, meaning-"smaller"   e. Significance of length Y increased-"increased"   f. Significance of X and Y increased-"expanded"   g. Significance of X and Y becoming smaller-"contracted" 9. During processing and / or at other times, many basic terms in artificial intelligence Can be detected / derived. This is the shape and / or Is used to decode phenomena and / or terms and / or communications in many ways. Useful. Ten. At the end of each process and / or during the process, code, data, contour, definition, and A table of the basic terms of artificial intelligence is stored in the memory MM- according to its attributes, locations, and coordinates. 0 (spatial memory) and additional processor PCU- (5; 6 ...) ( It is further processed and identified by FIG. 1). 11. The spatial memory MM-0 stores, for example, a horizontal line of 180 ° and a vertical line of 120 °. Certain spaces and / or all spatial areas are covered as needed.Shape identification Key, identification   Data, contours, features, phenomena, definitions, results collected during matching and detection Etc. are stored according to their attributes and locations in the spatial memory MM-0. A special order adapted to the same order in which the shape data is arranged, And for matching and identification (data vs. data) and / or Is the key factor according to the "intrinsic" table, etc. To form   Since the unidentified area (contour) is very small at each shooting speed, the In the margins. Unidentified shape data arranged in a special order can be used as a key factor. Constitute. In this way, all or part of the means and frequency, "intrinsic" tables etc. , Like words in a dictionary, the classification is language, and the order of key elements is the order of letters , If the whole word is the key, compare the data with other images / records, and / or Or compare the data with known stored shape data and image / record Can be detected, matched, and identified. This saved shape data is the same Are arranged in a special order, according to the key elements, and "reliable", "half and half" , "Reasonable", "possible". 1. The identification is based on the data of the register MM-0 in the shape seen and the stored constant data. This is performed between data of a register MM-1 (FIG. 1) having a known shape. Dimension data In the MM-0, the matching of the size, angle, and shooting distance is based on Or the size of the dimension data of the stored shape according to the scaling data And the photographic / recording angle standard. 2. Shape data stored in MM-1 is adjusted according to the matching key Display the shape on computer vision according to the given size and distance Thus, the data of each shape can be obtained by decoding and / or the data Conditions can also be defined by logical analysis.     The shapes are in a specific order (e.g., color, geometric, etc.) that matches the decryption key ( Dimensions), defined and arranged according to "Sure", "Half", "Reasonable" and "Possible" There is a possibility. " 3. There is an exercise memory MM-2 (FIG. 1), which is used to calculate the exercise / motion speed. For example, data on all changes in the “live” shape can be Over a defined period of time, such as only a desired distance and / or to a desired distance , Every pulse, every 10 pulses, every second, etc. 4. In this or another memory, the total movement / motion in each pulse It is possible to save all changes and pulses. Therefore, 3D data and / or Or it is possible to store multimedia, so that translation, decoding Display and / or projection, etc., at different times and in different places even after zooming and magnifying. It is possible to 5. It is also possible to provide a pseudo memory MM-3 (FIG. 1). This memo Lee contains the outline of the space in which the robot 7 (FIG. 1) functions, and inside the outline of the space. Displays the outlines of important shapes and spaces, where some identifying details are provided. Details, such as name (add one or two data and / or one or two words) ) And the like. If the robot is somewhere At any time, the memory can know the location, and if the location changes, Know that the location of the guo, shape, etc. has changed (what kind of change and where) be able to. So Then, the pseudo space is updated according to the new reality and the same registration method. External data A PM memory (FIG. 1) may be provided to receive data.wrap up 1. Computer vision systems can be any kind of daze, including lasers Light, flash, etc., wherever the system can be Shall be protected as much as possible from physical damage to 2. Computer vision systems are compatible and require user input Can be operated according to 3. The computer vision system includes software program 6 (FIG. 1), Electronic and general circles, distance and / or scaling data that make the system work , And according to the size of the dimensional data of the stored shape and the standard of shooting / recording A software program for adjusting the size of the viewed shape and the shooting angle, and Transfer requested data to external for transmission, 3D display and multimedia Any other software programs and any other software programs required. Program. 4. Received images, code, data, calculations, images in spatial memory, and For the received images or maps or data stored in all memory of the system Other information that may include data, including code and data only, and / or input or space Including stereoscopic images, to users such as robots, Depending on the requirements and design, it may be sent directly by any method, The user can extract data when needed according to the system design. 5. All of the above operations are performed by the processor and matching, detecting, processing, and calculating Is performed by additional processing means. These are computer vision Equipment, components, one or more electronic circuits necessary and adapted for the purpose of Or a combination thereof.     These roles are assigned by each part, part, electronic circle, system, etc. It plays its role without interfering with the Dination and compatible. For example, the processor No. 1 in operation A Since his part has been completed, the processor No. 2 in complex operation A Parts, electronic circles, etc., indicate that the part in charge of their own may be continued. The processor No. 2 is notified.Commercial implementation 1. Computer vision can be used as follows.   a. Viewer (monitor, analyze, decode, report, transfer Etc.)   b. Collect data in any way and store it in a database or register As viewers (complete, partial, classified by any form, etc.) 2. Due to the many possibilities of computer vision, some standards Computer vision systems can be used, and each standard system Adapted to provide certain services and perform certain tasks, and thus "for protection" Can be used for On the other hand, for special requirements, A computer vision system. 3. Each computer vision system has standard and special abilities. You. 4. The computer vision system is designed by a designer or a constituent at the design stage System to be part of the user Or as a separate unit serving the user.                                The scope of the claims 1. A stereoscopic computer vision system, comprising:   a. A pair of identical, aligned, and co-located cameras at a fixed distance M The camera has a shooting angle and an enlargement / reduction arranged on a coordinate axis. For a shadow camera, at a fixed distance M at any shooting distance, from (0: 0) Match the field of view and coordinates of the same site line in both cameras until (Y: X) And form an aligned, optically parallel field of view, the image of the camera Received by the input memory device in the computer, translated into computer language,   b. Based on step a, the pixels of the received image may be processed in various ways For example: The pixels of the image are matched one by one by the device and the data Data collected / detected for headers, including pulse / speed, scaling / color, For encoding, the distance Wr of the same dot between the two cameras is equal For location, number of adjacent horizontal dots of the same color and / or distance, or for 3D 1. depth line, etc .; The pixels of one camera follow the shooting speed and / or the other speed According to the order, the pixels of the previous image stored in the spatial memory register And then by matching the coordinates, the new movement is matched by the device as well as/ Or, if there is no match in shape, update and pixels in both images are mapped to each other. And the data of the same pixel is spatially recorded with respect to the pixel of each color, Wr difference, etc. Unmatched pixels are recorded as depth line dots in the aerial image. Recorded, the pixels of the other images are recorded separately, related, etc.,   c. Size, dimensions, distance, etc., based on the device and data Wr based on step b And the device and data share the work between the processors. To help you play 3D images in time,   d. Based on the previous steps, the color, depth line, and outline of the area, as well as adjacent, And / or near, etc. regions having uniform motion, groups of depth lines, These are added to the existing data as a data table, and the vertical line Size is detected and the contour size and angle are matched with the stored basic shape. Geometric lines and / or geometric shapes are detected, such as by Through comparison, straight line, circle, triangle, concave, immobile, floating, living etc. , Definitions for artificial intelligence have been derived, while measurements, hearing, taste, smell, touch, etc. External auxiliary terms to help identify and / or communicate with the surrounding environment And   e. Based on the previous process, the data of the continuous image The same static that is compared by the device and / or the contours are found at both speeds Stop shape , The coordinates are matched to the continuous data, thus the robot The imaging deflection angle that allows the camera to balance is detected and the Detects horizontal / vertical movement / motion and calculates degree of change, direction, angle, etc. The coordinates can be matched by the change data stored at a predetermined interval speed. And the speed of the movement / motion can be calculated and a part of the detected data Can be stored in various ways, and changes in speed can be stored one after another. 3D data for projection / display in some way after translation / decoding and enlargement Data can be stored, broadcasted, transferred, etc., in any way, anytime, anywhere. Can,   f. Based on the previous steps, some or all of the data collected by the device For each data, according to its attributes, coordinate matching, spatial memory Unidentified shape data that can be stored and arranged in a specific order "Intrinsic", comprising all elements and by some or all devices and by incidence Image according to table etc. and recorded image / record / data size, angle and distance / Record / Data as "Sure," "Half," "Reasonable," and "Possible." Arranged in the same special order, adjusted to the key elements according to the stored Matching / detection / identification of image / record / data of known shape It is possible,   g. During detection, unidentified contours and their data are recorded under a temporary name and identified. The saved shape is recorded under your own name, and the artificial memory is displayed with the contour name display and Operate the robot in the form of contours with basic shapes and some identification data Can be added to the surrounding environment, sometimes from a robot and / or vision system. 3D computer vision system updated by the system. 2. The computer vision system according to claim 1, wherein The pair and / or more cameras may be housed in a single case, May be separate and the camera is similar to a video camera such as a CCD camera. Converts the data received from the video captured by the camera to digital data A camera comprising a combined means for performing   a) at various speeds, with various lights such as infrared (IR), visible light, etc. and insufficient Under any lighting conditions, such as light intensity, the light amplification means Fit;   b) a magnification or reduction device including telescope or microscope means;   c) linear, convex or concave optical image with the desired resolution   The computer vision of claim 1, comprising one or more of the following. system. 3. A computer vision system according to claim 1 or claim 2. What     Detected and compared data that can be defined as data And / or computerized, defined, derived, viewed, etc. Information (eg code table, size code, color, contour, geometric line, geometric shape Collect, store, state, definitions, and / or common terms, and / or within artificial intelligence) Main device for the size and angle of the stored data. Match coordinates and separation according to key elements according to matching of size and angle To identify the preserved shape in terms of dimensions Therefore, a device that allows access to data, wherein the key element is “ One, two, three, four, five, etc. In a hierarchical order above, which may be internal or external, the device comprises:   a. Input memory for receiving camera / viewed images;   b. Spatial notes for one or two cameras and / or data for 3D And integrates with image preservation methods by matching coordinates Separately or in addition to other data in another memory In the meantime, for the second image, the data of both cameras All, including fixed, scaled records, etc. All images, data and tables are integrated and updated for some part of the defined space. New and adjusted on every pulse, images and data are stored in horizontal and vertical perimeters. Stored as indicated and constantly updated;   c. A register in the form of a table for a known stored shape, defined Any shape that may be given and / or given a name and / or separately identified ( (E.g. screwdriver, finger, wall, Dear Sir, sign, phenomenon, etc.) Images, maps, signs, etc. that are adjacent to, above, and connected to Data and tables), data, codes, etc. Registered in a specific known order, adjusted for Adjusted according to the shooting / recording standards according to the method and the size of the shooting angle;   d. A register for detecting movement at various speeds. The transformation is stored and adjusted to a defined, known time interval, the extent and rate of change And, based on the number of shooting frequencies, the size and speed of the exercise can be calculated;   e. Code, data, and all changes in horizontal and vertical dimensions at a given speed Registers to save one after another, after translation / decryption and expansion, another time And at another location, allowing the image to be displayed / projected again;   f. Registers for contours of basic shapes that cannot be defined and detected in a reasonable amount of time Where, with respect to the detected contour, Can be detected, thus deriving the definition as a supplement to the key data And;   g. Collect and handle tables as needed, their data on contours, tables, And its data and tables of terms, trigonometric and other definitions, of artificial intelligence Memory and registers for encoding basic terms;   h. Ancillary data received from devices such as robots, audio devices, and detection devices Register for;   i. In order for a computer vision device to perform its function, Computer detection and ratio to perform all operations required for Registers for software with capacity for comparison, handling, and identification;   A computer web according to claims 1 and 2, comprising one of the following. John system. 4. A method for stereoscopic computer vision, the method comprising:   a. A pair of identical, aligned, and co-located cameras at a fixed distance M The camera has a shooting angle and an enlargement / reduction arranged on a coordinate axis. Shadow turtle Due to the constant distance M at any photographing distance, (0: 0) to (Y: X) align and coordinate the field of view and coordinates of the same sight line in both cameras until An aligned, optically parallel field of view is formed and the images of the camera are stored in a computer. Received by the input memory device, translated into computer language,   b. Based on step a, the pixels of the received image may be processed in various ways For example: The pixels of the image are matched one by one by the device and the data Data collected / detected for headers, including pulse / speed, scaling / color, For encoding, the distance Wr of the same dot between the two cameras is equal For location, number of adjacent horizontal dots of the same color and / or distance, or for 3D 1. depth line, etc .; The pixels of one camera follow the shooting speed and / or the other speed According to the order, the pixels of the previous image stored in the spatial memory register And then by matching the coordinates, the new movement is matched by the device And / or if there is no match in shape, update the pixels in both images , And the data of the same pixel is represented by the spatial Pixels that do not match are recorded in the spatial memory, And the pixels of the other images are recorded separately, related, etc.   c. Based on the process b, the device and the data Wr Sizes, dimensions, distances, etc. can be calculated, and the equipment and data Work to distribute 3D images in time,   d. Based on the previous steps, the color, depth line, and outline of the area, as well as adjacent, And / or near, etc. regions having uniform motion, groups of depth lines, These are added to the existing data as a data table, and the vertical line Size is detected and the contour size and angle are matched with the stored basic shape. Geometric lines and / or geometric shapes are detected, such as by Through comparison, straight line, circle, triangle, concave, immobile, floating, living etc. , Definitions for artificial intelligence have been derived, while measurements, hearing, taste, smell, touch, etc. External auxiliary terms to help identify and / or communicate with the surrounding environment And   e. Based on the previous process, the data of the continuous image The same static that is compared by the device and / or the contours are found at both speeds By matching to the stop shape, the coordinates are matched to the continuous data, thus The imaging deflection angle that allows the robot to balance is detected, and various contours are detected. Horizontal / vertical movements / motions are detected and the degree of change, direction, angle, etc. is measured Matches coordinates based on calculated and saved change data at specified intervals By doing, the speed of the movement / motion can be calculated, Some of the detected data can be stored in various ways, and changes in speed It can be stored one after another, and after being translated / decrypted and expanded, Save anytime, anywhere as 3D data for shadow / display in various ways, Broadcast, transfer, etc.   f. Based on the previous steps, some or all of the data collected by the device For each data, according to its attributes, coordinate matching, spatial memory Unidentified shape data that can be stored and arranged in a specific order "Intrinsic", comprising all elements and by some or all devices and by incidence Image according to table etc. and recorded image / record / data size, angle and distance / Record / Data as "Sure," "Half," "Reasonable," and "Possible." Arranged in the same special order, adjusted to the key elements according to the stored Matching / detection / identification of image / record / data of known shape It is possible,   g. During detection, unidentified contours and their data are recorded under a temporary name and identified. The saved shape is recorded under your own name, and the artificial memory is displayed with the contour name display and Operate the robot in the form of contours with basic shapes and some identification data Can be added to the surrounding environment, sometimes from a robot and / or vision system. Updated by the system, for stereoscopic computer vision the method of. 5. A method for computer vision according to claim 4, wherein:   The pair and / or more cameras may be housed in a single case, Or a separate camera, similar to a video camera such as a CCD camera Digitally converts the data received from the video captured by the camera into digital data. Including a camera with a composite means for converting to   a) at various speeds, with various lights such as infrared (IR), visible light, etc. and insufficient Under any lighting conditions, such as light intensity, the light amplification means Fit;   b) a magnification or reduction device including telescope or microscope means;   c) linear, convex or concave optical image with the desired resolution   5. The computer vision of claim 4, comprising one or more of the following. Way for. 6. A method for computer vision according to claims 4 and 5. And     Detected and compared data that can be defined as data And / or computerized, defined, derived, viewed, etc. Information (eg code tables, size codes, colors, contours, geometric lines, geometric Collect, store, shape, definitions, and / or common terms, and / or within artificial intelligence) Main device for the size and angle of the stored data, Match coordinates and separation according to key elements, according to size and angle matching To identify the stored shape in terms of dimensions by Device that allows access to data, wherein the key element is Pre-established ones such as "N", "Half", "Reasonable", and "Possible" In the above hierarchical order, which may be internal or external, said device comprises:   a. Input memory for receiving camera / viewed images;   b. Spatial notes for one or two cameras and / or data for 3D And integrates with image preservation methods by matching coordinates Separately or in addition to other data in another memory In the meantime, for the second image, the data of both cameras All images and data obtained by fixed, scaled recording and others, including And tables are integrated and updated for some part of the defined space, and all Adjusted on a per-loose basis, images and data are shown in horizontal and vertical peripheral coordinates Saved in and constantly updated;   c. A register in the form of a table for a known stored shape, defined And / or given a name And / or any separately identified shape (eg, screwdriver, (Finger, wall, Dear Sir, sign, phenomenon, etc.) Images, maps, signs (including data and tables related to them), data Data, codes, etc., in a specific, known order adjusted for key elements. The registered and dimension data depends on the shape, its dimensions, and the size of the shooting angle. Adjusted according to shooting / recording standards;   d. A register for detecting movement at various speeds. The transformation is stored and adjusted to a defined, known time interval, the extent and rate of change And, based on the number of shooting frequencies, the size and speed of the exercise can be calculated;   e. Code, data, and all changes in horizontal and vertical dimensions at a given speed Registers to save one after another, after translation / decryption and expansion, another time And at another location, allowing the image to be displayed / projected again;   f. Registers for contours of basic shapes that cannot be defined and detected in a reasonable amount of time Where, with respect to the detected contour, Can be detected, thus deriving the definition as a supplement to the key data And;   g. Collect and handle tables and outlines as necessary Its data, tables, and terms for that data and tables, trigonometrically and otherwise And memory for encoding the definitions of terms, basic terms of artificial intelligence, etc. Jister;   h. Ancillary data received from devices such as robots, audio devices, and detection devices Register for;   i. In order for a computer vision device to perform its function, Computer detection and ratio to perform all operations required for Registers for software with capacity for comparison, handling, and identification;   A computer web according to claims 4 and 5, comprising one of the following. The way for John. 7. A computer vision system according to any one of claims 1 to 6. A stem and a method,     Computers, computer components, components, electronic circuits, processors Server, computerized data processing system, etc. Constitute one or more of the steps or a combination thereof, said means being capable of doing all that is necessary. A new, compatible, known software program with the ability to For converting data obtained from a captured image into digital data; Means: color, code, feature, identity, point of view and / or adjacent point and / or And / or formed in the image of the camera Normal form and / or artificial intelligence with respect to contours stored in some registers Said means for matching, comparing, detecting and defining; codes, data Tables, contours, terms, features, definitions, calculations, basic terms in artificial intelligence, etc. for data Means for creating and detecting tables for distances; dimensions, coordinates, angles, speeds Said means for calculation, comparison, and adjustment of movements / movements at predetermined time intervals Said means for detecting movements of the loop; for handling frequent and / or "intrinsic" tables Said means for collecting data for key elements; constant and defined Compare registers according to a specified, known order and / or according to keys Said means for switching, said means for preserving various forms of data; Said means for receiving, transferring and withdrawing data; said means for input, data, Any one of claims 1 to 6, including protection, said means, systems, methods, etc. And a computer vision system and method. 8. A computer vision system according to any one of claims 1 to 7. A stem and a method,     Well-known and trivial calculations, data, features, common definitions, and conclusions Collection before, during, and after identification, including basic terminology and / or artificial intelligence. The input and stored information that was collected, and the information collected about the area, shape, etc. Immediately or after a short time, data information, speed In the usual manner and / or in 3D and / or multimedia form The system is transferred by means of a formula, and the system is On demand and / or automatically for users such as robots, equipment, blind people, etc. Claim 1 to claim 1 and / or provided and / or accessible. A computer vision system and method according to any of claims 7 to 13. 9. Detailed description, reference, description and illustration in the appended claims or accompanying drawings New, implied, stated, or implied herein, or combinations thereof. Computer vision systems and methods, including qualitatively. FIG.FIG. 2FIG. 3FIG. 4

───────────────────────────────────────────────────── フロントページの続き (81)指定国 EP(AT,BE,CH,DE, DK,ES,FI,FR,GB,GR,IE,IT,L U,MC,NL,PT,SE),OA(BF,BJ,CF ,CG,CI,CM,GA,GN,ML,MR,NE, SN,TD,TG),AP(KE,LS,MW,SD,S Z,UG),UA(AM,AZ,BY,KG,KZ,MD ,RU,TJ,TM),AL,AM,AU,BA,BB ,BG,BR,CA,CN,CU,CZ,EE,FI, GE,HU,IL,IS,JP,KG,KP,KR,L C,LK,LR,LT,LV,MD,MG,MK,MN ,MX,NO,NZ,PL,RO,SG,SI,SK, TR,TT,UA,US,UZ,VN 【要約の続き】 表等のデータ表のレジスターを含む。このレジスター は、データ、特徴、定義を検出すること、及びキーエレ メントのために結論を導きだすことを目的としている。 データ、特徴、定義、及び結論によって、認識されてい る保存形状のレジスターと互換性のある、未同定形状の ためのキーを構成することができ、よって、未同定形状 の同定を、完全且つ略即時に行なう。────────────────────────────────────────────────── ─── Continuation of front page    (81) Designated countries EP (AT, BE, CH, DE, DK, ES, FI, FR, GB, GR, IE, IT, L U, MC, NL, PT, SE), OA (BF, BJ, CF) , CG, CI, CM, GA, GN, ML, MR, NE, SN, TD, TG), AP (KE, LS, MW, SD, S Z, UG), UA (AM, AZ, BY, KG, KZ, MD , RU, TJ, TM), AL, AM, AU, BA, BB , BG, BR, CA, CN, CU, CZ, EE, FI, GE, HU, IL, IS, JP, KG, KP, KR, L C, LK, LR, LT, LV, MD, MG, MK, MN , MX, NO, NZ, PL, RO, SG, SI, SK, TR, TT, UA, US, UZ, VN [Continuation of summary] Includes data table registers such as tables. This register Can detect data, features, and definitions, and The purpose is to draw conclusions for the statement. Recognized by the data, features, definitions and conclusions Unidentified shape compatible with stored shape registers Key can be configured for the unidentified shape Is completely and almost instantaneously identified.

Claims (1)

【特許請求の範囲】 1.立体コンピュータービジョンシステムであって、該システムは、 a.同一で、整列し、座標軸上に配置された、一定距離Mにある一対のカメラ を有し、該カメラは、座標軸上に配置された撮影角度及び拡大/縮小を伴い、撮 影カメラのために、いかなる撮影距離においても一定距離Mで、(0:0)から (Y:X)まで双方のカメラにおける同一のサイトラインの視野と座標を合わせ 且つ整列させた、光学的に平行な視野を形成し、該カメラの画像は、コンピュー ター内の入力メモリー装置によって受理され、コンピューター言語に翻訳され、 b.工程Aに基づいて、受理された画像の画素は、撮影速度で及び/又はその 他の速度で、使用可能な手段によって、座標及びスペースカウンターに従って、 システムの空間的メモリーレジストリー内にある先の画像のそれぞれとマッチさ れ、そこでマッチングがないとわかったら、システムを更新し、入力した二つの 画像のマッチングを進め、 c.工程A及びBに基づいて、未同定領域、つまりある運動が行われており、 二つのカメラから同時に見ている領域について、システムは、色彩等の画像の種 々の特徴を探し、ラインの始点からそのマッチングポイントまでの、カメラが捕 らえた各画像の画素の数の差に基 づいて、距離を計算し、その計算された距離によって、画素によって表される空 間内の点のサイズ等のデータを計算することができ、これに基づいて、領域のサ イズ及び距離を計算することができ、 d.工程B及びCに基づいて、未同定領域の点と登録されている画像とをマッ チングする際に、該領域と周囲環境との距離の変化及び二つのカメラ間の距離に よってマッチしない該領域周囲の点があり、これらの深度ドットは、領域ドット と略同等な距離に加えて、輪郭線及び/又は分割線を創生し、同様な距離にある 領域について、領域間の色彩または暗度及び/又は領域動作/運動の変化によっ て、全ての領域各々の枠つまり輪郭を利用可能な手段により検知し、規定するこ とができ、 e.利用可能な手段によって、計算、マッチング、定義のセッティング、結論 の導出しを行うことを可能にする追加のデータを集めるために、一方のカメラか ら受信した映像は、カラーフィルターにかけられ、複製された後に、所定時間間 隔の運動同定レジスターに入り、一定時間間隔で検査され、次に工程B〜Dに基 づいて、検出された領域の枠つまり輪郭は、基準形状レジスターとサイズについ てマッチングされ、このレジスターからのデータによって、例えば領域/形状の サイズ及び所定時間内の運動/動作速度を計算することが可能であり、追加デー タ、入力されたデータの一部、及び 先に計算/検出されたデータの一部によって、例えば「真性」等の表のレジスタ ーに対するマッチングが可能となり、例えば、動かない対象物である、振動して いる物である、動く物である、また例えば、領域のサイズがあるサイズから別の サイズに変化しているか、及び包絡面内及び/又は領域内で運動及び/又は動作 が起こっているか等の他のキーエレメントについて、定義をセットし、結論を導 き出し、 f.特定の順序に並べられたデータ、特徴、定義、及び結論から導き出された 前記キーエレメントにより、登録されている形状のレジスターに対して、提供さ れた手段によって領域を検出し、マッチングし、同定することができ、 g.未同定領域は仮の名前で保存され、同定された領域は、包絡面及び/又は 形状の内部における、場所、位置、及び/又は動作、及び/又は運動におけるい かなる変化をも常に追跡、監視するために、形状/領域の形式に従って、第一の ドット及び追加のドットをそれぞれスキャンした際の座標データを参照して、そ の同定領域自身の名前で保存される、立体コンピュータービジョンシステム。 2.請求の範囲第1項に記載のコンピュータービジョンシステムであって、前記 一対及び/又はそれ以上のカメラは、単一のケース内に収容してもよく、若しく は別個としても よく、該カメラは、CCDカメラ等のビデオカメラに類似するものであり、カメ ラが捕らえた映像から受理したデータを、デジタルデータに変換するための複合 手段を備えるカメラを含み、さらに、 a)種々の速度で、赤外線(IR)、可視光線等の様々な光で、且つ不十分な 光量等のいかなる照明条件でも、光増幅手段によって行う、カラー撮影のための 適合; b)望遠鏡又は顕微鏡手段を含む拡大又は縮小装置; c)直線的、凸型、又は凹型の、所望の解像度を含む光学的イメージ のうちの一つ以上を含む、請求の範囲第1項に記載のコンピュータービジョン システム。 3.請求の範囲第1項及び第2項に記載のコンピュータービジョンシステムであ って、 検出及び/又は計算されたデータ、特徴、定義されたもの、導き出されたも の、及び/又は見たものを集めるための前記手段の主なものは、絶対的、半々、 及び可能性がある、と予め設定された一つ以上の階層順に配置された、内部又は 外部のキーエレメントの分類に従って、場合によっては前記手段によって、該デ ータの検出に直ぐにアクセス可能とし、これらは、 a.撮影/観察された画像を受理するための入力メモリー; b.拡大/縮小、固定及び/又は他の撮影によって受理した全ての画像を集め る一つのカメラ又は3D表示のた めの二つのカメラのための空間的メモリーであって、該画像は、水平及び垂直方 向の周縁座標として表現される輪郭画像として保存され、絶えず更新される、空 間的メモリー; c.既知の保存されている形状のための表の形式であるレジストリーであって 、定義され、及び/又は名前を与えられ、及び/又は別個に同定され(例えば、 物体、植物、生物、背景、サイン、現象等)、特別な順序で保存され、知られ、 キーエレメントに対して調節され得る、各形状の上方に隣接する画像、マップ、 サイン、及び/又はテキストデータを含み、画像及びマップは、形状のサイズ及 び撮影の距離に従って、撮影基準となるレジストリー; d.カラーフィルターにかけた後に得られる画像の一つを、運動、動作、及び 速度等の検出及び計算のために、等時間間隔でチェックする、所定時間間隔での 運動検出レジスター; e.例えば四角、階段形状等の既知の幾何学的形状を、好ましくは白黒で登録 する基本形状レジスター; f.1.色彩分離のためのレジスター;2.領域の輪郭及び同定前の領域を保 存するためのレジスター;3.「真性」表等の表のためのレジスターであって、 データ、定義、及び結論のための定義をセットし、結論を導き出すために、一つ の表の次に若しくは内部に次の表が配置されるレジスター;4.再発する形状の ため のデータ表のレジスター;5.キーエレメントのためのレジスター;を包含する データベース; g.アクセサリーデータのためのレジスター;1.スペースカウンター、コン パス等からの内部のもの;2.例えば拡大/縮小等のカメラからのもの、例えば 運動速度等のユーザーからのもの等の外部のもの;追加のアクセサリーデータ; のうちの一つ以上を含む、請求の範囲第1項及び第2項に記載のコンピュータ ービジョンシステム。 4.請求の範囲第1項から第3項に記載のコンピュータービジョンシステムであ って、前記データが、データとして定義することができるものであり、コンピュ ータービジョンの要求及び所望の速度及びコンピューター言語(デジタル)に従 って、画像から、計算、検出、特徴化から、定義及び結論から、スペースカウン ターから、プリンター、スピードメーター等の外部エレメントから、及び/又は コンパス、望遠鏡、距離計(以下補助手段と称する)等のシステムのアクセサリ ーから受理し得るものであり、及び以下のもの若しくは以下のものの組合せ: a.領域、又は領域の形状又は部分、又は形状の、方向(例えば北、南、東、 西、上方、下方、前方、後方、右、左)、及び座標システム、又はカメラ、又は 領域、又は形状に関する測定(例えば距離、幅、高さ、深さ、サイズ、比、及び 角度)、色彩(例えばカラーパーセ ンテージのレベル、カラー分散、散在するドット、スポット)、枠(輪郭)、動 作、運動、速度、位置、及び角度(例えば領域、形状、カメラによる); b.熱、放射線、声、匂い、及び味の特徴、現象、属性、検出; c.定義及び結論(例えば仮の名前、四角、階段、オブジェクト、車、はため いているもの、炎、水の流れ、生き物、四足歩行、成長、プライベート型の乗り 物の右側、時間の変化); のいずれかである請求の範囲第1項から第3項に記載のコンピュータービジョ ンシステム。 5.請求の範囲第4項に記載のコンピュータービジョンシステムであって、 未同定形状、及び/又は領域/形状全体において、及び又は包絡面において 、及び/又は内部において、何らかの動作(例えば動作、運動)が生じている形 状、及び画像中に見えている又は一部見えている形状に関する領域、特徴、定義 、及び結論の前記データの同定及び計算のための手段を含み、その全て、その一 部、その組合せが、キーエレメントデータと結合され、システムを操作し、且つ 見ている形状のサイズ、距離、拡大/縮小、及び撮影角度を、保存されている形 状のサイズ、距離、及び撮影角度に従ってマッチングさせるソフトウェアプログ ラム、電子サークル、及びルール、並びに転送及び3D表示のためのマルチメデ ィアの形式のソフトウェアプログラムによって実行される、請求の範囲第4項に 記載のコンピュータービジョンシステム。 6.請求の範囲第4項及び第5項に記載のコンピュータービジョンシステムであ って、 データ、特徴、定義、及び結論は、比較及びマッチングのための前記手段及 びソフトウェアプログラムによって、全てのデータ又はその一部を有するレジス ター/メモリーとマッチされ、予め決められた一つ以上の階層的順序の分類に従 って、絶対的か、半々か、又は可能性があるかの同定がキーエレメントによって 行われ、前記キーエレメントにより、場合によっては予め又は先の写真から知ら れている既知の領域、形状又はその一部のデータに関する情報に対して、領域、 形状、又はその一部を同定することができる、請求の範囲第4項及び第5項に記 載のコンピュータービジョンシステム。 7.請求の範囲第1項から第6項に記載のコンピュータービジョンシステムであ って、 コンピューター、コンピューター構成要素、構成要素、電子サークル、プロ セッサー、コンピュータによるデータ処理システム等のうち一つ以上が、前記手 段の一つ以上又はその組合せを構成し;前記手段は、既知、新規、及び互換性の あるソフトウェアプログラムであり;撮影した画像 から得たデータをデジタルデータに変換するための前記手段;同一の視点及び/ 又は撮影した画像中に形成された点に関する色彩同一性のマッチング及び定義の ための手段;特徴、定義、及び結論の同定のために距離及び寸法を計算するため の前記手段;サイズのマッチング及び撮影角度のマッチングのための手段;運動 、動作の形式について、運動を所定時間間隔で検出するための前記手段;「真性 」表を取り扱うための前記手段;再発する形状を取り扱うための前記手段;キー 構成のためにデータを集めるための前記手段;比較及びマッチングのための前記 手段;種々の形式の情報を保存するための前記手段;データを受理し、転送し、 引出すための前記手段;前記手段は、電源、データ保護、前記手段、システム等 の保護を含む、請求の範囲第1項から第6項に記載のコンピュータービジョンシ ステム。 8.請求の範囲第1項から第7項のいずれかに記載のコンピュータービジョンシ ステムであって、 領域、形状等について集められた計算、既知のデータ、特徴、定義を含む、 同定の前、間、及び後に集められた、受理及び帆損された情報は、即時に又はわ ずかな時間の後に、情報の形式で、通常の態様で及び/又はマルチメディアの形 式で立体的に、及び/又は3D形式で、搬送され、システムは、適当なインター フェース手段によって、ロボット、装置、盲人等のユーザーに、要求により及び /又は自動的に保存し及び/又は提供し、及び/又はアクセス可 能である、請求の範囲第1項から第7項のいずれかに記載のコンピュータービジ ョンシステム。 9.立体的コンピュータービジョン方法であって、該方法は、 a.同一で、整列し、座標軸上に配置された、一定距離Mにある一対のカメラ を有し、該カメラは、座標軸上に配置された撮影角度及び拡大/縮小を伴い、撮 影カメラのために、いかなる撮影距離においても一定距離Mで、(0:0)から (Y:X)まで双方のカメラにおける同一のサイトラインの視野と座標を合わせ 且つ整列させた、光学的に平行な視野を形成し、該カメラの画像は、コンピュー ター内の入力メモリー装置によって受理され、コンピューター言語に翻訳され、 b.工程Aに基づいて、受理された画像の画素は、撮影速度で及び/又はその 他の速度で、使用可能な手段によって、座標及びスペースカウンターに従って、 システムの空間的メモリーレジストリー内にある先の画像のそれぞれとマッチさ れ、そこでマッチングがないとわかったら、システムを更新し、入力した二つの 画像のマッチングを進め、 c.工程A及びBに基づいて、未同定領域、つまりある運動が行われており、 二つのカメラから同時に見ている領域について、システムは、色彩等の画像の種 々の特徴を探し、ラインの始点からそのマッチングポイントまでの、カメラが捕 らえた各画像の画素の数の差に基 づいて、距離を計算し、その計算された距離によって、画素によって表される空 間内の点のサイズ等のデータを計算することができ、これに基づいて、領域のサ イズ及び距離を計算することができ、 d.工程B及びCに基づいて、未同定領域の点と登録されている画像とをマッ チングする際に、該領域と周囲環境との距離の変化及び二つのカメラ間の距離に よってマッチしない該領域周囲の点があり、これらの深度ドットは、領域ドット と略同等な距離に加えて、輪郭線及び/又は分割線を創生し、同様な距離にある 領域について、領域間の色彩または暗度及び/又は領域動作/運動の変化によっ て、全ての領域各々の枠つまり輪郭を利用可能な手段により検知し、規定するこ とができ、 e.利用可能な手段によって、計算、マッチング、定義のセッティング、結論 の導出しを行うことを可能にする追加のデータを集めるために、一方のカメラか ら受信した映像は、カラーフィルターにかけられ、複製された後に、所定時間間 隔の運動同定レジスターに入り、一定時間間隔で検査され、次に工程B〜Dに基 づいて、検出された領域の枠つまり輪郭は、基準形状レジスターとサイズについ てマッチングされ、このレジスターからのデータによって、例えば領域/形状の サイズ及び所定時間内の運動/動作速度を計算することが可能であり、追加デー タ、入力されたデータの一部、及び 先に計算/検出されたデータの一部によって、例えば「真性」等の表のレジスタ ーに対するマッチングが可能となり、例えば、動かない対象物である、振動して いる物である、動く物である、また例えば、領域のサイズがあるサイズから別の サイズに変化しているか、及び包絡面内及び/又は領域内で運動及び/又は動作 が起こっているか等の他のキーエレメントについて、定義をセットし、結論を導 き出し、 f.特定の順序に並べられたデータ、特徴、定義、及び結論から導き出された 前記キーエレメントにより、登録されている形状のレジスターに対して、提供さ れた手段によって領域を検出し、マッチングし、同定することができ、 g.未同定領域は仮の名前で保存され、同定された領域は、包絡面及び/又は 形状の内部における、場所、位置、及び/又は動作、及び/又は運動におけるい かなる変化をも常に追跡、監視するために、形状/領域の形式に従って、第一の ドット及び追加のドットをそれぞれスキャンした際の座標データを参照して、そ の同定領域自身の名前で保存される、立体コンピュータービジョン方法。 10.請求の範囲第9項に記載のコンピュータービジョンシステムであって、前記 一対及び/又はそれ以上のカメラは、単一のケース内に収容してもよく、若しく は別個としても よく、該カメラは、CCDカメラ等のビデオカメラに類似するものであり、カメ ラが捕らえた映像から受理したデータを、デジタルデータに変換するための複合 手段を備えるカメラを含み、さらに、 a)種々の速度で、赤外線(IR)、可視光線等の様々な光で、且つ不十分な 光量等のいかなる照明条件でも、光増幅手段によって行う、カラー撮影のための 適合; b)望遠鏡又は顕微鏡手段を含む拡大又は縮小装置; c)直線的、凸型、又は凹型の、所望の解像度を含む光学的イメージ のうちの一つ以上を含む、請求の範囲第9項に記載のコンピュータービジョン 方法。 11.請求の範囲第9項及び第10項に記載のコンピュータービジョン方法であっ て、 検出及び/又は計算されたデータ、特徴、定義されたもの、導き出されたも の、及び/又は見たものを集めるための前記手段の主なものは、絶対的、半々、 及び可能性がある、と予め設定された一つ以上の階層順に配置された、内部又は 外部のキーエレメントの分類に従って、場合によっては前記手段によって、該デ ータの検出に直ぐにアクセス可能とし、これらは、 a.撮影/観察された画像を受理するための入力メモリー; b.拡大/縮小、固定及び/又は他の撮影によって受理した全ての画像を集め る一つのカメラ又は3D表示のた めの二つのカメラのための空間的メモリーであって、該画像は、水平及び垂直方 向の周縁座標として表現される輪郭画像として保存され、絶えず更新される、空 間的メモリー; c.既知の保存されている形状のための表の形式であるレジストリーであって 、定義され、及び/又は名前を与えられ、及び/又は別個に同定され(例えば、 物体、植物、生物、背景、サイン、現象等)、特別な順序で保存され、知られ、 キーエレメントに対して調節され得る、各形状の上方に隣接する画像、マップ、 サイン、及び/又はテキストデータを含み、画像及びマップは、形状のサイズ及 び撮影の距離に従って、撮影基準となるレジストリー; d.カラーフィルターにかけた後に得られる画像の一つを、運動、動作、及び 速度等の検出及び計算のために、等時間間隔でチェックする、所定時間間隔での 運動検出レジスター; e.例えば四角、階段形状等の既知の幾何学的形状を、好ましくは白黒で登録 する基本形状レジスター; f.1.色彩分離のためのレジスター;2.領域の輪郭及び同定前の領域を保 存するためのレジスター;3.「真性」表等の表のためのレジスターであって、 データ、定義、及び結論のための定義をセットし、結論を導き出すために、一つ の表の次に若しくは内部に次の表が配置されるレジスター;4.再発する形状の ため のデータ表のレジスター;5.キーエレメントのためのレジスター;を包含する データベース; g.アクセサリーデータのためのレジスター:1.スペースカウンター、コン パス等からの内部のもの;2.例えば拡大/縮小等のカメラからのもの、例えば 運動速度等のユーザーからのもの等の外部のもの;追加のアクセサリーデータ; のうちの一つ以上を含む、請求の範囲第9項及び第10項に記載のコンピュー タービジョン方法。 12.請求の範囲第9項から第10項に記載のコンピュータービジョン方法であっ て、前記データが、データとして定義することができるものであり、コンピュー タービジョンの要求及び所望の速度及びコンピューター言語(デジタル)に従っ て、画像から、計算、検出、特徴化から、定義及び結論から、スペースカウンタ ーから、プリンター、スピードメーター等の外部エレメントから、及び/又はコ ンパス、望遠鏡、距離計(以下補助手段と称する)等のシステムのアクセサリー から受理し得るものであり、及び以下のもの若しくは以下のものの組合せ: a.領域、又は領域の形状又は部分、又は形状の、方向(例えば北、南、東、 西、上方、下方、前方、後方、右、左)、及び座標システム、又はカメラ、又は 領域、又は形状に関する測定(例えば距離、幅、高さ、深さ、サイズ、比、及び 角度)、色彩(例えばカラーパーセ ンテージのレベル、カラー分散、散在するドット、スポット)、枠(輪郭)、動 作、運動、速度、位置、及び角度(例えば領域、形状、カメラによる); b.熱、放射線、声、匂い、及び味の特徴、現象、属性、検出; c.定義及び結論(例えば仮の名前、四角、階段、オブジェクト、車、はため いているもの、炎、水の流れ、生き物、四足歩行、成長、プライベート型の乗り 物の右側、時間の変化); のいずれかである請求の範囲第9項から第10項に記載のコンピュータービジ ョン方法。 13.請求の範囲第12項に記載のコンピュータービジョン方法であって、 未同定形状、及び/又は領域/形状全体において、及び又は包絡面において 、及び/又は内部において、何らかの動作(例えば動作、運動)が生じている形 状、及び画像中に見えている又は一部見えている形状に関する領域、特徴、定義 、及び結論の前記データの同定及び計算のための手段を含み、その全て、その一 部、その組合せが、キーエレメントデータと結合され、システムを操作し、且つ 見ている形状のサイズ、距離、拡大/縮小、及び撮影角度を、保存されている形 状のサイズ、距離、及び撮影角度に従ってマッチングさせるソフトウェアプログ ラム、電子サークル、及びルール、並びに転送及び3D表示のためのマルチメデ ィアの形式のソフトウェアプログラムによって実行される、請求の範囲第12項 に記載のコンピュータービジョン方法。 14.請求の範囲第12項及び第13項に記載のコンピュータービジョン方法であ って、 データ、特徴、定義、及び結論は、比較及びマッチングのための前記手段及 びソフトウェアプログラムによって、全てのデータ又はその一部を有するレジス ター/メモリーとマッチされ、予め決められた一つ以上の階層的順序の分類に従 って、絶対的か、半々か、又は可能性があるかの同定がキーエレメントによって 行われ、前記キーエレメントにより、場合によっては予め又は先の写真から知ら れている既知の領域、形状又はその一部のデータに関する情報に対して、領域、 形状、又はその一部を同定することができる、請求の範囲第12項及び第13項 に記載のコンピュータービジョン方法。 15.請求の範囲第9項から第14項に記載のコンピュータービジョン方法であっ て、 コンピューター、コンピューター構成要素、構成要素、電子サークル、プロ セッサー、コンピュータによるデータ処理システム等のうち一つ以上が、前記手 段の一つ以上又はその組合せを構成し;前記手段は、既知、新規、及び互換性の あるソフトウェアプログラムであり;撮影した画像から得たデータをデジタルデ ータに変換するための前記手 段;同一の視点及び/又は撮影した画像中に形成された点に関する色彩同一性の マッチング及び定義のための手段;特徴、定義、及び結論の同定のために距離及 び寸法を計算するための前記手段;サイズのマッチング及び撮影角度のマッチン グのための手段;運動、動作の形式について、運動を所定時間間隔で検出するた めの前記手段;「真性」表を取り扱うための前記手段;再発する形状を取り扱う ための前記手段;キー構成のためにデータを集めるための前記手段;比較及びマ ッチングのための前記手段;種々の形式の情報を保存するための前記手段;デー タを受理し、転送し、引出すための前記手段;前記手段は、電源、データ保護、 前記手段、システム等の保護を含む、請求の範囲第9項から第14項に記載のコ ンピュータービジョン方法。 16.請求の範囲第9項から第15項のいずれかに記載のコンピュータービジョン 方法であって、 領域、形状等について集められた計算、既知のデータ、特徴、定義を含む、 同定の前、間、及び後に集められた、受理及び保存された情報は、即時に又はわ ずかな時間の後に、情報の形式で、通常の態様で及び/又は立体的に、マルチメ ディアの形式で及び/又は3D形式で、搬送され、システムは、適当なインター フェース手段によって、ロボット、装置、盲人等のユーザーに、要求により及び /又は自動的に保護し及び/又は提供し、及び/又はアクセス可能である、請求 の範囲第9項から第15項のいずれかに記 載のコンピュータービジョン方法。 17.上記請求の範囲又は添付図面に、詳細に、描写し、言及し、説明し、図示し 、表示し、又は暗示した、本明細書に記載した新規な事項、又はその組合せを本 質的に含むコンピュータービジョンシステム及び方法。[Claims] 1. A stereoscopic computer vision system, comprising:   a. A pair of identical, aligned, and co-located cameras at a fixed distance M The camera has a shooting angle and an enlargement / reduction arranged on a coordinate axis. For a shadow camera, at a fixed distance M at any shooting distance, from (0: 0) Match the field of view and coordinates of the same site line in both cameras until (Y: X) And form an aligned, optically parallel field of view, the image of the camera Received by the input memory device in the computer, translated into computer language,   b. Based on step A, the pixels of the received image may be captured at the shooting speed and / or At other speeds, by available means, according to coordinates and space counters, Matches each of the previous images in the system's spatial memory registry If there is no match, update the system and enter the two Advance image matching,   c. On the basis of steps A and B, an unidentified area, that is, a certain movement is performed, For an area that is viewed simultaneously by two cameras, the system uses color and other image types. The camera searches for various features and captures them from the start of the line to its matching point. Based on the difference in the number of pixels Then, the distance is calculated, and the calculated distance indicates the sky represented by the pixel. Data such as the size of points in the interval can be calculated, and based on this, the area Size and distance can be calculated,   d. Based on the steps B and C, the points of the unidentified area and the registered images are mapped. When changing the distance between the camera and the surrounding environment and the distance between the two cameras, Therefore, there are points around the area that do not match, and these depth dots are Create contour lines and / or parting lines in addition to distances approximately equal to For regions, changes in color or darkness between regions and / or changes in region motion / motion The frame or outline of each region is detected and defined by available means. And can   e. Calculation, matching, definition setting, conclusion, depending on the available means One camera to collect additional data that allows the derivation of The video received from the camera is filtered by a color filter and copied for a certain period of time. Enters the motion identification register of the remote and is inspected at regular time intervals. Then, the frame or outline of the detected area is set to the reference shape register and size. And the data from this register allows, for example, It is possible to calculate the size and the movement / movement speed within a given time, additional data Data, part of the data entered, and Depending on the part of the data previously calculated / detected, the register of the table, e.g. Can be matched, for example, Object, moving object, and, for example, the size of an area Movement and / or movement in size and in the envelope and / or region Set definitions and draw conclusions for other key elements, such as whether Start out   f. Derived from ordered data, features, definitions, and conclusions By the key element, the register of the registered shape is provided. The area can be detected, matched and identified by the means   g. Unidentified regions are stored under a temporary name, and identified regions are identified as envelopes and / or Location, position and / or motion and / or motion within the shape In order to always track and monitor such changes, the first Refer to the coordinate data when scanning the dots and additional dots, and 3D computer vision system stored under the name of the identification area itself. 2. The computer vision system according to claim 1, wherein The pair and / or more cameras may be housed in a single case, Is separate Often, the camera is similar to a video camera such as a CCD camera, A complex to convert the data received from the video captured by La to digital data A camera comprising means,   a) at various speeds, with various lights such as infrared (IR), visible light, etc. and insufficient Under any lighting conditions, such as light intensity, the light amplification means Fit;   b) a magnification or reduction device including telescope or microscope means;   c) linear, convex or concave optical image with the desired resolution   The computer vision of claim 1, comprising one or more of the following. system. 3. A computer vision system according to claim 1 or claim 2. What     Detected and / or calculated data, features, definitions, derived The main means of collecting said and / or seen things are absolute, half- And possibly, arranged in the order of one or more hierarchies preset, internal or According to the classification of the external key element, and possibly by said means, Data access immediately, and these   a. Input memory for receiving captured / observed images;   b. Collect all images received by scaling / fixing and / or other shooting One camera or 3D display Spatial memory for two cameras, the images being stored in horizontal and vertical directions. Sky, stored and constantly updated as a contour image, expressed as perimeter coordinates Interim memory;   c. A registry in the form of a table for known stored shapes, , Defined and / or given a name and / or separately identified (e.g., Objects, plants, organisms, backgrounds, signs, phenomena, etc.), stored in a special order, known, Images, maps, adjacent above each shape, which can be adjusted for key elements Images and maps, including signatures and / or text data, may be Registry based on shooting distance and shooting distance;   d. One of the images obtained after applying the color filter, movement, movement, and Check at equal time intervals for detection and calculation of speed, etc. Motion detection register;   e. Register known geometric shapes such as squares, steps, etc., preferably in black and white Basic shape register to do;   f. 1. Register for color separation; 2. Preserve the outline of the area and the area before identification. 2. register to live; A register for a table such as an "intrinsic" table, One set of data, definitions, and definitions for conclusions, to draw conclusions 3. The register in which the next table is placed next to or inside the above table; Recurring shape For 4. data table registers; A register for the key element; Database;   g. Register for accessory data; Space counter, con 1. Internal from path etc .; For example, from a camera for enlargement / reduction, for example External things such as those from the user such as exercise speed; additional accessory data;   3. A computer as claimed in claim 1 and claim 2 comprising one or more of the following. -Vision system. 4. The computer vision system according to claim 1, wherein: Thus, the data can be defined as data, According to the requirements and the desired speed and computer language (digital) From images, from calculations, detection, characterization, from definitions and conclusions, From external elements such as printers, speedometers, and / or System accessories such as compass, telescope, distance meter (hereinafter referred to as auxiliary means) And the following or a combination of the following:   a. The direction of the region, or the shape or portion of the region, or the shape (eg, north, south, east, West, up, down, forward, backward, right, left) and coordinate system, or camera, or Area or shape measurements (eg, distance, width, height, depth, size, ratio, and Angle), color (for example, color Level, color dispersion, scattered dots, spots), frame (outline), dynamic Work, motion, speed, position, and angle (eg, by area, shape, camera);   b. Heat, radiation, voice, smell, and taste characteristics, phenomena, attributes, and detection;   c. Definitions and conclusions (eg temporary names, squares, stairs, objects, cars, Living things, fire, water flow, creatures, quadruped, growth, private riding Right side of the object, change of time);   The computer vision according to any one of claims 1 to 3, wherein System. 5. The computer vision system according to claim 4, wherein:     In unidentified shapes, and / or entire regions / shapes, and / or in envelopes And / or the form in which some movement (eg, movement, movement) occurs Regions, features, and definitions related to shapes and shapes that are visible or partially visible in the image And means for the identification and calculation of said data of conclusions, all of which Unit, its combination is combined with the key element data to operate the system, and The size, distance, scaling, and shooting angle of the shape being viewed Software program to match according to shape size, distance and shooting angle Ram, e-circle, and rules, and multimedia for transfer and 3D display Claim 4 when executed by a software program in the form of a media The computer vision system as described. 6. A computer vision system according to claim 4 or claim 5. What     The data, features, definitions, and conclusions are based on the means and methods for comparison and matching. Registering all or part of the data, depending on the Data / memory and according to one or more predetermined hierarchical order classifications Therefore, the identification of absolute, half, or potential by key elements Performed by the key elements, possibly in advance or from previous pictures For information on known areas, shapes or partial data that are Claims 4 and 5 that can identify a shape or a part thereof. Computer vision system. 7. The computer vision system according to claim 1, wherein: What     Computer, computer component, component, electronic circle, professional One or more of a processor, a computer-based data processing system, etc. Constitute one or more of the steps or a combination thereof; said means are known, new, and compatible. A software program; captured image Said means for converting data obtained from the same into digital data; Or matching and definition of color identity for points formed in the captured image Means for calculating distances and dimensions for identification of features, definitions, and conclusions Means for size matching and matching of shooting angle; motion Said means for detecting movement at predetermined time intervals for the type of movement; Means for handling tables; means for handling recurring shapes; keys Said means for collecting data for construction; said means for comparison and matching Means for storing information in various forms; receiving and transferring data; Said means for withdrawing; said means for power, data protection, said means, system, etc. 7. The computer vision system according to claim 1, which includes protection of the computer vision system. Stem. 8. A computer vision system according to any one of claims 1 to 7. The stem,     Including calculations, known data, features, and definitions collected for regions, shapes, etc. Accepted and compromised information collected before, during, and after identification may be After a short time, in the form of information, in the usual way and / or in the form of multimedia Transported in a stereoscopic manner and / or in a 3D format, the system may By face means, to users such as robots, devices, blind people, etc. on demand And / or automatically stored and / or provided and / or accessible The computer business according to any one of claims 1 to 7, wherein the computer business System. 9. A stereoscopic computer vision method, comprising:   a. A pair of identical, aligned, and co-located cameras at a fixed distance M The camera has a shooting angle and an enlargement / reduction arranged on a coordinate axis. For a shadow camera, at a fixed distance M at any shooting distance, from (0: 0) Match the field of view and coordinates of the same site line in both cameras until (Y: X) And form an aligned, optically parallel field of view, the image of the camera Received by the input memory device in the computer, translated into computer language,   b. Based on step A, the pixels of the received image may be captured at the shooting speed and / or At other speeds, by available means, according to coordinates and space counters, Matches each of the previous images in the system's spatial memory registry If there is no match, update the system and enter the two Advance image matching,   c. On the basis of steps A and B, an unidentified area, that is, a certain movement is performed, For an area that is viewed simultaneously by two cameras, the system uses color and other image types. The camera searches for various features and captures them from the start of the line to its matching point. Based on the difference in the number of pixels Then, the distance is calculated, and the calculated distance indicates the sky represented by the pixel. Data such as the size of points in the interval can be calculated, and based on this, the area Size and distance can be calculated,   d. Based on the steps B and C, the points of the unidentified area and the registered images are mapped. When changing the distance between the camera and the surrounding environment and the distance between the two cameras, Therefore, there are points around the area that do not match, and these depth dots are Create contour lines and / or parting lines in addition to distances approximately equal to For regions, changes in color or darkness between regions and / or changes in region motion / motion The frame or outline of each region is detected and defined by available means. And can   e. Calculation, matching, definition setting, conclusion, depending on the available means One camera to collect additional data that allows the derivation of The video received from the camera is filtered by a color filter and copied for a certain period of time. Enters the motion identification register of the remote and is inspected at regular time intervals. Then, the frame or outline of the detected area is set to the reference shape register and size. And the data from this register allows, for example, It is possible to calculate the size and the movement / movement speed within a given time, additional data Data, part of the data entered, and Depending on the part of the data previously calculated / detected, the register of the table, e.g. Can be matched, for example, Object, moving object, and, for example, the size of an area Movement and / or movement in size and in the envelope and / or region Set definitions and draw conclusions for other key elements, such as whether Start out   f. Derived from ordered data, features, definitions, and conclusions By the key element, the register of the registered shape is provided. The area can be detected, matched and identified by the means   g. Unidentified regions are stored under a temporary name, and identified regions are identified as envelopes and / or Location, position and / or motion and / or motion within the shape In order to always track and monitor such changes, the first Refer to the coordinate data when scanning the dots and additional dots, and 3D computer vision method, saved under the name of the identification area itself. Ten. The computer vision system according to claim 9, wherein the computer vision system The pair and / or more cameras may be housed in a single case, Is separate Often, the camera is similar to a video camera such as a CCD camera, A complex to convert the data received from the video captured by La to digital data A camera comprising means,   a) at various speeds, with various lights such as infrared (IR), visible light, etc. and insufficient Under any lighting conditions, such as light intensity, the light amplification means Fit;   b) a magnification or reduction device including telescope or microscope means;   c) linear, convex or concave optical image with the desired resolution   10. The computer vision of claim 9, comprising one or more of the following. Method. 11. A computer vision method according to claims 9 and 10. hand,     Detected and / or calculated data, features, definitions, derived The main means of collecting said and / or seen things are absolute, half- And possibly, arranged in the order of one or more hierarchies preset, internal or According to the classification of the external key element, and possibly by said means, Data access immediately, and these   a. Input memory for receiving captured / observed images;   b. Collect all images received by scaling / fixing and / or other shooting One camera or 3D display Spatial memory for two cameras, the images being stored in horizontal and vertical directions. Sky, stored and constantly updated as a contour image, expressed as perimeter coordinates Interim memory;   c. A registry in the form of a table for known stored shapes, , Defined and / or given a name and / or separately identified (e.g., Objects, plants, organisms, backgrounds, signs, phenomena, etc.), stored in a special order, known, Images, maps, adjacent above each shape, which can be adjusted for key elements Images and maps, including signatures and / or text data, may be Registry based on shooting distance and shooting distance;   d. One of the images obtained after applying the color filter, movement, movement, and Check at equal time intervals for detection and calculation of speed, etc. Motion detection register;   e. Register known geometric shapes such as squares, steps, etc., preferably in black and white Basic shape register to do;   f. 1. Register for color separation; 2. Preserve the outline of the area and the area before identification. 2. register to live; A register for a table such as an "intrinsic" table, One set of data, definitions, and definitions for conclusions, to draw conclusions 3. The register in which the next table is placed next to or inside the above table; Recurring shape For 4. data table registers; A register for the key element; Database;   g. Registers for accessory data: 1. Space counter, con 1. Internal from path etc .; For example, from a camera for enlargement / reduction, for example External things such as those from the user such as exercise speed; additional accessory data;   A computer as claimed in claim 9 or claim 10, comprising one or more of the following: Tarvision method. 12. A computer vision method according to claim 9 or claim 10. The data can be defined as data; According to the requirements of the vision and the desired speed and computer language (digital) From images, from calculations, detection, characterization, from definitions and conclusions, space counters From external elements such as printers, speedometers, and / or Accessories for systems such as a pass, a telescope, and a distance meter (hereinafter referred to as auxiliary means) And the following or a combination of the following:   a. The direction of the region, or the shape or portion of the region, or the shape (eg, north, south, east, West, up, down, forward, backward, right, left) and coordinate system, or camera, or Area or shape measurements (eg, distance, width, height, depth, size, ratio, and Angle), color (for example, color Level, color dispersion, scattered dots, spots), frame (outline), dynamic Work, motion, speed, position, and angle (eg, by area, shape, camera);   b. Heat, radiation, voice, smell, and taste characteristics, phenomena, attributes, and detection;   c. Definitions and conclusions (eg temporary names, squares, stairs, objects, cars, Living things, fire, water flow, creatures, quadruped, growth, private riding Right side of the object, change of time);   The computer business according to any one of claims 9 to 10, which is one of the following: Option. 13. A computer vision method according to claim 12, wherein:     In unidentified shapes, and / or entire regions / shapes, and / or in envelopes And / or the form in which some movement (eg, movement, movement) occurs Regions, features, and definitions related to shapes and shapes that are visible or partially visible in the image And means for the identification and calculation of said data of conclusions, all of which Unit, its combination is combined with the key element data to operate the system, and The size, distance, scaling, and shooting angle of the shape being viewed Software program to match according to shape size, distance and shooting angle Ram, e-circle, and rules, and multimedia for transfer and 3D display Claim 12 when executed by a software program in the form of a media Computer vision method according to. 14. The computer vision method according to claim 12 or claim 13. What     The data, features, definitions, and conclusions are based on the means and methods for comparison and matching. Registering all or part of the data, depending on the Data / memory and according to one or more predetermined hierarchical order classifications Therefore, the identification of absolute, half, or potential by key elements Performed by the key elements, possibly in advance or from previous pictures For information on known areas, shapes or partial data that are Claims 12 and 13 wherein the shape, or a part thereof, can be identified. Computer vision method according to. 15. The computer vision method according to claim 9, wherein: hand,     Computer, computer component, component, electronic circle, professional One or more of a processor, a computer-based data processing system, etc. Constitute one or more of the steps or a combination thereof; said means are known, new, and compatible. A software program; data obtained from captured images is Said hand to convert to data Step; color identity for the same viewpoint and / or points formed in the captured image Means for matching and definition; distance and distance for identification of features, definitions, and conclusions Means for calculating size and dimensions; size matching and shooting angle match Means for detecting the movement at predetermined time intervals for the form of movement and movement Means for handling "intrinsic" tables; handling recurring shapes Said means for collecting data for key construction; comparison and mapping. Said means for switching; said means for storing various forms of information; Said means for receiving, transferring and withdrawing data; said means comprising power, data protection, The method according to claims 9 to 14, which includes protection of said means, system and the like. Computer vision method. 16. Computer vision according to any one of claims 9 to 15 The method     Including calculations, known data, features, and definitions collected for regions, shapes, etc. Accepted and stored information collected before, during, and after identification may be immediate or After a short time, in the form of information, in the usual way and / or stereoscopically, the multimedia Transported in media format and / or in 3D format, the system is By face means, to users such as robots, devices, blind people, etc. on demand Claims that are automatically protected and / or provided and / or accessible Any of paragraphs 9 to 15 Computer vision method. 17. Detailed description, reference, description and illustration in the appended claims or accompanying drawings New, implied, stated, or implied herein, or combinations thereof. Computer vision systems and methods, including qualitatively.
JP9518719A 1995-11-14 1996-11-12 Computer stereo vision system and method Pending JP2000500236A (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IL11597195A IL115971A (en) 1995-11-14 1995-11-14 Computer stereo vision system and method
IL115971 1995-11-14
PCT/IL1996/000145 WO1997018523A2 (en) 1995-11-14 1996-11-12 Computer stereo vision system and method

Publications (1)

Publication Number Publication Date
JP2000500236A true JP2000500236A (en) 2000-01-11

Family

ID=11068178

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9518719A Pending JP2000500236A (en) 1995-11-14 1996-11-12 Computer stereo vision system and method

Country Status (8)

Country Link
EP (1) EP0861415A4 (en)
JP (1) JP2000500236A (en)
KR (1) KR19990067273A (en)
CN (1) CN1202239A (en)
AU (1) AU738534B2 (en)
BR (1) BR9611710A (en)
IL (1) IL115971A (en)
WO (1) WO1997018523A2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101910484B1 (en) 2015-06-26 2018-10-22 코그넥스코오포레이션 A method for three dimensional (3d) vision inspection

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE29918341U1 (en) * 1999-10-18 2001-03-01 Tassakos Charalambos Device for determining the position of measuring points of a measuring object relative to a reference system
KR100374408B1 (en) * 2000-04-24 2003-03-04 (주) 케이앤아이테크놀로지 3D Scanner and 3D Image Apparatus using thereof
ATE412955T1 (en) * 2000-05-23 2008-11-15 Munroe Chirnomas METHOD AND DEVICE FOR POSITIONING AN ARTICLE HANDLING DEVICE
CN1292941C (en) * 2004-05-24 2007-01-03 刘新颜 Rear-view device of automobile
CN100447820C (en) * 2005-08-04 2008-12-31 浙江大学 Bus passenger traffic statistical method based on stereoscopic vision and system therefor
TWI327536B (en) 2007-05-16 2010-07-21 Univ Nat Defense Device and method for detecting obstacle by stereo computer vision
CN104427960B (en) 2011-11-04 2017-11-24 马萨诸塞眼科耳科诊所 Self-adaptive visual servicing unit
CN102592121B (en) * 2011-12-28 2013-12-04 方正国际软件有限公司 Method and system for judging leakage recognition based on OCR (Optical Character Recognition)
CN102799183B (en) * 2012-08-21 2015-03-25 上海港吉电气有限公司 Mobile machinery vision anti-collision protection system for bulk yard and anti-collision method
CN103679742B (en) * 2012-09-06 2016-08-03 株式会社理光 Method for tracing object and device
CN102937811A (en) * 2012-10-22 2013-02-20 西北工业大学 Monocular vision and binocular vision switching device for small robot
US20160260049A1 (en) 2015-03-06 2016-09-08 Wal-Mart Stores, Inc. Shopping facility assistance systems, devices, and methods to dispatch and recover motorized transport units that effect remote deliveries
WO2016142794A1 (en) 2015-03-06 2016-09-15 Wal-Mart Stores, Inc Item monitoring system and method
US20180099846A1 (en) 2015-03-06 2018-04-12 Wal-Mart Stores, Inc. Method and apparatus for transporting a plurality of stacked motorized transport units
US11158039B2 (en) 2015-06-26 2021-10-26 Cognex Corporation Using 3D vision for automated industrial inspection
CN106610522A (en) * 2015-10-26 2017-05-03 南京理工大学 Three-dimensional microscopic imaging device and method
CA2961938A1 (en) 2016-04-01 2017-10-01 Wal-Mart Stores, Inc. Systems and methods for moving pallets via unmanned motorized unit-guided forklifts
JP2018041247A (en) * 2016-09-07 2018-03-15 ファナック株式会社 Server, method, program, and system for recognizing individual identification information of machine
CN107145823A (en) * 2017-03-29 2017-09-08 深圳市元征科技股份有限公司 A kind of image-recognizing method, pattern recognition device and server
CN106940807A (en) * 2017-04-19 2017-07-11 深圳市元征科技股份有限公司 A kind of processing method and processing device based on mirror device of looking in the distance
CN114543684B (en) * 2022-04-26 2022-07-12 中国地质大学(北京) Structural displacement measuring method

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4601053A (en) * 1983-11-21 1986-07-15 Grumman Aerospace Corporation Automatic TV ranging system
JPS60200103A (en) * 1984-03-26 1985-10-09 Hitachi Ltd Light cutting-plate line extraction circuit
JPH07109625B2 (en) * 1985-04-17 1995-11-22 株式会社日立製作所 3D stereoscopic method
US4924506A (en) * 1986-07-22 1990-05-08 Schlumberger Systems & Services, Inc. Method for directly measuring area and volume using binocular stereo vision
JPS63288683A (en) * 1987-05-21 1988-11-25 株式会社東芝 Assembling robot
US4982438A (en) * 1987-06-02 1991-01-01 Hitachi, Ltd. Apparatus and method for recognizing three-dimensional shape of object
US4900128A (en) * 1988-11-01 1990-02-13 Grumman Aerospace Corporation Three dimensional binocular correlator
JPH04207866A (en) * 1990-11-30 1992-07-29 Toshiba Corp Image processor
US5179441A (en) * 1991-12-18 1993-01-12 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Near real-time stereo vision system
US5309522A (en) * 1992-06-30 1994-05-03 Environmental Research Institute Of Michigan Stereoscopic determination of terrain elevation

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101910484B1 (en) 2015-06-26 2018-10-22 코그넥스코오포레이션 A method for three dimensional (3d) vision inspection

Also Published As

Publication number Publication date
WO1997018523A2 (en) 1997-05-22
CN1202239A (en) 1998-12-16
AU738534B2 (en) 2001-09-20
IL115971A0 (en) 1996-01-31
KR19990067273A (en) 1999-08-16
WO1997018523A3 (en) 1997-07-24
AU7331696A (en) 1997-06-05
BR9611710A (en) 1999-12-28
EP0861415A4 (en) 2000-10-25
IL115971A (en) 1997-01-10
EP0861415A2 (en) 1998-09-02

Similar Documents

Publication Publication Date Title
JP2000500236A (en) Computer stereo vision system and method
CN101833896B (en) Geographic information guide method and system based on augment reality
CN104330074B (en) Intelligent surveying and mapping platform and realizing method thereof
US7233691B2 (en) Any aspect passive volumetric image processing method
KR102200299B1 (en) A system implementing management solution of road facility based on 3D-VR multi-sensor system and a method thereof
EP3274964B1 (en) Automatic connection of images using visual features
CN105488775A (en) Six-camera around looking-based cylindrical panoramic generation device and method
CN101422035A (en) Image high-resolution upgrading device, image high-resolution upgrading method, image high-resolution upgrading program and image high-resolution upgrading system
WO2004042662A1 (en) Augmented virtual environments
JP2010109783A (en) Electronic camera
JP7273927B2 (en) Image-based positioning method and system
KR100545048B1 (en) System for drawing blind area in aerial photograph and method thereof
WO2020151268A1 (en) Generation method for 3d asteroid dynamic map and portable terminal
CN114969221A (en) Method for updating map and related equipment
JP4996922B2 (en) 3D visualization
US11703820B2 (en) Monitoring management and control system based on panoramic big data
CN109035307A (en) Setting regions target tracking method and system based on natural light binocular vision
WO2021129142A1 (en) Building based outdoor positioning method, device and mobile equipment
JP3156645B2 (en) Information transmission type landscape labeling device and system
WO2023088127A1 (en) Indoor navigation method, server, apparatus and terminal
CN116843867A (en) Augmented reality virtual-real fusion method, electronic device and storage medium
CN113256811B (en) Building modeling method, building modeling apparatus, and computer-readable storage medium
JP3114862B2 (en) An interactive landscape labeling system
CN115004683A (en) Imaging apparatus, imaging method, and program
CN117115274B (en) Method, device, equipment and storage medium for determining three-dimensional information