JP2018007253A - カメラを較正するコンピュータ実装方法 - Google Patents

カメラを較正するコンピュータ実装方法 Download PDF

Info

Publication number
JP2018007253A
JP2018007253A JP2017126752A JP2017126752A JP2018007253A JP 2018007253 A JP2018007253 A JP 2018007253A JP 2017126752 A JP2017126752 A JP 2017126752A JP 2017126752 A JP2017126752 A JP 2017126752A JP 2018007253 A JP2018007253 A JP 2018007253A
Authority
JP
Japan
Prior art keywords
computer
camera
target area
calibration
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017126752A
Other languages
English (en)
Other versions
JP7195728B2 (ja
JP2018007253A5 (ja
Inventor
ドガニス フィヴォス
Doganis Fivos
ドガニス フィヴォス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dassault Systemes SE
Original Assignee
Dassault Systemes SE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dassault Systemes SE filed Critical Dassault Systemes SE
Publication of JP2018007253A publication Critical patent/JP2018007253A/ja
Publication of JP2018007253A5 publication Critical patent/JP2018007253A5/ja
Application granted granted Critical
Publication of JP7195728B2 publication Critical patent/JP7195728B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • G06T2207/30208Marker matrix
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

【課題】カメラを較正するコンピュータ実装方法を提供する。
【解決手段】ビデオストリームをカメラ(CAM)から取得し、スクリーン(DY)上に表示するステップと、スクリーン上に、ビデオストリームに重ね合わされる、目標エリア102の表現を表示するステップと、較正パターン100をビデオストリーム内で検出し、それが較正エリアの中で適合するかどうかを周期的にチェックするステップと、較正パターンが較正エリアの中で適合することが見出されたときに、その較正パターンの画像をビデオストリームから抽出するステップとを備える。較正パターンを担持する物理的支持体101の異なる位置に対応する、それぞれの目標エリアを使用して複数回反復され、カメラの内部較正パラメータを、それらの画像を処理することにより推定するステップを備える。
【選択図】図3

Description

本発明は、カメラを較正するためのコンピュータ実装方法に関する。より正確には、本発明は、デジタルカメラの「内部(intrinsic)」較正に、すなわち、焦点長、主点、および任意選択により、歪みパラメータを含む、その光学応答を決定するパラメータの推定に関する。
本発明は、例えば、仮想物体を表す、3Dコンピュータ生成される画像が、ビデオカメラにより捕捉される画像の上部に重ねられる、拡張現実(AR)の分野に適用される。仮想画像および実画像を、最も現実的な方法で合体させるために、ビデオカメラの正確な較正が要される。実際のところARは、仮想3D物体をレンダリングするために使用される、仮想カメラを規定することを必要とする。この仮想カメラは、背景でレンダリングされる実世界を捕捉するために使用される実カメラと、可能な限り接近してマッチングしなければならない。カメラの製造者により提供されるデータは、普通は、満足がいく結果を与えるには正確さが不充分であり、較正に頼ることを必要とする。
カメラ較正は、全面的に精度に関するものである。良好に較正されたカメラなしでは、レンダリングされる物体は、それらが実際のものであるかのようには見えず、ユーザ体験が台無しにされる。
拡張現実は、特に要求の厳しい用途であるが、正確なカメラ較正を要する唯一のものではない。他の用途は、例えば、3Dボリューム再構築を含み、その場合カメラは多くの場合、深度カメラである。
本発明は、1つまたは数個の特定の用途に制限されず、それは、ビデオカメラの正確な較正が要されるときはいつでも有用であり得る。
カメラ較正を行うために使用される最も普及した技法は、Zhangのアルゴリズムとして知られており、非特許文献1による論文で説明されている。
この技法を使用してカメラを較正するために、ユーザは、以下のことを行わなければならない。
1.レーザプリンタを使用して、較正パターン(典型的には、黒および白要素の規則的配列)を印刷する、
2.印刷されたパターンを測定して、そのサイズが、プリンタによりスケールを変更されていないということを確実にする、
3.パターンを、堅い厚紙、木の小片、または、さらに良好には、ガラスなどの、堅い表面上に糊着し、パターンが(例えば、紙とパターンとの間に気泡がないということをチェックすることにより)直線的なままであるということを確実にする、
4.パターンをカメラの前部で位置設定し、それをあちこちに動かして、その向きおよび位置を変化させる、
5.パターンの、数個の異なる位置および向き(「ポーズ(pose)」)に対応する画像を捕捉する、ならびに、
6.画像を、上記で参照された論文で詳細に説明されている数学的アルゴリズムによって処理する。
処理ステップは、それ自体だけで、既存のソフトウェアを使用して容易に実行され得る。較正パターンを製造することは、長々しいことがあるが、特に困難ではない。実際のところ、較正プロセスの、最も困難で時間を消費する部分は、ステップ4および5、すなわち、パターンを位置設定すること、および、その画像の適したセットを取得することにより構成される。実際のところ、良好な画像分布を考慮しながら、パターンの多くの異なる写真を撮影することは非常に困難であり、少なすぎる画像は、正しくない、または、少なくとも正確でないカメラ較正に至ることになり、同様のポーズの多すぎる画像は、パラメータの推定でのバイアスに至ることがある。さらに、画像の相当量の割合が、例えば、パターンの部分が可視でないので、較正アルゴリズムにより活用可能でないことが判明し、そのことが較正セットのサイズを低減するというリスクがある。したがって、一般的な推奨は、そのエラーおよびバイアスが、プロセスにおいて平均的な線に落ち着くことを希望して、可能な限り多くの写真を撮影することである。さらには、較正は再現性を欠き、同じカメラを較正する2人のユーザ(または、それを2回較正する同じユーザ)は、ポーズの異なるセットを使用し、したがって、わずかに異なる較正パラメータを見出すことになる。
特許文献1もまた、パターンの複数の画像での歪みを検出することによりカメラを較正する方法を説明している。
経験豊富な人によるいかなる案内もなしでは、初心者ユーザは、結局は何度も何度も不正確なカメラ較正をすることになり、時間がかかり、苛立ちを感じることになる。
さらに、人が較正を単独で行うことは困難である。ほとんどの場合、少なくとも2人の人々が必要であり、一方の人が、カメラの前部で、要求されるポーズでパターンを保ち、他方の人が、画像の取得を、例えばキーを押すことによりトリガする。両方の作業を一度に行おうとする人は、十中八九、画像取得をトリガするときに、パターンを無計画に動かすことで終了することになる。
米国特許第8106968号明細書
Z. Zhang "A Flexible New Technique for Camera Calibration." IEEE Transactions on Pattern Analysis and Machine Intelligence. Vol. 22, No. 11, 2000, pp. 1330−1334) A. Datta et al. "Accurate Camera Calibration using Iterative Refinement of Control Points" IEEE 12th International Conference on Computer Vision Workshops (ICCV Workshops), 2009
本発明は、従来技術のこれらの欠点を解決することを目的とする。それは、この狙いを、複雑なカメラ較正プロセスを通してユーザを案内する、カメラ較正「ウィザード」、すなわち、ソフトウェアアシスタントを提供することにより達成する。ユーザに、可能な限り多くのポーズの多くの写真を撮影させ、次いで、無効または冗長と考えられるものを断らせる代わりに、本発明は、ユーザに、コンピュータスクリーン上に連続的に表示される目標エリアにより具現される、要求されるポーズのあらかじめ決定されたセットを提供する。スクリーンを通して提供される視覚フィードバックは、ユーザが、物理的較正パターンを、表示される目標エリアに対して位置合わせすることを援助し、ソフトウェアは、いつ較正パターンが、現在表示されている目標エリアに対して、その画像を取得し、次いで、後に続く目標エリアを表示する前に、正しく位置合わせされるかを検出する。それぞれのポーズに関連付けられる、すべてのあらかじめ決定された目標エリアが表示されており、対応するパターン画像が取得されていると、較正アルゴリズム(ステップ6)は、従来技術でのように、ただし、適した(普通は、最適な、または最適に近い)較正セットを使用することの保証を伴って実行され得る。適正な較正が、Zhangのアルゴリズム、または、任意の他の適した方法を使用して行われ得る。
本発明は、較正プロセスを単純化および加速し、一方で、その品質、信頼性、および再現性を改善する。
− 較正ポーズおよび手順の完全な制御を維持することにより、それは、ポーズが別個であることになり、パターンが、それらの各々に対して良好に検出されることを保証する。同じように、これは、較正結果は信頼性が高く、較正品質は予測可能であるということを確実にし得る。
− ユーザは前もって、どれだけ多くのステップが、手順の終了の前に残されているかを知り、苛立ちを回避する。
− 画像取得は、パターンが、的確な位置にある(それが、目標エリアに適合する)ときに自動的にトリガされ、そのことは、較正が、単一のユーザにより、エラーの最小限のリスクを伴って行われることを可能とする。
− ポーズは、較正を行うコンピュータシステムによりあらかじめ決定され提案されるので、ユーザは、いかなる個別の専門技術も有することを必要とせず、較正の精度はおおむねユーザに依存しない。
− ポーズの数はかなり低く、例えば10から20の間であってもよく、本発明者は、11個の適するように選定されたポーズが、カメラの焦点長を0.01°の精度によって較正することを可能とするということを実験的に見出している。結果として、全体のポーズ取得プロセスは、数分をとるのみであり得る。
本発明の目的は、次いで、カメラを較正するコンピュータ実装方法であって、
a.ビデオストリームを前記カメラから取得し、それをスクリーン上に表示するステップと、
b.スクリーン上に、ビデオストリームに重ね合わされる、目標エリアの表現を表示するステップと、
c.較正パターンをビデオストリーム内で検出し、それが、目標エリアの中で適合するかどうかを周期的にチェックするステップと、
d.較正パターンが目標エリアの中で適合することが見出されたときに、その較正パターンの画像をビデオストリームから抽出し、それを記憶するステップと
を備え、
前記ステップa.からd.は、互いに異なる、および、カメラの視野の中の、較正パターンを担持する物理的支持体の異なる位置に対応する、それぞれの目標エリアを使用して複数回反復され、コンピュータ実装方法は、次いで、
e.カメラの内部較正パラメータを、記憶された画像を処理することにより推定するステップ
を備えるコンピュータ実装方法である。
本発明の個別の実施形態によれば、
− 前記ステップc.は、較正パターンが、目標エリアの少なくともあらかじめ決定された割合を満たすかどうかをチェックするステップを備え得る。
− 前記ステップc.は、較正パターンの少なくとも1つの縁部を検出し、目標エリアの対応する縁部とのその平行度をチェックするステップを備え得る。
− 前記ステップc.は、較正パターンの少なくとも2つの縁部を検出し、前記縁部の間の角度を測定し、それを、目標エリアの2つの対応する縁部の間の角度と比較するステップを備え得る。
− 前記ステップc.は、較正パターンの少なくとも1つの隅部を検出し、目標エリアの対応する隅部に対するその近接度をチェックするステップを備え得る。
− 方法は、較正パターンの点と、目標エリアの対応する点との間の距離;較正パターンの点を、目標エリアの対応する点と合致させるために要される並進の方向;および、較正パターンの幾何学的要素と、目標エリアの幾何学的要素との間の対応関係の、少なくとも1つを指示する、少なくとも1つのグラフィカルパターンを、スクリーン上に表示するステップc’をさらに備え得る。
− ステップa.からd.は、10から20の間で備えられるいくつかの回数、前記物理的支持体の異なる位置に対応する、それぞれの目標エリアを使用して反復され得る。
− 物理的支持体の前記位置の少なくとも過半数は、カメラの光学軸に垂直でも平行でもないものであり得る。
− 前記較正パターンは、平面パターンであり得る。
− 前記ステップe.は、Zhangのアルゴリズムを使用して実行され得る。
本発明の別の目的は、カメラにインターフェイス接続されるコンピュータシステムに、そのような方法を実行させるための、コンピュータ実行可能命令を備えるコンピュータ可読データ記憶媒体上に記憶されるコンピュータプログラム製品である。
本発明の別の目的は、カメラにインターフェイス接続されるコンピュータシステムに、そのような方法を実行させるための、コンピュータ実行可能命令を含むコンピュータ可読データ記憶媒体である。
本発明のさらに別の目的は、メモリと、スクリーンと、カメラとに結合されるプロセッサを備えるコンピュータシステムであって、メモリは、コンピュータシステムに、そのような方法を実行することによりカメラを較正させるための、コンピュータ実行可能命令を記憶するコンピュータシステムである。
本発明の追加的な特徴部および利点は、添付の図面と関連した後続の説明から明らかとなろう。
従来技術から知られている較正パターンを示す図である。 本発明の実施形態による較正方法で使用される、図1の較正パターンの11個のポーズのセットを示す図である。 較正されるカメラにより取得され、図1による較正パターンをカメラの前部で保持するユーザを示すシーン、および、このシーンに重ね合わされる、目標エリアを表示する、コンピュータスクリーンを示す図である。 同様のシーンを表示するが、較正パターンは目標エリアに適合するように動かされている、図3のコンピュータスクリーンを示す図である。 同様のシーンを表示するが、目標エリアの外観はユーザに較正画像が取得されたということを通知するために変化している、図3および4のコンピュータスクリーンを示す図である。 図3と同じシーンを表示する、図3から5のコンピュータスクリーンを示す図であり、そのシーンに対して、グラフィカルパターンのセットが、ユーザを較正パターンの位置設定において支援するために重ねられている。 本発明の実施形態による方法を実行するのに適したコンピュータシステムのブロック図である。
図1は、白背景上の黒ディスクの規則的配列により形成される較正パターン100を示す。他のパターン、例えば、市松模様または格子が、本発明を実行するために使用され得るが、これは、最良の精度を最小限の数のポーズによって提供するので、特に有利であることが判明しており、非特許文献2を確認されたい。このパターンは、例えば堅い厚紙パネルであり得る、物理的支持体101により担持される。3次元(すなわち、意図的に非平面の)較正パターンが、さらには使用され得るが、推奨されない。例えば明滅する光源を備える、「アクティブ」較正パターンが、さらには使用され得る。
上記で解説されたように、発明的なコンピュータプログラムは、較正パターンを数個の異なるポーズで、較正されるカメラの視野の中で配置するように、ユーザを導く。図2は、較正を迅速に、それにもかかわらず正確に行うことを可能とする、図1のパターンに対する11個のポーズのセットを示す。第1のポーズ(順序は重要ではないが)は、カメラに、視野の中央で面するパターンに対応し、パターンの平面は、カメラの焦点軸に垂直である(特に凝視すると、パターンは、焦点平面内に、または、それに平行で近い平面内に在る)。第2および第3のポーズは、パターンを、それぞれ左の方に、および右の方に傾け、一方で、それを視野の中央の近くに保つことにより獲得される。第4の(第5の)ポーズは、第2の(第3の)ものと同様であるが、パターンは、より多く回され、さらには、視野の右(左)の方にずらされる。第6の(第7の)ポーズは、パターンを上方に(下方に)回し、それを視野の下部(上部)の方にずらすことにより獲得される。第8の、第9の、第10の、および第11のポーズでは、パターンは、おそらくは矩形の、視野の、隅部の方にずらされ、その中央の方に傾斜させられる。第1のポーズを除くすべては、パターンが焦点平面に平行でないので、遠近感を誘発するものであり、遠近感を伴わない第1のポーズは、レンズ歪みを推定するために有用である。
ポーズの他のセットが、本発明の範囲から逸脱することなく使用され得る。有利にはセットは、すべてが互いに異なる(精度を確実にするために)10より少なくない、および(プロセスの過大な継続期間を回避するために)20より多くないポーズを備え得る。
本発明によれば、ユーザは、彼/彼女自身をカメラの前部で、較正パターン100を担持する物理的支持体101を保持する状態で、位置設定する。カメラは、コンピュータに接続され、このコンピュータのスクリーン −モニタまたはディスプレイとも呼ばれる− に近く(または、そのスクリーンの上部に、またはさらには、そのスクリーンと統合されて)配置される。カメラは、物理的支持体101を、およびしたがって、較正パターン100を含むシーンの画像の系列を取得し、それらをデジタルビデオストリームに変換する。次いでコンピュータは、ビデオストリームをカメラから取得し、スクリーンを駆動してそのビデオストリームを表示し、したがってユーザは、鏡の中のような、彼自身、および較正パターンを確認する。スクリーンはさらには、カメラからのビデオストリームに重ね合わされる、コンピュータにより生成され、較正パターンに対する目標エリアを表す幾何形状102を表示する。より正確には、この幾何形状は、較正パターンの、それが図2のセットのポーズの1つによって位置設定される時にカメラにより確認されるような、外形に対応し得る。これは、図3上で示されている。この例示的な実施形態では、目標エリア102は、破線の外形により表されるが、他の表現が可能であり、例えば目標エリアは、目標パターンの半透明の表現であり得る。
ユーザは、較正パターンを動かして、コンピュータスクリーンにより表示されるその画像を、目標エリアに適合させることを試みる(図4を確認されたい)。この時間の間、コンピュータは、ビデオストリームを処理して、よく知られている画像処理アルゴリズムを使用して、パターンを検出し、それがまさに目標エリアに適合するかどうかを決定する。それが適合するならば、コンピュータは、パターンの画像をビデオストリームから抽出し、それをそのメモリ内に記憶し、それは、視覚フィードバックをユーザに提供して、彼に画像取得を通知し(図5の例に関しては、目標エリア102の外形の外観が変化させられる)、セットの、後に続くポーズに対応する目標エリアを表示することを(画像取得プロセスが終わっていない限り)開始する。すでに使用された目標エリアは、半透明の外観を伴って表示されたままであってよく、そのことによってユーザは、行われている進行を「確認する」。
代替として、ユーザが、パターンを動かすことの代わりに、カメラを保持し、静的なパターンの周りで動かすことが、より好都合であることがある。これは典型的には、較正するカメラが、タブレットコンピュータまたはスマートフォンの背面側部上にあるときの場合である。
較正パターンが適正に目標エリアに適合すると決定することは、既知のアルゴリズムを使用して実行され得る。例えばコンピュータは、パターン(またはむしろ、カメラにより取得されるその画像)が、目標エリアの表面の、少なくともあらかじめ決定された最小限の割合、例えば75%を満たすということをチェックし得る。代替としてまたは追加的に、コンピュータは、較正パターンの対応する縁部と、目標エリアの対応する縁部との間の平行度をチェックし得る。パターンはほとんどの場合、遠近感のある状態で確認されるということを考えると、その2つの連続する縁部の間の角度を測定し、それを、目標エリアの対応する角度と比較することが、さらには有用であり得る。コンピュータはさらには、較正パターンの隅部が、目標エリアのそれらに十分接近しているかどうかをチェックし得る。より正確であるがより柔軟でない手法は、どこでパターンの各々の特徴部が、目標エリアの内側で射影されるべきであるかを算出し、これらの射影された特徴部を、実際に検出されたものと比較することにある。
本発明の個別の実施形態によれば、コンピュータは、ユーザが、較正パターンを目標エリアに対して位置合わせすることを援助するグラフィカルパターンを生成し、スクリーン上に表示し得る。これらのパターンの一部が、図6上で示されている。この図上では、目標の4つの側部201は、異なる外観を有し得る(実際の実装形態では、それらは、異なる色を有し得る)。較正パターンの対応する側部202は、識別され、同様の外観(同じ色)を伴って表示される。コンピュータはさらには、目標エリアの隅部205を、較正パターンの対応する隅部206に接続する線203、204を描画し得る。これらの線の方向は、2つの隅部を合致させるために要される並進の方向を指示し、線の外観は、対応する隅部の間の距離を指し示すものであり得る(線203および204を比較されたい)。より一般的には、グラフィカルパターンは、とりわけ、
− 較正パターンの点と、目標エリアの対応する点との間の距離、
− 較正パターンの点を、目標エリアの対応する点と合致させるために要される並進の方向、および、
− 較正パターンの幾何学的要素と、目標エリアの幾何学的要素との間の対応関係
を指し示すものであり得る。
本発明の例示的な実施形態による方法を実行するのに適したコンピュータが、図7への参照によって説明される。図7ではコンピュータは、上記で説明されたプロセスを行う中央処理装置(CPU)Pを含む。プロセスは、実行可能プログラム、すなわち、コンピュータ可読命令のセットとして、RAM M1もしくはROM M2などのメモリ内に、もしくは、ハードディスク駆動装置(HDD)M3、DVD/CD駆動装置M4上に記憶され得るものであり、または、遠隔で記憶され得る。較正パターンの少なくとも1つの参照画像(図1を参照)、および、較正パターンの、異なるあらかじめ決定されたポーズに対応する、目標エリア102のセット(図2を参照)は、メモリデバイスM1からM4の1つもしくは複数上に、または遠隔で記憶される。
請求項に記載の発明は、コンピュータ可読命令、ならびに/または、較正パターン、および、目標エリアのセットが記憶される、コンピュータ可読媒体の形式により制限されない。例えば、命令、較正パラメータの試行セット、およびデジタルモデルは、CD、DVD上に、FLASHメモリ、RAM、ROM、PROM、EPROM、EEPROM、ハードディスク、または、サーバもしくはコンピュータなどの、コンピュータ支援設計ステーションが通信する任意の他の情報処理デバイス内に記憶され得る。プログラム、較正パターン、および、目標エリアのセットは、同じメモリデバイス上に、または、異なるメモリデバイス上に記憶され得る。
さらに、発明的な方法を実行するのに適したコンピュータプログラムは、CPU800、および、Microsoft VISTA(登録商標)、Microsoft Windows(登録商標)7、UNIX(登録商標)、Solaris、LINUX(登録商標)、Apple MAC−OSなどのオペレーティングシステム、および、当業者に知られている他のシステムと関連して実行する、ユーティリティアプリケーション、バックグラウンドデーモン、または、オペレーティングシステムのコンポーネント、または、それらの組合せとして提供され得る。
CPU Pは、アメリカのIntelのXenonプロセッサ、もしくは、アメリカのAMDのOpteronプロセッサであってもよく、または、アメリカのFreescale CorporationのFreescale ColdFire、IMX、もしくはARMプロセッサなどの、他のプロセッサタイプであり得る。代替的にCPUは、アメリカのIntel CorporationのCore2 Duoなどのプロセッサであってもよく、または、当業者が認識することになるように、FPGA、ASIC、PLD上で、もしくは、ディスクリート論理回路を使用して実装され得る。さらにCPUは、上記で説明された発明的なプロセスのコンピュータ可読命令を行うために協働的に作動する、複数個のプロセッサとして実装され得る。
図7でのコンピュータ支援設計ステーションはさらには、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、インターネット、および同様のものなどのネットワークとインターフェイス接続するための、アメリカのIntel CorporationのIntel Ethernet PROネットワークインターフェイスカードなどの、ネットワークインターフェイスNIを含む。コンピュータ支援設計ステーションは、Hewlett Packard HPL2445w LCDモニタなどの、スクリーンまたはディスプレイDYとインターフェイス接続するための、アメリカのNVIDIA CorporationのNVIDIA GeForce GTXグラフィックスアダプタなどの、ディスプレイコントローラDCをさらに含む。汎用入出力インターフェイスIFは、キーボードKB、ならびに、ローラボール、マウス、タッチパッド、および同様のものなどのポインティングデバイスPDとインターフェイス接続する。ディスプレイ、キーボード、およびポインティングデバイスは、ディスプレイコントローラおよび入出力インターフェイスとともに、グラフィカルユーザインターフェイスを形成する。すべてのこれらのコンポーネントは、ISA、EISA、VESA、PCI、または同様のものであり得る通信バスCBSを介して、互いに接続される。さらに、較正されるカメラCAMがさらには、ビデオストリームをCPU Pに提供するために、バスCBSに接続され、そのCPU Pは、上記で解説されたようにそれを処理する。
ディスプレイ、キーボード、ポインティングデバイス、ならびに、ディスプレイコントローラ、ディスクコントローラ、ネットワークインターフェイス、および入出力インターフェイスの、一般的な特徴部および機能性の説明は、これらの特徴部は知られているので、本明細書では簡潔さのために省略されている。

Claims (13)

  1. カメラを較正するコンピュータ実装方法であって、
    a.ビデオストリームを前記カメラ(CAM)から取得し、それをスクリーン(DY)上に表示するステップと、
    b.前記スクリーン上に、前記ビデオストリームに重ね合わされる、目標エリア(102)の表現を表示するステップと、
    c.較正パターン(100)を前記ビデオストリーム内で検出し、それが、前記目標エリアの中で適合するかどうかを周期的にチェックするステップと、
    d.前記較正パターンが前記目標エリアの中で適合することが見出されたときに、前記較正パターンの画像を前記ビデオストリームから抽出し、それを記憶するステップと
    を備え、
    前記ステップa.からd.は、互いに異なるそれぞれの目標エリアを使用して複数回反復され、各々の目標エリアは、前記較正パターンの、それを担持する物理的支持体(101)がそれぞれの位置を前記カメラの視野の中でとるときに前記カメラにより確認されるような、外形に対応し、前記コンピュータ実装方法は、次いで、
    e.前記カメラの内部較正パラメータを、前記記憶された画像を処理することにより推定するステップ
    を備えることを特徴とするコンピュータ実装方法。
  2. 前記ステップc.は、前記較正パターンが、前記目標エリアの少なくともあらかじめ決定された割合を満たすかどうかをチェックするステップを備えることを特徴とする請求項1に記載のコンピュータ実装方法。
  3. 前記ステップc.は、前記較正パターンの少なくとも1つの縁部(202)を検出し、前記目標エリアの対応する縁部(201)とのその平行度をチェックするステップを備えることを特徴とする請求項1または2に記載のコンピュータ実装方法。
  4. 前記ステップc.は、前記較正パターンの少なくとも2つの縁部を検出し、前記縁部の間の角度を測定し、それを、前記目標エリアの2つの対応する縁部の間の角度と比較するステップを備えることを特徴とする請求項1乃至3のいずれか一項に記載のコンピュータ実装方法。
  5. 前記ステップc.は、前記較正パターンの少なくとも1つの隅部(206)を検出し、前記目標エリアの対応する隅部(205)に対するその近接度をチェックするステップを備えることを特徴とする請求項1乃至4のいずれか一項に記載のコンピュータ実装方法。
  6. − 前記較正パターンの点と、前記目標エリアの対応する点との間の距離、
    − 前記較正パターンの点を、前記目標エリアの対応する点と合致させるために要される並進の方向、および、
    − 前記較正パターンの幾何学的要素と、前記目標エリアの幾何学的要素との間の対応関係
    の、少なくとも1つを指示する、少なくとも1つのグラフィカルパターン(203、204)を、前記スクリーン上に表示するステップc’をさらに備えることを特徴とする請求項1乃至5のいずれか一項に記載のコンピュータ実装方法。
  7. ステップa.からd.は、10から20の間に含まれる複数回分、前記物理的支持体の異なる位置に対応する、それぞれの目標エリアを使用して反復されることを特徴とする請求項1乃至6のいずれか一項に記載のコンピュータ実装方法。
  8. 前記物理的支持体の前記位置の少なくとも過半数は、前記カメラの光学軸に垂直でも平行でもないことを特徴とする請求項1乃至7のいずれか一項に記載のコンピュータ実装方法。
  9. 前記較正パターンは、平面パターンであることを特徴とする請求項1乃至8のいずれか一項に記載のコンピュータ実装方法。
  10. 前記ステップe.は、Zhangのアルゴリズムを使用して実行されることを特徴とする請求項1乃至9のいずれか一項に記載のコンピュータ実装方法。
  11. カメラ(CAM)にインターフェイス接続されるコンピュータシステムに、請求項1乃至10のいずれか一項に記載の方法を実行させるための、コンピュータ実行可能命令を備えるコンピュータ可読データ記憶媒体(M1、M2、M3、M4)上に記憶されることを特徴とするコンピュータプログラム製品。
  12. カメラにインターフェイス接続されるコンピュータシステムに、請求項1乃至10のいずれか一項に記載の方法を実行させるための、コンピュータ実行可能命令を含むことを特徴とするコンピュータ可読データ記憶媒体(M1、M2、M3、M4)。
  13. メモリ(M1、M2、M3、M4)と、スクリーン(DY)と、カメラ(CAM)とに結合されるプロセッサ(P)を備えるコンピュータシステムであって、前記メモリは、前記コンピュータシステムに、請求項1乃至10のいずれか一項に記載の方法を実行することにより前記カメラを較正させるための、コンピュータ実行可能命令を記憶することを特徴とするコンピュータシステム。
JP2017126752A 2016-06-28 2017-06-28 カメラを較正するコンピュータ実装方法 Active JP7195728B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16305777.1A EP3264359B1 (en) 2016-06-28 2016-06-28 A computer-implemented method of calibrating a camera
EP16305777.1 2016-06-28

Publications (3)

Publication Number Publication Date
JP2018007253A true JP2018007253A (ja) 2018-01-11
JP2018007253A5 JP2018007253A5 (ja) 2020-07-02
JP7195728B2 JP7195728B2 (ja) 2022-12-26

Family

ID=57130305

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017126752A Active JP7195728B2 (ja) 2016-06-28 2017-06-28 カメラを較正するコンピュータ実装方法

Country Status (4)

Country Link
US (1) US10510162B2 (ja)
EP (1) EP3264359B1 (ja)
JP (1) JP7195728B2 (ja)
CN (1) CN107545588B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021093720A (ja) * 2019-12-05 2021-06-17 株式会社デンソーウェーブ 産業用カメラのキャリブレーション操作支援装置

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10928193B2 (en) * 2016-05-24 2021-02-23 Illinois Tool Works Inc. Three-dimensional calibration tools and methods
US10238571B2 (en) 2016-06-22 2019-03-26 Toyota Motor Engineering & Manufacturing North America, Inc. Vision-assist devices and methods of calibrating image data of a vision-assist device
EP3264360B1 (en) 2016-06-28 2025-01-22 Dassault Systèmes Dynamical camera calibration
US20180012377A1 (en) * 2016-07-08 2018-01-11 Toyota Motor Engineering & Manufacturing North America, Inc. Vision-assist devices and methods of calibrating vision-assist devices
TWI622960B (zh) * 2017-11-10 2018-05-01 財團法人工業技術研究院 深度影像擷取裝置的校正方法
GB2572956B (en) * 2018-04-16 2021-09-08 Sony Interactive Entertainment Inc Calibration system and method
CN109068121B (zh) * 2018-09-04 2019-07-23 珠海康弘医疗科技有限公司 三维成像系统、三维成像系统校准方法及装置
US11254019B2 (en) 2019-03-05 2022-02-22 The Boeing Company Automatic calibration for a robot optical sensor
DE102020131808A1 (de) * 2019-12-05 2021-06-10 Denso Wave Incorporated Vorrichtung zur Unterstützung von Kalibrierungsvorgängen bei Industriekameras
CN113330487B (zh) * 2019-12-30 2025-03-28 深圳引望智能技术有限公司 参数标定方法及装置
US20210335503A1 (en) * 2020-04-24 2021-10-28 Remote Health Ventures LLC Systems and methods for automated pricing, conduction, and transcription of telemedicine encounters
CN112067253A (zh) * 2020-06-03 2020-12-11 翔升(上海)电子技术有限公司 基于机器视觉的相机校准方法
EP3968283A1 (en) * 2020-09-14 2022-03-16 Eppendorf AG Method for calibrating an optical recording device
US11172193B1 (en) * 2020-12-04 2021-11-09 Argo AI, LLC Method and system to calibrate camera devices of a vehicle vision system using a programmable calibration target device
JP7653536B2 (ja) * 2021-12-03 2025-03-28 香港時代新能源科技有限公司 Ccdカメラキャリブレーションシステム、方法、装置、コンピューティングデバイス及び記憶媒体
US12266135B2 (en) * 2022-01-21 2025-04-01 Motional Ad Llc Universal sensor performance and calibration target for multi-sensor imaging systems
CN114466143B (zh) * 2022-03-18 2024-04-12 广东小天才科技有限公司 一种拍摄角度校准方法、装置、终端设备以及存储介质
CN116934861B (zh) * 2022-03-29 2026-01-02 北京小米移动软件有限公司 姿态校准方法、装置、电子设备及存储介质
US12094171B2 (en) * 2022-11-16 2024-09-17 Google Llc Calibrating camera in electronic device
US20240193815A1 (en) * 2022-12-09 2024-06-13 Google Llc Verification of a multi-camera calibration
CN116958060B (zh) * 2023-06-27 2026-01-09 厦门大学 一种基于机器学习的检测相对水平的方法及装置
CN117036499B (zh) * 2023-08-08 2025-05-16 神力视界(深圳)文化科技有限公司 标定数据生成方法、装置、电子设备及存储介质
US20250220297A1 (en) * 2023-12-29 2025-07-03 Ncr Voyix Corporation System and method for calibrating camera position in a computer vision-based self-service checkout terminal
US20260017823A1 (en) * 2024-07-11 2026-01-15 Novatek Microelectronics Corp. Image calibration system and image calibration method for calibrating image capturing device

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6437823B1 (en) * 1999-04-30 2002-08-20 Microsoft Corporation Method and system for calibrating digital cameras
JP2007064684A (ja) * 2005-08-29 2007-03-15 Canon Inc マーカ配置補助方法及び装置
JP2008046687A (ja) * 2006-08-10 2008-02-28 Canon Inc 撮影環境校正方法及び情報処理装置
US8106968B1 (en) * 2008-02-20 2012-01-31 Cognitech, Inc. System and method for pattern detection and camera calibration
JP2014115939A (ja) * 2012-12-12 2014-06-26 Sony Corp 情報処理装置、プログラム及び情報処理方法
JP2016181753A (ja) * 2015-03-23 2016-10-13 株式会社リコー 情報処理装置、情報処理方法、プログラムおよびシステム

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5850472A (en) 1995-09-22 1998-12-15 Color And Appearance Technology, Inc. Colorimetric imaging system for measuring color and appearance
US6194860B1 (en) * 1999-11-01 2001-02-27 Yoder Software, Inc. Mobile camera-space manipulation
US6527395B1 (en) 2001-12-10 2003-03-04 Mitsubishi Electric Research Laboratories, Inc. Method for calibrating a projector with a camera
JP4147059B2 (ja) 2002-07-03 2008-09-10 株式会社トプコン キャリブレーション用データ測定装置、測定方法及び測定プログラム、並びにコンピュータ読取可能な記録媒体、画像データ処理装置
JP4191449B2 (ja) 2002-09-19 2008-12-03 株式会社トプコン 画像キャリブレーション方法、画像キャリブレーション処理装置、画像キャリブレーション処理端末
US7292257B2 (en) 2004-06-28 2007-11-06 Microsoft Corporation Interactive viewpoint video system and process
US20060023066A1 (en) * 2004-07-27 2006-02-02 Microsoft Corporation System and Method for Client Services for Interactive Multi-View Video
US7554575B2 (en) 2005-10-28 2009-06-30 Seiko Epson Corporation Fast imaging system calibration
NO330155B1 (no) 2006-02-28 2011-02-28 3D Perception As Fremgangsmate og anordning til bruk ved kalibrering av en projektors bildevisning mot en fremviserskjerm, og fremviserskjerm til slik bruk.
US7648603B2 (en) * 2006-08-02 2010-01-19 Hercules Chemical Company Incorporated Colorless primer composition and method
JP4926817B2 (ja) 2006-08-11 2012-05-09 キヤノン株式会社 指標配置情報計測装置および方法
CN101419705B (zh) 2007-10-24 2011-01-05 华为终端有限公司 摄像机标定的方法及装置
US9705136B2 (en) * 2008-02-25 2017-07-11 Traverse Technologies Corp. High capacity energy storage
JP2009237878A (ja) 2008-03-27 2009-10-15 Dainippon Printing Co Ltd 複合映像生成システム、重畳態様決定方法、映像処理装置及び映像処理プログラム
CN101755190B (zh) 2008-05-19 2012-02-22 松下电器产业株式会社 校准方法、校准装置及具备该校准装置的校准系统
US8368762B1 (en) 2010-04-12 2013-02-05 Adobe Systems Incorporated Methods and apparatus for camera calibration based on multiview image geometry
US9412164B2 (en) * 2010-05-25 2016-08-09 Hewlett-Packard Development Company, L.P. Apparatus and methods for imaging system calibration
US8970672B2 (en) 2010-05-28 2015-03-03 Qualcomm Incorporated Three-dimensional image processing
GB2483431A (en) 2010-08-27 2012-03-14 Sony Corp A Method and Apparatus for Determining the Movement of an Optical Axis
US9621823B2 (en) * 2010-09-16 2017-04-11 Honeywell International Inc. Thermal camera calibration
US8743214B2 (en) * 2011-05-11 2014-06-03 Intel Corporation Display screen for camera calibration
PT2742484T (pt) * 2011-07-25 2017-01-02 Univ De Coimbra Método para alinhamento e rastreamento de regiões de pontos em imagens com distorção radial, que produz parâmetros de modelo de movimento, calibração de distorção e variação de zoom
IL216515A (en) 2011-11-22 2015-02-26 Israel Aerospace Ind Ltd A system and method for processing images from a camera set
US8619144B1 (en) * 2012-03-14 2013-12-31 Rawles Llc Automatic camera calibration
US9338447B1 (en) * 2012-03-14 2016-05-10 Amazon Technologies, Inc. Calibrating devices by selecting images having a target having fiducial features
DE112013002200T5 (de) 2012-04-27 2015-01-08 Adobe Systems Incorporated Automatische Anpassung von Bildern
US9410827B2 (en) 2012-10-09 2016-08-09 Pixameter Corp. Measurement using a calibration pattern
US8866912B2 (en) * 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9417689B1 (en) * 2013-05-17 2016-08-16 Amazon Technologies, Inc. Robust device motion detection
US9319666B1 (en) * 2013-06-03 2016-04-19 The Mathworks, Inc. Detecting control points for camera calibration
US9282326B2 (en) * 2013-10-28 2016-03-08 The Regents Of The University Of Michigan Interactive camera calibration tool
US9892514B2 (en) 2014-10-10 2018-02-13 Facebook, Inc. Post-manufacture camera calibration
US20170053405A1 (en) * 2015-08-21 2017-02-23 Samsung Electronics Co., Ltd. Method and system for calibration of a medical imaging system
US9489735B1 (en) 2015-09-17 2016-11-08 Qualcomm Incorporated Multiplexed temporal calibration for event-based cameras
US10445898B2 (en) * 2016-02-05 2019-10-15 Sony Corporation System and method for camera calibration by use of rotatable three-dimensional calibration object
CA2961921C (en) * 2016-03-29 2020-05-12 Institut National D'optique Camera calibration method using a calibration target
EP3264360B1 (en) 2016-06-28 2025-01-22 Dassault Systèmes Dynamical camera calibration

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6437823B1 (en) * 1999-04-30 2002-08-20 Microsoft Corporation Method and system for calibrating digital cameras
JP2007064684A (ja) * 2005-08-29 2007-03-15 Canon Inc マーカ配置補助方法及び装置
JP2008046687A (ja) * 2006-08-10 2008-02-28 Canon Inc 撮影環境校正方法及び情報処理装置
US8106968B1 (en) * 2008-02-20 2012-01-31 Cognitech, Inc. System and method for pattern detection and camera calibration
JP2014115939A (ja) * 2012-12-12 2014-06-26 Sony Corp 情報処理装置、プログラム及び情報処理方法
JP2016181753A (ja) * 2015-03-23 2016-10-13 株式会社リコー 情報処理装置、情報処理方法、プログラムおよびシステム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021093720A (ja) * 2019-12-05 2021-06-17 株式会社デンソーウェーブ 産業用カメラのキャリブレーション操作支援装置
JP7583249B2 (ja) 2019-12-05 2024-11-14 株式会社デンソーウェーブ 産業用カメラのキャリブレーション操作支援装置

Also Published As

Publication number Publication date
EP3264359C0 (en) 2025-02-19
CN107545588B (zh) 2023-09-15
CN107545588A (zh) 2018-01-05
JP7195728B2 (ja) 2022-12-26
US20170372491A1 (en) 2017-12-28
EP3264359B1 (en) 2025-02-19
EP3264359A1 (en) 2018-01-03
US10510162B2 (en) 2019-12-17

Similar Documents

Publication Publication Date Title
JP7195728B2 (ja) カメラを較正するコンピュータ実装方法
US11238613B2 (en) Dynamical camera calibration
CN108389212B (zh) 用以量测脚部尺寸的方法及计算机可读媒体
US10456918B2 (en) Information processing apparatus, information processing method, and program
JP5388932B2 (ja) 情報処理装置およびその制御方法
CN105474263B (zh) 用于产生三维人脸模型的系统和方法
CN104871176A (zh) 扫描设备及用于定位扫描设备的方法
US20150256815A1 (en) 3d camera calibration
JP2017050616A5 (ja)
JPWO2020067168A1 (ja) 採寸装置及び採寸方法
JP2017194301A (ja) 顔形状測定装置及び方法
CN113343879A (zh) 全景面部图像的制作方法、装置、电子设备及存储介质
JP7822138B2 (ja) 実オブジェクトの3dスキャンニングのための方法
JP6412372B2 (ja) 情報処理装置、情報処理システム、情報処理装置の制御方法およびプログラム
Noonan et al. The design and initial calibration of an optical tracking system using the microsoft kinect
CN110288714B (zh) 一种虚拟仿真实验系统
JP2004165944A (ja) 投影情報補正方法、投影情報補正装置、プログラム、および記録媒体
CN115423859A (zh) 双目融合度的测量系统和测量方法
TWI637353B (zh) 測量裝置及測量方法
US20250173987A1 (en) Feature setting apparatus, feature setting method, and non-transitory computer readable medium
EP3648060A1 (en) 3d rapid prototyping on mobile devices
CN119342183A (zh) 电子装置、投影系统及其投影方法
WO2014017095A1 (en) Low cost, non-intrusive, high accuracy head tracking apparatus and method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200514

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200514

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210622

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211118

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220817

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220817

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220905

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221214

R150 Certificate of patent or registration of utility model

Ref document number: 7195728

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250