JP2010522922A

JP2010522922A - 電子機器を追跡するためのシステム及び方法

Info

Publication number: JP2010522922A
Application number: JP2010500433A
Authority: JP
Inventors: タンネ，ヤロン
Original assignee: カム−トゥラックステクノロジーズリミテッド
Priority date: 2007-03-29
Filing date: 2008-03-26
Publication date: 2010-07-08
Also published as: EP2126675B1; DE602008003010D1; ES2350028T3; ATE484786T1; EP2284664A3; EP2284664B1; US8094885B2; WO2008120189A1; US20100067743A1; US20120076359A1; EP2284664A2; EP2126675A1

Abstract

プロセッサに結合されるカメラを使用して空間的に制御対象物を操作するユーザを追跡するシステムである。ユーザが空間的に制御対象物を操作する間、該制御対象物の画像がビデオカメラを介してピックアップされ、カメラ画像が分析され、二次元空間の装置の位置及び方向をマッピングするため前記制御対象物に属する画像の部分を切り離す。背景及び照明状態を変えて制御対象物の上手な追跡を達成すると共に維持するために最小限のユーザの介入が要求されるエラーに強いデータ処理システム及び較正を使用すると共にアルゴリズムを追跡するコンピュータで処理する方法である。

Description

本発明は、一般的には、コンピュータの空間的な入力システムに関し、より詳細には、そのようなシステムの入力モジュールに向けられる性能を追跡するコンピュータ視覚システムに関する。

空間的なユーザのために相互に設計される多くのコンピュータで処理するシステムはユーザの動きの追跡を必要とする。特に、ユーザにより操作される対象物を追跡するためのカメラに基づくシステムがこの分野では公知である。ユーザが操作する対象物と関連したこれらの追跡システムはコンピュータ入力装置として有用である。

ここに参照として組み込まれた米国特許第6363160号は電子システムと連結した方法である。その方法はカメラからの画像を受け取る。その後、カメラからの少なくとも１つの画像の一部分が追跡される。画像の追跡される部分のパターンは受け入れられる。従って、電子システムは受け入れられたパターンに基づき制御される。

ここに参照として組み込まれた米国特許第6760465号は一連のデータフレームを介して色付けされた対象物を追跡するための自動対象物追跡システムを開示する。そのシステムはデジタル画像の画素のデータ列を供給する第１の画像供給装置を有している。第２の画像供給装置はデータ列のバイナリー画像を供給する。そのシステムは分析システムを使用し、バイナリー画像の列のため第１のヒストグラムを作り出す。各ヒストグラムは閾値化され、その後、バイナリー画像の追跡された対象物の中心を評価するために利用される。

ここに参照として組み込まれた米国特許第7113193号は手動操作の物が単一のビデオカメラを介してピックアップされ、カメラの画像が分析され、対象物の位置及び方向を三次元空間にマッピングするため対象物に属する画像の部分を切り離し、対象物の三次元描写はメモリに格納され、ビデオのディスプレイの場面の対応する仮想の対象物の示すように、ゲームプログラムの動作を制御するために使用されることを開示する。各種物のため三次元描写を引き出すアルゴリズムは領域の統計値、エッジ検出及び又は色遷移位置測定を含む幾何学処理を使用し、その物の位置及び方向を二次元画素データから見つける。二次元のクロミナンス色の空間での離隔を最大にする物のストライプの色の選択のための基準が提案されており、絶対的な色の検出の代わりに、重要な色の遷移が検出される。従って、明白な色に影響を及ぼしがちな照明状態によるシステムの較正の必要性を避けることができる。

上記した知識及び技術にも拘らず、対象物の追跡をうまく実現することはまだ難しい。特別に困難な挑戦は関心の対象物に対応するビデオ画像の画素だけを抽出することである。例えば、異なる色の一様な背景に対して１色を有する対象物を追跡することは相対的に容易に成し遂げられるが、追跡する対象物は多色で変化する背景の場合には容易ではない。明らかに、エラーに強い追跡システムはその場面の背景について何も仮定することはできない。

従って、本発明は変化する環境及び照明状態において単一のカメラを介して対象物を追跡することのできるシステムのための技術の必要性に取り組む。

本発明の第１の特徴によれば、プロセッサに結合され、色付きの光を取得し、各データをプロセッサに送るように構成されたカメラと、前記データをカメラから受け取るように構成され、ある色に従って対象物を追跡するプロセッサと、プロセッサにより追跡される対象物として有用で、ある色を有する光を発するように構成される制御対象物とを備え、前記色が少なくとも２つの色の中から選択される、制御対象物を追跡するシステムを提供する。

本発明の別の特徴によれば、対象物を容易に追跡するために色付きの光を受け取り、ある色を有する光を発するように制御対象物を構成し、前記色が少なくとも２つの色の中から選択され、前記選択された色に従って、制御対象物を追跡し、追跡される対象物として役に立つ制御対象物を追跡する方法を提供する。

本発明の幾つかの実施の形態によるシステムが動作する環境を示す概略図である。本発明の幾つかの実施の形態による一般的なシステム構成を示す図である。本発明の実施の形態によるシステムの主な動作を示すフローチャートである。

本発明の主題は、添付した図面を参照しつつ、本発明の例示だけの目的のために例として与えられた以下の実施の形態の説明に照らしてより明瞭に理解できるだろう。

説明と共に図面は本発明が実際にどのように具体化されるかを当業者に明らかにする。

さらに、適切な場合には、対応する又は類似する構成要素を示す符号間では参照符号が繰り返される。

以下の詳細な説明では、明細書を完全な理解させるため多数の特定の詳細が示されている。しかし、本明細書の教示がこれらの特定の詳細なしで実施可能であることは当業者であれば理解されるだろう。他の例では、周知の方法、手順、構成及び回路は本明細書の教示を不明確にすることのないように詳細に説明されていない。

図１は、本システムが動作する典型的な環境を示す概略図である。ユーザ１１０は制御対象物１２２０を保持し、リモートコントローラ（又は単純な、コントローラ又は制御対象物）として具体化している。リモートコントローラは（発光ダイオードのような）発光領域１３０を備えている。その光はカメラ１５０によりピックアップされる。カメラ１５０は入って来るビデオフレームを分析すると共に発光領域１３０を追跡するコンピュータ１３０に接続されている。リモートコントローラを移動することにより、ユーザは画面１７０上でカーソル１６０を制御することができる。

本発明の実施の形態によれば、制御対象物はそこに設置される専用のソフトウェアを有する携帯電話である。色付き光エミッタは、その後、携帯電話の液晶表示装置（ＬＣＤ）により実行される。

図２は、本発明の実施の形態による一般のシステム構成を示す概略のブロック図を示している。図２は、リモートコントローラ装置、そのサブシステム、及び制御されるコンピュータシステムの詳細なハードウェアを示している。

図２に示されているリモートコントローラ（制御対象物）１２０はコンピュータを制御するために使用される。リモートコントローラ１２０の代わりに、ゲームパッド、ガン、ハンドル等のような他の制御対象物が使用可能であることに注意すべきである。

図２に示されているように、ある実施の形態によれば、リモートコントローラは、制御釦等のユーザインターフェース２０３、通信モジュール２０２、及び所定の色付き光エミッタ２０１を備えている。通信モジュール２０２は、赤外線、無線信号、新しいブルートゥース通信プロトコル等のような公知の技術に基づくことができる。

ある実施の形態によれば、コンピュータシステム１４０からの命令を送受信可能なように通信モジュールは双方向であってもよい。ある実施の形態によれば、色付き光エミッター２０１は異なる色、好ましくは、赤、緑、青のＬＥＤ光を含み、異なる強度（変化する電流）でそれらを照らし、可視光の完全なスペクトルを走査する色彩に富んだ組合せを作り出すことができる。

好適な実施の形態では、コンピュータシステム１４０で発行される命令を介して光エミッタの色が始められ、構成される。コンピュータシステム１４０は、ソフトウェアを稼動するプロセッサ２０５と、ユーザが操作する制御対象物１２０と視線が合うように配置される単純又は高級なカメラとすることのできるプロセッサ２０５と結合するカメラ２０４と、コントローラの通信モジュール２０２と通信可能な通信モジュール２０９とを備えている。

ある実施の形態では、コンピュータシステムはそれに接続される表示装置１７０を有している。ある実施の形態によれば、追跡モジュール２０６はカメラ２０４により取得された画像から色付き光エミッタ２０１に対応する画素を引き出すと共に、カメラにより取得された場面に関する位置を確立する能力を有している。ある実施の形態によれば、較正モジュール２０８は、後述するように、所定の場面内で追跡する最良の色を選択する能力を有している。ある実施の形態によれば、仮想デバイスマネージャ２０７は追跡モジュール２０６から追跡情報を取得すると共にユーザのために有用な方法でそれを使用する能力を有している。本発明の幾つかの実施の形態では、追跡データは、マウスのカーソルを移動したり、ジョイスティックコントローラをエミュートしたり、キーボードの事象を合成したり、追跡データをファイルに格納したり、それをネットワーク上に送ったりするために使用される。

本発明の幾つかの実施の形態によれば、作用において、プロセッサ２０５は、制御対象物を含む画像の比色データを最初に処理し、画像の少なくとも共通色を決定するように設けられている。従って、プロセッサは画像中の最も区別可能な色を選択し、その色で色付き光エミッタを照らすように配置されるコントローラにそれを送る。その点から前方へ、一定の更新処理が起こり、各サンプリング時間で最も区別可能な色がプロセッサから制御対象物へ送信される。

代わりに、プロセッサは、色、数、形状等のような、視覚で表示する方法により表示装置上で区別可能な色をユーザに示すことができる。その後、ユーザは光エミッタが選択した色を発するようにコントローラ上に表示されたインジケータを入力するように促される。

図３は本発明の実施の形態によるシステムの主な動作を示す通常のフローチャートである。このフローチャートはコントローラを追跡開始するというユーザの要求によるソフトウェアの動作を示している。ユーザがリモートコントローラ（３０１）の使用を開始したい時に通信モジュール（３０２）を介してコンピュータに指示を送る。その後、較正モジュールがカメラ（３０３）からデータの最初のフレームを取得し、その場面で色の配分についての統計を作り、これらの条件（３０４）で追跡するための最適な色を選択する。一般に、最適な色は現在の場面で最もまれな色となり、それは追跡が容易であり、背景の対象物と混同されない。次に、色の情報が通信モジュール（３０５）を介してリモートコントローラに送られ、指定の色発光エミッタが選択された色で照らす。ある実施の形態によれば、この段階で、追跡モジュールはカメラから取得したフレームを連続して受け取り、各フレームで選択された色を検索する（ステップ３０６及び３０７）。これは特定の色がその場面で見つけられるまで続き、それはカメラが色発光エミッタを見ることを意味する。選択された色が見つけられた後、追跡モジュールは追跡領域（３０８）の位置、寸法及び角度を計算する。追跡モジュールは追跡された色に対応するフレームの画素が１つ以上の連続領域（「斑点」）（３０９）を形成するかどうかチェックする。１つだけの「斑点」が見つけられた場合、これは画素が色発光エミッタに対応し、追跡が成功したことを意味する。その場合、追跡領域はステップ３１０に続き、それは幾つかの入力として仮想デバイスマネージャにより使用される。２以上の「斑点」が見つけられた場合、おそらく背景が変化し、他の対象物が同じ色となるように現われるため、それは成功した追跡が現在の色を完成することが難しいことを意味する。この場合、システムはステップ３０４に戻り、新しい色を選択し、そこから適当なステップに従って継続する。

本発明の幾つかの実施の形態によれば、プロセッサはカメラから受け取ったデータに従って前記一定の色を自動的に選択するように構成された上記したシステムが提供される。

本発明の幾つかの実施の形態によれば、発せられた光の（選択された）色が前記少なくとも２つの色から前記場面で示される少なくとも１つの色である上記したシステムが提供される。

本発明の幾つかの実施の形態によれば、前記コントローラが前記選択された色の光を発するように前記プロセッサにより自動的に構成される上記システムが提供される。

本発明の幾つかの実施の形態によれば、コントローラにより発せられた光の色が自動的に選択される上記システムが提供される。

本発明の幾つかの実施の形態によれば、前記コントローラが前記選択された色の光を発するように自動的に構成される上記システムが提供される。

本発明のある実施の形態によれば、各種ユーザが操作するコントローラを追跡するカメラを使用するコンピュータ追跡システムが開示されている。ある実施の形態によれば、ユーザはワイヤ又はワイヤレス技術を介してコンピュータと通信可能な電子デバイスを保持する。このデバイスはそれに指定された発光領域を有し、コンピュータカメラを介してそれを見ると共に認識できるようになっている。ユーザがコントローラの使用を開始したい時、コンピュータは最も適切で特有の色を選択し、現在の場面で追跡する。その後、特定の色で照らされるユーザが携帯のコントローラにこの情報を送る。その色はカメラの見える所で現在の場面に特有であることが公知で保証されているため、この点から、コンピュータはCAMSHIFTのような幾つかの公知なアルゴリズムを使用してコントローラの位置を追跡することができる。その後、コントローラはその動作がコンピュータにより追跡される時に入力デバイスとして使用可能である。

追跡している時、カメラが見る場面は、明かりの状態の変化や場面への新しい対象物の導入（例えば、その場面の背景においてユーザの後を誰かが歩行している）によって変化する。これは追跡される対象物の色がその場面の何か新しい対象物の色に類似している場合にコントローラを追跡する問題を引き起こすことがある。ある実施の形態によれば、ソフトウェアは、容易に区別されるコントローラの新しい色をおそらく放出して、そのような状況を検出し、その場面を再評価する。

その上さらに、リモートコントローラとコンピュータシステムの間の通信が双方向でないある実施の形態では、コンピュータシステムはリモートコントローラに情報を送ることができず、ユーザはコンピュータシステムにより手動で追跡可能な所望な色に発光領域をするように選択する。ある実施の形態によれば、コンピュータシステムはどの色が画面に現われるかをチェックするためにその場面を走査し、その後、リモートコントローラにおいて特定の色の光にするようにユーザに求め、それが背景と容易に区別できるようにする。この新しい色がフレームで利用可能であることをコンピュータシステムが認めた時、それはそれを追跡し始める。

さらにその上、ある実施の形態では、幾つかのコントローラは同時に追跡及び使用され、それぞれ異なる色を割り当てられる。これは多数のユーザの入力、ゲーム及び各種追跡アプリケーションにとって都合がよく、それらの幾つかについては後述する。

本発明の別な特徴によれば、「仮想デバイスマネージャ」のソフトウェアコンポーネントが採り入れられている。このコンポーネントは実時間で異なるコントローラの追跡データを受け取り、入力手段としてこのデータを使用する役目を有し、便利なマンマシン対話を可能にする。一般性を失うことなく、マウスのカーソルの移動、ジョイスティック等のゲームのインターフェース、レースのハンドル、ガン等の入力デバイスのエミュレーションにコントローラの動作の間での変換機構をユーザに設定させることができる。

ここに開示されたコントローラという用語はコンピュータと通信するために役立つユーザが操作する電子デバイスに関することに注意すべきである。それは、例えば、リモートコントロール、マウス、ワンド、操縦ハンドル、ジョイスティック、電子ペン、ゲームパッド、装着型デバイス等の多くの異なる形状を取ることができる。ここに開示されているリモートコントロールという用語はコントローラのような例に限定されるものではなく、リモートコントロール自体に限定されるものでもない。

本発明の幾つかの実施の形態によれば、システム、方法、コンピュータプログラム製品は、デジタル電子回路、又はコンピュータハードウェア、ファームウェア、ソフトウェア、又はそれらの組合せにおいて実施可能である。本発明の装置は、プログラム可能なプロセッサによる実行のため、例えば、機械で読み取り可能な格納デバイス又は伝播信号により情報キャリアで具体化可能なコンピュータプログラム製品で実行可能であり、本発明の方法のステップは、プログラム可能なプロセッサにより実行可能であり、入力データの操作及び出力の発生により本発明の機能を実行する命令のプログラムを実行する。

追跡システムは、データ又は命令を受け取るように結合される少なくとも１つのプログラム可能なプロセッサを含むプログラム可能なシステムで実行可能な１以上のコンピュータプログラムで有利に実行され、データ及び命令をデータ格納システム、少なくとも１つの入力デバイス、又は少なくとも１つの出力デバイスに送信する。コンピュータプログラムは、一定の動作を実行又は一定の結果を成し遂げるコンピュータにおいて直接又は間接に使用可能な命令セットである。コンピュータプログラムは、コンパイラで作られた又は翻訳された言語を含むプログラム言語の形式で記載可能であり、それは、スタンドアロン型プログラムとして、又はモジュール、コンポーネント、サブルーチン、又はコンピュータ環境での使用に適している他のユニットとして含む形式で展開可能である。

追跡システムは、コンピュータで実行される方法、データ処理システム、又はコンピュータプログラム製品として具体化されてもよい。本発明は、例えば、通常及び特別の両方の目的のマイクロプロセッサと、一つのプロセッサ又はコンピュータの多数のプロセッサの一つにより実行され、命令のプログラムを実行するためのプロセッサを利用する。通常、プロセッサは読み出し専用メモリ又はランダムアクセスメモリ又はそれらの両方から命令及びデータを受け取る。本発明による通信デバイスのようなコンピュータの重要なエレメントは命令を実行するためのプロセッサ及び命令及びデータを格納するための１以上のメモリである。通常、コンピュータはまた、データファイルを格納するための１以上の大規模格納デバイスをも含み、それらと通信するように結合され、そのようなデバイスは内部ハードディスク及びリムーバブルディスク、磁気光学ディスク、及び光学ディスクのような磁気ディスクを含んでいる。コンピュータプログラムの命令及びデータを具体化するのに適した格納デバイスは不揮発性メモリのすべての形式を含み、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリデバイスのような半導体メモリデバイス、内部ハードディスク及びリムーバブルディスクのような磁気ディスク、磁気光学ディスク、及びＣＤ−ＲＯＭ及びＤＶＤ−ＲＯＭディスクを含んでいる。プロセッサ及びメモリは、ＡＳＩＣ（特定用途向け集積回路）又はそれに組み込まれることにより拡充可能である。

ユーザとの対話を提供するため、追跡された対象物はキーボード又はユーザに対してコンピュータ化されたシステムに入力可能にする他の手段を有する通信デバイスで実行されてもよい。

上記した記載において、実施の形態は例示又は本発明の手段である。「一実施の形態」、「ある実施の形態」又は「幾つかの実施の形態」の各種外観は必ずしもすべて同じ実施の形態とは限らない。

本発明の各種特徴は一つの実施の形態に関連して説明されているが、それらの特徴は個別又は適切な組合せで提供されてもよい。反対に、本発明は明瞭化のため別個の実施の形態に関連してここに説明されていてもよいが、本発明はまた一つの実施の形態で実施されてもよい。

「幾つかの実施の形態」、「ある実施の形態」、「一実施の形態」又は「他の実施の形態」の参照は、その実施の形態に関連して記載された特別な特徴、構造、又は特性が少なくとも幾つかの実施の形態に含まれているが、必ずしも本発明のすべての実施の形態が含まれているとは限らないことを意味している。

ここで使用される語法及び用語は限定と解釈されるべきではなく、例示の目的だけのためであることが理解される。

本発明の原理及び教示の使用は添付した説明、図面及び例示に関連してより理解される。

ここに示された詳細は本発明の適用を限定するものと解釈されないことが理解されるべきである。

さらにその上、発明が各種方法で実行又は実施可能であり、発明は上記記載に概説されたもの以外の実施の形態で実行可能であることを解釈すべきである。

「含む」、「備える」、「成る」という用語、及びそれらの文法上の変形は、一以上の構成、特徴、ステップ、又は完全体又はその集団を除外するものではなく、それらの用語は構成、特徴、ステップ又は完全体を特定するものと解釈されるべきであると理解されるべきである。

明細書又は請求項が「追加の」エレメントに言及している場合、それは追加のエレメントの１以上があることを除外するものではない。

請求項又は明細書が一つのエレメントに言及している場合、そのような言及はそのエレメントが１つだけあるものと解釈されるべきではない。

構成要素、特徴、構造、又は特性が、「てもよい」、「かもしれない」、「可能である」を含むと明細書が述べている場合、その特定の構成要素、特徴、構造、又は特性は含まれるべきであることを要求されるものではない。

状態図、フロー図又はその両方が実施の形態を説明するために使用されているが、本発明はそれらの図又は対応する記載に限定されるものではない。例えば、フローはそれぞれ示されたボックス又は状態を介して、或いは図示又は記載されたものとまったく同じ順序で行われる必要はない。

本発明の方法は、手動、自動、又はそれらの組合せで、選択されたステップ又はタスクを実行又は完了することにより実行されてもよい。

「方法」という用語は、所定のタスクを達成するための手法、手段、技術及び手順に言及しているが、本発明の属する技術分野の実務家により公知な、又は公知な手法、手段、技術及び手順から容易に開発される手法、手段、技術及び手順に限定されるものではない。

請求項及び明細書中に記載された説明、例、方法及び材料は限定として解釈されるべきではなく、例示だけの目的と解釈されるべきである。

ここで使用される技術及び科学用語の意味は、別に定義されない限り、本発明の属する当業者により一般の意味に理解されるべきである。

本発明はここに説明されたそれらに同等又は類似の方法及び材料により試験又は実際に実施することができる。

本明細書中で参照又は記述された特許、特許出願及び論文を含む刊行物は、それぞれの個々の刊行物が特に及び個別にここに組み込まれているものと示されている場合と同程度まで明細書に完全に組み込まれている。さらに、本発明の幾つかの実施の形態の記載における参考文献の引用又は認定はそのような文献が本発明の従来技術として利用可能であることを許可したものと解釈されるべきではない。

本発明は限定数の実施の形態に関して記載されているが、これらは本発明の範囲に限定するものと解釈されるべきではなく、むしろ幾つかの好適な実施の形態の例示として解釈されるべきである。当業者であれば、本発明の範囲内にある他の可能な変形、修正、及び適用を想像するだろう。したがって、本発明の範囲はここまでに説明されたものによって限定されるべきではなく、添付した請求項及びそれらの法上の同等物により限定されるべきである。

Claims

空間的に操作される制御対象物を追跡するためのデータ処理システムであって、
カメラと、
該カメラに結合されるプロセッサと、
該プロセッサにより追跡される対象物として設計されると共に複数の色から特定の色が選択されるように特定の色で光を発するように配置される制御対象物と、
を備え、前記カメラは前記色付けされた光を受け取り、さらに前記プロセッサに各データを送るように設けられ、
前記プロセッサは前記カメラから前記データを受け取ると共に前記選択された特定の色に従って前記制御対象物を追跡するように設けられていることを特徴とするデータ処理システム。
前記プロセッサは前記カメラから受け取った前記データに従って前記一定の色を自動的に選択するように構成されている請求項１に記載のシステム。
前記制御対象物により発せられる光の色はユーザによって手動で選択される請求項１に記載のシステム。
前記発せられた光の選択色は少なくともその場面で表された色である請求項１に記載のシステム。
前記制御対象物は前記プロセッサにより選択された色の光を発するように前記プロセッサにより自動的に構成される請求項２に記載のシステム。
前記制御対象物は前記プロセッサにより選択された色の光を発するように手動で構成される請求項２に記載のシステム。
前記プロセッサはある場面での色表現の変化の結果として新しい色の光を選択すると共に追跡するように構成されている請求項２に記載のシステム。
前記制御対象物は前記プロセッサに命令を入力するように構成される請求項１に記載のシステム。
複数の制御対象物は、各制御対象物が異なる色で光を発するように同時に追跡される請求項１に記載のシステム。
制御対象物を追跡する方法であって、
前記制御対象物の空間的位置を示す色付きの光を受け取り、
特定色を有する光を発するように前記制御対象物を構成し、前記特定色が複数の色から選択され、前記選択は前記制御対象物により受け取られたデータに従い、前記制御対象物の周りの背景の光学的特性に適しており、
前記選択された特定の色に基づき前記制御対象物を追跡することを特徴とする方法。
前記制御対象物により発せられた光の色は自動的に選択される請求項１０に記載の方法。
前記制御対象物により発せられた光の色はユーザにより手動で選択される請求項１０に記載の方法。
前記発せられた光の選択された色は、少なくとも２つの色からその場面で示された色である請求項１０に記載の方法。
前記制御対象物は選択された色の光を発するように自動的に構成される請求項１１に記載の方法。
前記制御対象物は選択された色の光を発するように手動で構成されている請求項１１に記載の方法。
前記制御対象物により発せられる光の色はある場面の色表現の変化に応じて再び選択される請求項１１に記載の方法。
前記制御対象物は命令を入力するように構成される請求項１０に記載の方法。
複数の制御対象物は、各制御対象物が異なる色の光を発するように同時に追跡される請求項１０に記載の方法。