JP2010197100A - 室内と家具の位置情報を３次元情報として取得する装置 - Google Patents

Abstract

【課題】室内と家具の位置情報を３次元情報として取得する。
【解決手段】１台の固定カメラにより撮影した室内画像（２次元映像）から、簡単なマウスクリック操作により、室内（床面、壁面、天井等の境界）と家具（幅、高さ、奥行き、設置位置）の位置情報を（ｘ，ｙ，ｚ）座標の３次元情報として取得し、透視図化する。
【選択図】図７

Description

本発明は、２次元映像から室内と家具の位置情報を３次元情報として取得する装置に関するものである。

室内の位置情報を取得するには、これまで人がメジャー（物指し、巻き尺等）を使って実測する方法に依っている。またこれを情報化するには、透視図に代表される図面化する作業を必要としている。

また、居住者等の動態は室内に配置されているオブジェクトとは分けて考える場合が多く、無視されている。あるいは動態のみ追跡する装置としては防犯カメラがあるが、これは事件等があった後にレビューするものであり、リアルタイムでの自動処理ではない。

関連特許としては特許文献１のインテリアシミュレーションシステムがあるが、これはすでに透視図化された静止画像をディスプレーに表示するシステムであり、本件が請求する「映像から透視図化する」ものではない。

その他、特許文献２の画像変換方法があるが、これは静止画像による透視図の視点位置を変換する技術であり、本件が請求する「空間位置情報（３次元座標）」を取得するものではない。

特開２００２−０４２１７０号公報 特開平１０―４９７０４号公報

室内における人間の諸々の所作は、部屋の物理的な大きさを境界条件とし設えてある家具等と人間との相互位置関係で決まってくる。たとえば、室内のある場所Ａからある場所Ｂへの移動に要する時間推定や最適移動経路の探索・指示（平常時における要介護者誘導や災害時の安全誘導等の情報になる）や他者の室内進入時間・経路等の把握（防犯情報となる）には、基本情報として室内の全体背景（内観図）と設えてある室内備品・家具等の位置・大きさ等に加え、室内に滞在する人間の行動を追跡し、内観図中（たとえば透視図が分かりやすい）に位置情報として捉えておく必要がある。これが達成されるなら、これらの情報を使って、上記のような居住者の次なる行動に対して、最適な指示を与えることができる。しかし、このような居住者に最適行動指示を与える考え方自体、存在していない。

システムの基本となる部屋の内観を把握することにのみ機能を限定するなら、そのための情報収集にはこれまで、人による実測を必要としていた。このことは、情報化の労力が大きく、室内状況を監視し続けること（モニタリングし続けること）が容易ではないことを意味する。すなわち解決しようとする問題点は、室内状況を情報として内観図化（透視図化）するための室内の壁面・床面・天井面の境界線の情報取得及び室内にある家具等の大きさ・位置を情報取得するためには、これまでの技術では人が室内に立ち入り、多くの労力と時間を要す必要があり、自動化できない点である。

また、室内に居留する人間の行動を追跡し内観図との位置関係でリアルタイムに把握するシステムが存在しないことである。

本願の第１の発明は、カメラにより撮影された室内の２次元映像から室内と家具の位置情報を３次元座標の３次元情報として取得し、透視図化する装置を特徴とする。

具体的には、この装置は、室内を撮影した２次元画像を取得し、２次元画像中で特定される複数点の座標から焦点を算出し、前記焦点を通る線分から、奥行き比を求める際に利用する測点を設定する手段と、
前記２次元画像中で床面を設定する手段と、
前記２次元画像中で基準面を設定する手段と、
前記設定された測点を用いて、奥行き比を設定する手段と、
前記設定された奥行き比を用いて前記室内にある家具の３次元位置情報を得る手段と、を備えたものとすることができる。

本願の第２の発明は、上記第１の発明において、さらに、前記カメラにより撮影された２次元映像から居室内の動態を抽出し、前記透視図中にその位置をプロットすることを特徴とする。

本発明の一実施形態に係るシステムの構成を示す図である。 ＣＣＤカメラによる室内静止画像を示す図である。 ２次元映像から室内の状況および居住者位置を３次元情報として取り出す処理を示すフローチャートである。 焦点・測点の設定処理の説明に供する説明図である。 床面設定処理の説明に供する説明図である。 基準面設定処理の説明に供する説明図である。 奥行き比の設定処理の説明に供する説明図である。 家具座標抽出処理の説明に供する説明図である。 人間の位置の抽出処理の説明に供する説明図である。 地震時負傷回避システムの処理を示すフローチャートである。 転倒領域計算処理の説明に供する説明図である。 アスペクト比別家具転倒確率を示すグラフである。 代表的な家具単体のAIS値を示す図である。 危険状況の判断に応じた領域表示を示す図である。 居住者の安全／危険判断に応じた表示例を示す図である。

本システムは、図１に示すように、ＣＣＤカメラ等の固定カメラによるハードウェアとパーソナルコンピュータ（パソコン）上で駆動するソフトウェアプログラムとから構成されている。カメラは室内全体を撮影できるように天井等に固定する。

事前準備として、ＣＣＤカメラによる画像（２次元静止画像）をパソコン上に映し出し、簡単なマウスクリック操作により、室内と家具の位置及び長さ情報を取得する。カメラ画像を図２とした場合を例に、操作方法とソフトウェアのアルゴリズムを以下に説明する。図３に、システムのフローチャートを示す。

以下の手順で操作することにより、室内と家具の位置情報が取得できる。
（１）焦点・測点の設定
図４（ａ）に示すように、基準面に対し鉛直上に並ぶ４点（Ａ，Ｂ，Ｃ，Ｄ）を、パソコンの２次元画面上（Ｘ，Ｙ）で、マウスクリックすることにより、焦点を数式１より求める。具体的には、焦点の座標を（Ｘ_０，Ｙ_０）とすると、点Ａ，Ｂを通る直線(1)と点Ｃ，Ｄを通る直線(2)を求め、それらの連立方程式を解いて焦点を求め、画面上に表示する。

次いで、図４（ｂ）に示すように、奥行き比を求める際に利用する測点を、床面右手前の点Ｅと左奥の点Ｆをマウスクリックすることにより求める。具体的には、焦点を通る水平線分と点Ｅ，Ｆを通る直線との交点から測点を求める。
（２）床面設定
図５に示すように、床面と基準面の右奥接地点Ｇをクリックすることで、床面を抽出し、画面上に表示する。
（３）基準面設定
図６に示すように、基準面と天井との接地点である左上の点Ｈと右上の点Ｉをクリックすることで、点Ｆと点Ｇを使い基準面を抽出し、画面上に表示する。
（４）奥行き比の設定
ここで、室内を３次元実体座標に変換する。図７（ａ）に示すように、画面左下を原点に横をＸ軸、縦をＹ軸、奥行きをＺ軸に設定する。実距離を基準面で測定したとすると、Ｘ軸とＹ軸については焦点と結ぶことで実距離ｘとｙを計算する。室内の奥行き（Ｚ軸）は測点を用いて、次のように長さの比で実距離を表す。すなわち、Ｚ軸上の線分比ＡＢ：ＢＣは実軸上では測点を用いたＸ軸上への投影線分比Ａ’Ｂ’：Ｂ’Ｃ’に等しい。

比で表された奥行き（Ｚ軸）に、実際の長さを与える（距離化する）ために、室内の基準面に接するように正方形を配置し、図７（ｂ）に示すように、２次元画面上で配置された正方形の角３点Ｄ，Ｅ，Ｆをクリックする。線分ＤＥ＝ｎとし、その長さに等しいＸ軸上への投影線分Ｄ’Ｅ’＝ｎ’として、数式２に示す係数αを求める。

このαを使うことで、任意のＺ軸上の線分ｚ’の基準面における実長さｚを数式３より求めることができる。

以上のようにして、室内空間に配置された物体の位置と長さを２次元映像から３次元座標に変換する係数αが求められる。

つまり、この（４）の処理では、測定を用いて奥行き比を定義し、基準面に接した正方形から、基準面の座標距離を基本とし、奥行きを定義し、正方形の実距離と基準面の座標距離の比から室内を実距離化するものとしている。
（５）家具座標抽出
図８（ａ）に示すように、上記の室内に家具が配置された２次元映像上で家具のコーナー４点（斜め配置の場合は５点）をマウスクリックする。

上記（４）のアルゴリズムを用いて、家具の３次元位置情報（室内における位置と家具を直方体と見なしたときの、幅・奥行き・高さの実距離）を取得する。具体的には、図８（ｂ）に示すように、取得した家具の頂点と焦点、測点を結び家具の基準面での大きさ（基準面での座標距離と実距離）を取得する。すなわち、家具の奥行きＢＣは、焦点と点Ｂ及び点Ｃを結び基準面と接した長さｄで基準面における奥行き実長さが求められ、家具の高さＢＤは、同様に焦点とそれぞれの点を結び基準面と接した長さｈで基準面における高さの実長さが求められる。家具の幅ＡＢは測点と結んだ手前の水平線との交点Ａ’Ｂ’の線分をｗ’とすると、数式３より基準面における家具の幅ｗは以下で求められる。

また、家具の床面の座標位置は、家具の幅を求めたときと同様に、測点からの手前水変線との交点Ｏ’Ａ’より、その線分をａ’とすると、以下の式より基準面における実長さａを求めればよい。

以上より、幅ｗ、奥行きｄ、高さｈの家具が基準面からａだけ離れた位置に設置されているという実距離の座標情報が取得できる。

以上で、事前準備は終了である。以後は、ＣＣＤカメラからの映像を常時パソコンへ送ることにより、上記に取得した家具レイアウトの室内空間における人間行動を常時監視し、部屋にいる居住者人数と彼らの位置を家具等との位置関係において追跡する。
（６）人間の位置の抽出
居住者の行動をＣＣＤカメラ映像より背景差分法により動態である人間を抽出し、さらにCamshift法を応用して、足下の輪郭をとることで居住者の室内での位置を上記室内情報中で自動追跡する（図９参照）。

以上、２次元映像から室内の状況および居住者位置を３次元情報として取り出す技術、つまり固定カメラにより撮影された室内の２次元映像から室内と家具の位置情報を３次元座標の３次元情報として取得して透視図化し、また固定カメラにより撮影された２次元映像から居室内の動態を映像から自動的に抽出し、透視図中にその位置をプロットする技術について説明した。なお、上記したシステムでは、透視図化するためのキーとなる箇所をマウスクリックすることにより情報取得しているが、画像処理によるエッジ検索をすることで自動処理が可能となる。そうすることにより、画像から透視図化まで完全自動化することが可能となる。また、撮影画像はカメラによる静止画像でも、ビデオカメラによる動画でも構わない。

次に、上記した技術を、地震襲来時に居住者に室内の負傷危険箇所をリアルタイムで告知し負傷回避を誘導するシステムに適用した実施形態について説明する。

図１０に、そのシステムのフローチャートを示す。なお、ハード構成は基本的には図１に示すものと同じである。

図１０に示すように、上記（６）の人間の位置の抽出を行った後、地震発生か否かを判定する。地震発生か否かは、例えばパソコンに有線で入力された気象庁緊急地震速報にて判定することができる。地震が発生していない間は上記の（６）の人間の位置の抽出する処理を繰り返す。

また、上記（５）で抽出された家具座標により、家具の転倒領域を計算する。
（７）転倒領域計算
図１１に示すように、家具が転倒する危険領域を自動算出し、必要なときにパソコンに映し出されている室内床面上に自動描画する。具体的には、家具の各面（図では側板）を基準面に投影し、そこでの実長さ（転倒した場合の床面覆う長さ等）を上記（４）の方法で計算する。次いで、元の位置に焦点を使って戻し、転倒領域を得る。

気象庁緊急地震速報により地震発生が判定されると、気象庁緊急地震速報から地震震度を入力し、それに基づいて家具の転倒確率を算出する。
（８）家具の転倒確率の算出
家具の大きさ（アスペクト比＝奥行き／高さの比）と床応答震度（気象庁緊急地震速報の震度情報を建物階数で補正した震度）により転倒確率を計算する実験式を以下に提案し、算出に用いる。家具のアスペクト比に着目した転倒率簡易推定式は既往式1)を基本とするが、地震動（床応答）について最大床応答加速度Afと最大床応答速度Vfを知る必要がある。緊急地震速報は震度情報Iのみ提供されるので、Af とIとの関係に既往式2)を、VfとIとの関係に既往式3)を代入し整理すると、数式４中の式(1)が誘導できる。

ここに、β(I)は剛体への入力最大加速度（＝ln Af）、Φは平均λ・標準偏差ζ(=0.58固定)の累積正規分布関数、αは床と家具とのすべり摩擦係数（＝0.8固定）、D/Hは家具アスペクト比、gは重力加速度、Ffは床応答等価振動数（=3.18固定）[Hz]、Fbは家具の境界振動数[Hz]である。

なお、上記の既往式1)〜3)は以下の文献を引用した。

1)金子美香：地震時における家具の転倒率推定方法、日本建築学会構造系論文集、第551号、pp.61-68、2002.
2)河角広：震度と震度階（続）、地震、15、pp.6-12、1943.
3)Muramatu,I：Expectation of maximum velocity of earthquake motion within 50 years throughout Japan Sci.Rep.Gifu Univ.,3, 470-481,1993.
以上のように、家具アスペクト比と震度のみで家具の転倒確率が求められる。誘導した式(1)をグラフ化したものを図１２に示す。なお、家具アスペクト比は前ステップ（５）の家具オブジェクト化の操作の時点で自動的に計算される。
（９）家具種類別の負傷程度の算出
家具の種類により、それが転倒落下し居住者にぶつかったときの負傷程度が異なる。この負傷程度を示す指標として災害医学で用いられる簡易式外傷指数AIS (Abbreviated Injury Scale）を参考に、新たに家具別指数を近年の被害地震調査結果を基に求め、その数値の大小より負傷程度を評価できるようにした。家具別のAIS値は以下に与えられる。家具が複数当たる場合は、数値を加算しその総和で判断する。

数値が３未満の時：軽傷を与える。

数値が３以上の時：重傷を与える。

代表的な家具単体のAIS値を図１３に示す。
（１０）領域表示
パソコン画面上には、気象庁緊急地震速報からの震度情報が入力されたり、あるいはシステムによる教育訓練として手動により震度が入力されると、図１４に示すように、危険状況の判断に応じた領域表示を行う。具体的には、家具のワイヤーフレームが家具別AISにより
軽傷と判断された時：家具のワイヤーフレームを黄色
重傷と判断されたとき：家具のワイヤーフレームを赤色
で色分けし、家具別負傷度の状態が表示される。また、転倒領域は震度による転倒率が算出され、その値により以下のように色分け表示がなされる。

転倒率０％の時：転倒領域は枠のみ白色表示
転倒率３０％未満の時：転倒領域は橙色で表示
転倒率３０％以上の時：転倒領域は赤色で表示
複数の転倒領域が重なる場合、より危険な領域に対しての避難誘導を優先して行うために、危険な領域を上に表示するものとする。
（１１）居住者の安全／危険判断
上記（６）で抽出された人間の位置に基づき、図１５に示すように、居住者の足跡を画面表示し、画面での危険状態が認識できるようにする。

”足跡”の色表示の仕方は、３パターンあり、
(1)床面黒色領域（安全）→安全領域→足跡は白色
(2)床面橙色領域（転倒確率０％より大きく３０％未満）→やや危険領域→足跡は灰色
(3)床面赤色領域（転倒確率３０％以上）→危険領域→足跡は黒色
また、音声による避難誘導も同時に行う。人間の輪郭の一番下の座標における危険度によって、対応する音声の避難誘導を行う。危険度別による音声避難情報は、次の(1)〜(3)のようになっている。文脈として、場所の危険性を訴え、移動行為を促進させるために「そこ」という位置情報を含み、かつ端的な表現で誰にでも危機感の程度差が認識できるように［危険］［すごく危険］の２表現としている。

(1)安全領域内（無色転倒領域内）→「そこから動かないでください。」
(2)やや危険領域内（橙色転倒領域内）→「そこ、危険です。」
(3)危険領域内（赤色転倒領域内）→「そこ、すごく危険です。」
なお、上記の実施形態では、居住者の誘導方法はコンピュータの音声情報で実現しているが、緊急地震速報を受けたときに、可動式ロボットに安全領域への移動を指示しロボットがそこに移動し、そこでロボットが警告音声（そのほか、発光等による警告サイン）を発することで、（複数）住人に安全領域の場所を明示し、そこへの移動を誘導することができる。

上記した実施形態によれば、以下の効果を有する。すなわち、気象庁緊急地震速報を個人世帯で利用するシステムであり、これまでのものは、ただ単に地震発生時にその地域の震度を予測し、その震度を通報するのみであり、それに対する防災対応は受信者の意思決定に任せられていた。しかし、緊急地震速報を受信した後実際の揺れがやってくるまでの猶予時間は数秒程度であり、その焦りの中で適切な状況判断が求められ、時に間違い重大な人的被害に結びつくことが考えられる。本システムは、極短時間における意思決定をコンピュータに的確に判断させ、猶予時間を有効に使って安全な避難をサポートするものであり、地震時の家具転倒や室内散乱に伴う人的被害を避ける有効な手段となる。

Claims (2)

1. カメラにより撮影された室内の２次元映像から室内と家具の位置情報を３次元座標の３次元情報として取得し、透視図化する装置。
2. 前記カメラにより撮影された２次元映像から居室内の動態を抽出し、前記透視図中にその位置をプロットする請求項１に記載の装置。