JP2014106861A - 画像処理プログラム、画像処理方法および画像処理装置 - Google Patents

画像処理プログラム、画像処理方法および画像処理装置 Download PDF

Info

Publication number
JP2014106861A
JP2014106861A JP2012260969A JP2012260969A JP2014106861A JP 2014106861 A JP2014106861 A JP 2014106861A JP 2012260969 A JP2012260969 A JP 2012260969A JP 2012260969 A JP2012260969 A JP 2012260969A JP 2014106861 A JP2014106861 A JP 2014106861A
Authority
JP
Japan
Prior art keywords
point
moving
image processing
virtual space
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012260969A
Other languages
English (en)
Other versions
JP5966888B2 (ja
Inventor
Toshio Yoshioka
寿夫 吉岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2012260969A priority Critical patent/JP5966888B2/ja
Publication of JP2014106861A publication Critical patent/JP2014106861A/ja
Application granted granted Critical
Publication of JP5966888B2 publication Critical patent/JP5966888B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】移動者の実際の視界に近い画像を生成する。
【解決手段】画像処理装置10は、仮想空間を移動する移動者1の視点から見た仮想空間の画像を生成する画像処理プログラムを実行する。画像処理装置10は、画像処理プログラムを実行することにより、移動者1の移動経路上の屈曲点P3と移動経路の終点P4とを結ぶ経路の途中に目標点P5を設定し、移動者1の視線方向3を目標点P5への方向に維持したまま移動者1を移動経路に沿って移動させたときの画像4,5を生成する。これにより、終点P4の方向を視界に入れながら移動する移動者1の視界をシミュレーションすることができる。
【選択図】図1

Description

本発明は、画像処理プログラム、画像処理方法および画像処理装置に関する。
仮想空間上を移動する移動者の視界を、コンピュータグラフィックスを用いてシミュレーションするシステムがある。このシステムは、たとえば、工場における作業者の作業効率を評価する目的で用いられる。
また、近年、仮想空間を用いた様々な技術が提案されている。たとえば、ユーザの入力に基づいて時間的に変化する新たな視線情報を逐次作成し、作成された視線情報の視線から見た仮想空間の表示データを逐次出力する技術がある。また、ユーザが現在地から所望の進行方向を指示すると、視線方向が進行方向の地表の傾きと平行になるように決定されるようにした技術がある。
特開2000−20753号公報 特開平9−152954号公報
屈曲点を含む移動経路を移動する移動者の視界をシミュレーションする際に、移動者の視線方向を単に進行方向とするだけでは、移動者の視界が実際の視界とは異なる不自然なものとなる場合がある。
一側面では、本発明は、移動者の実際の視界に近い画像を生成可能な画像処理プログラム、画像処理方法および画像処理装置を提供することを目的とする。
1つの案では、仮想空間を移動する移動者の視点から見た仮想空間の画像を生成するための画像処理プログラムが提供される。この画像処理プログラムは、コンピュータに、仮想空間における移動者の移動経路上の屈曲点と移動経路の終点とを結ぶ経路の途中に目標点を設定し、移動者の視線方向を目標点への方向に維持したまま移動者を移動経路に沿って移動させたときの上記の画像を生成する処理を実行させる。
また、1つの案では、上記画像処理プログラムによって実現される処理と同様の処理を実行する画像処理方法および画像処理装置が提供される。
さらに、1つの案では、仮想空間を移動して荷物を運ぶ移動者の視点から見た仮想空間の画像を生成するための画像処理プログラムが提供される。この画像処理プログラムは、コンピュータに、上記の画像を生成する際の移動者の視線方向を、荷物の重量に応じて設定する処理を実行させる。
また、1つの案では、上記画像処理プログラムによって実現される処理と同様の処理を実行する画像処理方法および画像処理装置が提供される。
一側面では、移動者の実際の視界に近い画像を生成できる。
第1の実施の形態の画像処理装置の機能的構成例および動作例を示す図である。 第2の実施の形態の画像処理装置のハードウェア構成例を示す図である。 画像処理装置の機能の例を示すブロック図である。 経路情報テーブルの例について示す図である。 位置情報テーブルの例について示す図である。 注視点情報テーブルの例について示す図である。 画像処理の例を示すフローチャートである。 画像処理の第1の例を示す図である。 画像処理の第2の例を示す図である。 画像処理の第3の例を示す図である。 荷物を持って移動する作業者の視界についての画像生成例を示す図である。 第3の実施の形態の画像処理装置の機能の例を示すブロック図である。 第3の実施の形態における注視点情報テーブルの例について示す図である。 重量閾値情報の例を示す図である。 第3の実施の形態における画像処理の例を示すフローチャートである。 ユーザ入力時の画像処理の変化例を示すフローチャートである。
以下、本実施の形態を図面を参照して説明する。
[第1の実施の形態]
図1は、第1の実施の形態の画像処理装置の機能的構成例および動作例を示す図である。画像処理装置10は、仮想空間を移動する移動者の視点から見た仮想空間の画像を生成する。仮想空間とは、たとえば、3次元座標空間において人や物体などのオブジェクトが配置される仮想的な空間である。画像処理装置10は、オブジェクトの形状や位置などの情報を基に、仮想空間を描画した画像を生成することができる。
画像処理装置10は、設定部11および生成部12を有する。設定部11および生成部12の処理は、たとえば、CPU(Central Processing Unit)やDSP(Digital Signal Processor)などのプロセッサ、あるいは、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などのその他の電子回路により実現される。
設定部11は、仮想空間上を移動する移動者の移動経路上の屈曲点と当該移動経路の終点とを結ぶ経路の途中に目標点を設定する。生成部12は、移動者の視線方向を目標点への方向に維持したまま移動者を移動経路に沿って移動させたときの、移動者から見た仮想空間の画像を生成する。これにより画像処理装置10は、移動者の実際の視界に近い画像を生成することができる。
ここで、図1に示すように、仮想空間上に配置された移動者1が、始点P1から終点P4への移動経路であって、視点P1から終点P4は見通せるものの、視点P1と終点P4との間に障害物などがあることにより、経路としてP1から屈曲点P3を経由して終点P4へ至る経路を移動する場合の例について説明する。仮想空間において、終点P4には、物体2が配置されている。移動者1は、始点P1から屈曲点P3まで直進後、屈曲点P3において移動方向を変更し、屈曲点P3から終点P4まで直進する。
このとき、設定部11は、屈曲点P3と終点P4を結ぶ経路の途中に目標点P5を設定する。当該経路の途中の座標は、たとえば、屈曲点P3から終点P4までの距離の2/3の距離を、屈曲点P3から終点P4へ進めた位置に設定される。そして、設定部11は、移動者1の視線方向3を目標点P5への方向に維持したまま、移動者1を移動経路に沿って移動させる。
生成部12は、たとえば、移動者1が始点P1に存在する場合、移動者1が始点P1から目標点P5を見た仮想空間の画像4を生成する。また、生成部12は、たとえば、移動者1が通過点P2を移動中の場合、移動者1が通過点P2から目標点P5を見た仮想空間の画像5を生成する。画像4,5には、画像の右側に終点P4に配置された物体2が映る。
終点位置を見通せ、かつ、移動経路上に屈曲点が存在する場合、実際の移動者はその移動経路上を移動する際、屈曲点を通過した先の位置を視界に入れようとするのが自然である。たとえば、移動者は、移動経路の終点を視界に入れようとする。ただし、屈曲点に到達する前に終点を視界の中心とするのは不自然であり、終点だけでなく、屈曲点から終点に至る経路も視界に入れながら移動するのが自然であると考えられる。好ましくは、終点と屈曲点の両方を視界に入れながら移動するのが最も自然であると考えられる。
第1の実施の形態の画像処理装置10によれば、たとえば、移動者1が始点P1から屈曲点P3に達するまでの間、移動者1の視線方向は、移動者1の移動方向(すなわち屈曲点P3への方向)ではなく、それより終点P4に近い方向となる。これにより、視線方向を移動者1の移動方向に一致させた場合と比較して、移動者1の実際の見え方に近い自然な画像を生成することが可能になる。特に、生成された画像の中に終点P4が含まれるように目標点P5の位置が選択されることで、画像4,5のように終点P4に配置された物体2が映り込むようになり、移動者1の実際の見え方に近づけることができる。さらに、終点P4と屈曲点P3とが画像に含まれるように目標点P5の位置が選択されることで、移動者1の実際の見え方にさらに近づけることができる。
[第2の実施の形態]
図2は、第2の実施の形態の画像処理装置のハードウェア構成例を示す図である。
画像処理装置100は、移動中の作業者の視界をシミュレーションするコンピュータである。作業者は、たとえば、工場の所定の区域で作業する者である。ここでは、所定の区域は、例として作業者から半径5m程度の範囲を想定している。画像処理装置100は、仮想空間上に設定された移動経路を移動する作業者の視点から見た仮想空間の画像を生成し、生成した画像をディスプレイ21に表示する。仮想空間とは、3次元座標空間においてオブジェクトが配置される仮想的な空間である。画像処理装置100によって生成された画像は、たとえば、作業者による作業の効率化を目的とした分析に用いられる。
画像処理装置100は、プロセッサ101、RAM(Random Access Memory)102、HDD(Hard Disk Drive)103、画像信号処理部104、入力信号処理部105、ディスクドライブ106および通信インタフェース107を有する。上記各ユニットは、画像処理装置100内でバス108に接続されている。
プロセッサ101は、プログラムの命令を実行する演算器を含むプロセッサである。プロセッサ101は、HDD103に記憶されているプログラムやデータの少なくとも一部をRAM102にロードし、プログラムを実行する。なお、プロセッサ101は複数のプロセッサコアを備えてもよく、画像処理装置100は複数のプロセッサを備えてもよい。
RAM102は、プロセッサ101が実行するプログラムや計算に用いられるデータを一時的に記憶する揮発性メモリである。HDD103は、OSやファームウェアやアプリケーションソフトウェアなどのソフトウェアのプログラムおよびデータを記憶する不揮発性の記憶装置である。なお、画像処理装置100は、SSD(Solid State Drive)などの他の種類の記憶装置を備えてもよく、複数個の不揮発性の記憶装置を備えてもよい。
画像信号処理部104は、プロセッサ101からの命令に従って、画像処理装置100に接続されたディスプレイ21に画像を出力する。ディスプレイ21としては、CRT(Cathode Ray Tube)ディスプレイや液晶ディスプレイなどを用いることができる。
入力信号処理部105は、画像処理装置100に接続された入力デバイス22から入力信号を取得し、プロセッサ101に通知する。入力デバイス22としては、マウスやタッチパネルなどのポインティングデバイス、キーボードなどを用いることができる。
なお、ディスプレイ21や入力デバイス22は、画像処理装置100の筐体と一体に形成されていてもよい。
ディスクドライブ106は、記録媒体23に記録されたプログラムやデータを読み取る駆動装置である。記録媒体23として、たとえば、フレキシブルディスク(FD:Flexible Disk)やHDDなどの磁気ディスク、CD(Compact Disc)やDVD(Digital Versatile Disc)などの光ディスク、光磁気ディスク(MO:Magneto-Optical disk)を使用できる。ディスクドライブ106は、プロセッサ101からの命令に従って、記録媒体23から読み取ったプログラムやデータをRAM102またはHDD103に格納する。なお、画像処理装置100はディスクドライブ106を備えていなくてもよい。
通信インタフェース107は、ネットワーク30を介して他の情報処理装置と通信を行う。
図3は、画像処理装置の機能の例を示すブロック図である。画像処理装置100は、情報記憶部110、描画制御部120および描画処理部130を有する。情報記憶部110は、仮想空間上の作業者の視界をシミュレーションするために用いる情報を記憶する。情報記憶部110は、仮想空間情報111、経路情報テーブル112、位置情報テーブル113および注視点情報テーブル114を有する。
仮想空間情報111は、コンピュータグラフィックスを用いて仮想空間を表現するための各種の情報を含む。仮想空間は、画像処理装置100がシミュレーションの対象とする場所を仮想した3次元空間である。仮想空間には、シミュレーションの対象となる場所に存在する物体や当該場所で作業する作業者などのオブジェクトが配置されている。仮想空間情報111には、これらのオブジェクトのデータが含まれる。オブジェクトのデータには、オブジェクトの形状、位置、重心、頂点などを示す情報が含まれる。また、オブジェクトのデータには、姿勢や、素材を示す情報が含まれていてもよい。
経路情報テーブル112は、作業者が仮想空間上を移動するときの移動経路の情報を保持する。経路情報テーブル112は、たとえば、ユーザの操作入力に応じて情報記憶部110に記憶される。
位置情報テーブル113は、作業者の現在位置、作業者の移動経路の屈曲点・終点など、仮想空間における座標の一覧情報を一時的に保持する。位置情報テーブル113は、経路情報テーブル112に基づいて描画制御部120により生成される。
注視点情報テーブル114は、作業者の注視点の一覧情報を一時的に保持する。注視点とは、作業者が移動する際、作業者の視線方向となる仮想空間の座標である。注視点情報テーブル114は、位置情報テーブル113に基づいて描画制御部120により生成される。
描画制御部120は、経路情報テーブル112の情報に基づいて、作業者の移動経路の屈曲点・終点を算出する。描画制御部120は、算出した屈曲点・終点の座標を位置情報テーブル113に格納する。
また、描画制御部120は、位置情報テーブル113に格納した屈曲点および終点に基づいて、作業者の移動経路の目標点を算出する。目標点とは、仮想空間において、作業者の視線が向かう先として設定される座標であり、移動経路を移動中の作業者の視界に、当該移動経路の終点および移動方向に存在する屈曲点が含まれるように選択される。目標点は、たとえば、作業者の移動経路上の屈曲点と移動経路の終点とを結ぶ経路の途中に設定される。これにより、作業者は、移動方向と移動経路の終点を視界に入れながら移動するため、移動中の作業者の視界を実際の視界の様子に近づくようにシミュレーションできる。描画制御部120は、算出した移動経路の目標点など、注視点に関する情報を注視点情報テーブル114に格納する。
また、描画制御部120は、経路情報テーブル112に格納された移動経路の情報に基づいて仮想空間上の作業者を移動させ、当該作業者の現在位置の情報を位置情報テーブル113に格納する。
また、描画制御部120は、位置情報テーブル113に格納された作業者の現在位置に基づいて、注視点情報テーブル114から注視点を選択する。
描画処理部130は、位置情報テーブル113に格納された作業者の現在位置、決定した注視点に基づき、作業者の視点から見た画像を生成する。そして、描画処理部130は、生成した画像のデータをディスプレイ21に出力して、生成した画像を表示させる。
図4は、経路情報テーブルの例について示す図である。経路情報テーブル112は、仮想空間において、作業者が移動するときの移動経路の情報を格納するテーブルである。経路情報テーブル112は、通過点ID、X座標およびY座標の項目を有する。通過点IDの項目には、移動する作業者の移動経路の順番を示す番号が設定される。たとえば、通過点ID=“1”に対応する座標は、移動経路の始点となる。また、最大値となる通過点ID(図4では“6”)に対応する座標は、移動経路の終点となる。X座標の項目には、各通過点のX座標が設定される。Y座標の項目には、各通過点のY座標が設定される。
なお、本実施の形態では、移動経路のZ座標(鉛直方向に対する座標)は、基準標高にある地表面を示す“0”であるものとする。ただし、移動経路に高低差が付与されて、通過点のZ座標が“0”以外の値をとるようにしてもよい。
図5は、位置情報テーブルの例について示す図である。位置情報テーブル113は、作業者の現在位置、作業者の移動経路の屈曲点・終点など、仮想空間における座標の一覧情報を一時的に保持するテーブルである。位置情報テーブル113は、経路情報テーブル112に基づいて描画制御部120により生成され、情報記憶部110に記憶される。位置情報テーブル113は、位置ID、種別、X座標およびY座標の項目を有する。
位置IDの項目には、位置情報を識別する識別子が設定される。種別の項目には、位置情報の種別が設定される。たとえば、種別が“現在位置”である位置情報は、仮想空間上の作業者の現在位置を示す。また、種別が“屈曲点”である位置情報は、仮想空間上を移動する作業者の移動経路の屈曲点を示す。また、種別が“終点”である位置情報は、仮想空間上を移動する作業者の移動経路の終点を示す。X座標の項目には、種別に対応する位置のX座標が設定される。Y座標の項目には、種別に対応する位置のY座標が設定される。
図6は、注視点情報テーブルの例について示す図である。注視点情報テーブル114は、仮想空間上の作業者の注視点の一覧情報を一時的に保持するテーブルである。注視点情報テーブル114は、位置情報テーブル113に基づいて描画制御部120により生成され、情報記憶部110に記憶される。注視点情報テーブル114は、注視点ID、種別、X座標、Y座標およびZ座標の項目を有する。
注視点IDの項目には、注視点を識別する識別子が設定される。
種別の項目には、注視点の種別が設定される。たとえば、種別が“目標点”である場合、注視点は、描画制御部120により算出された目標点であることを示す。また、種別が“終点”の場合、注視点は、作業者の移動経路の終点であることを示す。たとえば、作業者の移動方向上に目標点が存在する場合、注視点を終点にすることで、作業者が目標点より終点側に移動したときも終点の反対側を視界に入れながら移動することを防止できる。
X座標の項目には、種別に対応する注視点のX座標が設定される。Y座標の項目には、種別に対応する注視点のY座標が設定される。Z座標の項目には、種別に対応する注視点のZ座標が設定される。Z座標には、たとえば、仮想空間の地表面から作業者の視点までの高さが設定される。また、終点に配置された物体に目印が存在する場合、当該目印の高さがZ座標に設定されてもよい。
図7は、画像処理の例を示すフローチャートである。図7は、仮想空間において、作業者が所定の移動経路を移動する場合の画像処理の例である。以下、図7に示す処理をステップ番号に沿って説明する。
(ステップS11)描画制御部120は、経路情報テーブル112に格納された情報に基づいて、仮想空間上を移動する作業者の移動経路の終点の座標を算出する。終点の座標の算出は、たとえば、経路情報テーブル112から通過点IDが最大である通過点の座標(X座標およびY座標。以下、同様とする。)を取得することで行う。そして、描画制御部120は、算出した終点の情報を位置情報テーブル113および注視点情報テーブル114に格納する。
(ステップS12)描画制御部120は、経路情報テーブル112に格納された情報に基づいて、仮想空間上を移動する作業者の移動経路の屈曲点の座標を算出する。屈曲点の座標の算出は、たとえば、経路情報テーブル112から1つ後の通過点IDのX座標およびY座標の両方が異なる通過点の座標を取得することで行う。そして、描画制御部120は、算出した屈曲点の情報を位置情報テーブル113に格納する。
(ステップS13)描画制御部120は、位置情報テーブル113に格納された情報に基づいて目標点の座標を算出する。目標点の座標の算出は、たとえば、まず、経路情報テーブル112から屈曲点および終点の座標を取得する。そして、屈曲点から経路の終点までの距離の例えば2/3の距離を、屈曲点から終点側へ進めた位置の座標を取得することで行う。さらに、描画制御部120は、算出した目標点の情報を注視点情報テーブル114に格納する。
(ステップS14)描画制御部120は、仮想空間に存在する作業者の現在位置の座標の初期値を設定する。現在位置の初期値は、経路情報テーブル112において1番目に登録された通過点の座標である。描画制御部120は、作業者の現在位置の座標を位置情報テーブル113に格納する。
(ステップS15)描画制御部120は、作業者の進行方向上に目標点が存在するか判定する。作業者の進行方向上に目標点が存在しない場合、処理をステップS16へ進める。当該作業者の進行方向上に目標点が存在する場合、処理をステップS17へ進める。
なお、このステップS15の判定は、たとえば、作業者の現在位置に基づき、作業者が屈曲点に達したかによって行うことができる。作業者が屈曲点に達していない場合、作業者の進行方向上に目標点が存在しないと判定され、作業者が屈曲点に達している場合、作業者の進行方向上に目標点が存在すると判定される。
(ステップS16)描画制御部120は、注視点情報テーブル114から目標点(注視点ID=V1)の座標を取得する。そして、描画制御部120は、取得した座標を注視点に設定する。注視点は、画像処理装置100の有する記憶領域(たとえば、RAM102)に記憶される。
(ステップS17)描画制御部120は、注視点情報テーブル114から終点(注視点ID=V2)の座標を取得する。そして、描画制御部120は、取得した座標を注視点に設定する。注視点は、画像処理装置100の有する記憶領域(たとえば、RAM102)に記憶される。
(ステップS18)描画処理部130は、仮想空間において、現在位置における作業者の視点から、設定した注視点を見たときの仮想空間の画像を生成する。
この画像は、たとえば、仮想空間内に長方形の投影面を設定し、作業者の視点および投影面の四隅を通る4本の直線を辺とする四角錐を作業者の視界として、透視投影法により生成される。なお、視線方向は例として水平方向に沿うものとする。
(ステップS19)描画処理部130は、生成した画像をディスプレイ21に表示させる。
(ステップS20)描画制御部120は、仮想空間において作業者を移動経路に沿って一定距離だけ移動させる。描画制御部120は、移動後の作業者の現在位置の座標によって、位置情報テーブル113の現在位置の座標を更新する。
(ステップS21)描画制御部120は、作業者が移動経路の終点に到達したか判定する。作業者が移動経路の終点に到達していない場合、処理をステップS15へ進める。作業者が移動経路の終点に到達した場合、処理を終了する。
図8は、画像処理の第1の例を示す図である。通過点#1,#2,#3,#4,#5,#6は、仮想空間における作業者の移動経路の通過点である。これらの通過点は、経路情報テーブル112(図4参照)に格納されている。なお、#1〜#6の数値は、図4の通過点IDに対応する。
屈曲点P12および終点P13は、経路情報テーブル112の経路情報に基づいて描画制御部120により位置情報テーブル113に(図5参照)格納されている。また、現在位置P11は、移動する作業者41の位置情報が描画制御部120により取得され、位置情報テーブル113に格納されている。また、注視点V1は、屈曲点P12および終点P13に基づいて描画制御部120により算出され、注視点情報テーブル114(図6参照)に目標点の情報として格納されている。さらに、注視点V2は、終点P13の情報に基づいて注視点情報テーブル114に終点の情報として格納されている。
作業者41は、仮想空間上の通過点#1,#2,#3,#4,#5,#6を経由する移動経路上を移動する作業者のオブジェクトである。施設42は、仮想空間において、作業者41の移動経路の終点に設置された物体のオブジェクトであり、たとえば作業者41が運んだ物を格納する棚である。以下、図9〜図10においても同様である。
図8において、作業者41の現在位置P11は、通過点#2とする。この場合、作業者41の注視点は、目標点である注視点V1となる。そのため、描画処理部130により、通過点#2を移動中の作業者41の視点から注視点V1を見たときの仮想空間の画像21aが生成され、生成された画像21aがディスプレイ21に表示される。
図9は、画像処理の第2の例を示す図である。図9において、作業者41の現在位置P11は、通過点#3とする。この場合、作業者41の注視点は、図8と同様に目標点である注視点V1となる。そのため、描画処理部130により、通過点#3を移動中の作業者41の視点から注視点V1を見たときの仮想空間の画像21bが生成され、生成された画像21bがディスプレイ21に表示される。
図10は、画像処理の第3の例を示す図である。図10において、作業者41の現在位置P11は、通過点#5とする。この場合、目標点(注視点V1)は、作業者41の進行方向上に存在するため、作業者41の注視点は、移動経路の終点P13上の注視点V2となる。そのため、描画処理部130により、現在位置P11を移動中の作業者41の視点から注視点V2を見たときの仮想空間の画像21cが生成され、生成された画像21cがディスプレイ21に表示される。
図8〜図10で示すように、屈曲点P12および終点P13の位置に基づいて作業者41の注視点を設定することで、仮想空間上を移動する作業者41の視界には、常に移動経路の終点に設置された施設42が含まれる。
第2の実施の形態の画像処理装置100によれば、屈曲点P12および終点P13の位置に基づいて算出した目標点(注視点V1)が作業者41の視界の中心となるように画像を生成する。これにより、終点P13を視界に入れながら移動する作業者41の視点から見た仮想空間の画像が生成できる。よって、視線方向を常に作業者の移動方向にして仮想空間の画像を生成する方法に比べ、作業者の視界をより正確にシミュレーションできる。
また、目標点が作業者41の進行方向上に存在する場合、終点P13(注視点V2)を作業者41の注視点にする。これにより、目標点(注視点V1)が作業者41を挟んで終点P13の反対側になった場合(たとえば、図8〜図10において作業者41が注視点V1より終点P13側に位置した場合)でも、作業者41は終点P13と反対側の目標点(注視点V1)ではなく終点P13(注視点V2)を視界に入れて移動するため、より正確に作業者の視界をシミュレーションできる。
なお、注視点V1の座標は、屈曲点P12に達するまでの作業者41の視界に終点P13に設置された施設42が含まれるように設定される。また、特に作業者41の位置が移動経路の始点に近い状態においては、作業者41の視界に終点P13と屈曲点P12の両方が含まれるように注視点V1の座標が設定されることが望ましい。
本実施の形態のように作業者から半径5m程度の範囲での作業を想定する場合、前述のように、注視点V1は、屈曲点P12から終点P13までの距離の2/3の距離を、屈曲点P12から終点P13側へ進めた位置の座標とすることができる。ここで、終点P13と屈曲点P12の両方が常に視界に含まれるように、注視点V1の位置を作業者41の移動に伴って変化させてもよい。しかしながら、作業者から半径5m程度の範囲での作業であれば、注視点V1を上記の位置に固定したままでも自然な見え方の画像を生成することができる。
ただし、たとえば、移動経路の始点(通過点#1)から終点P13までの距離が長い場合には、終点P13と屈曲点P12の両方が視界に入るようにすることは困難になる。この場合には、たとえば、注視点V1の位置を終点P13側に近づけて、視界に終点P13が確実に含まれるようにする。たとえば、描画制御部120は、移動経路の始点から終点P13までの距離が長くなるほど、屈曲点P12から終点P13までの距離に対する、屈曲点P12から注視点V1までの距離の割合を、2/3,3/4,4/5・・・のように増加させるようにしてもよい。
また、他の処理方法として、描画制御部120は、終点P13を中心とした一定範囲が視界の右端または左端の一定割合を占めるように、注視点V1の位置を設定してもよい。
[第3の実施の形態]
ところで、所定の重量以上の荷物を持って移動する場合、作業者の視線は、目的地(移動経路の終点)ではなく荷物の方向になる場合がある。そこで、第2の実施の形態の画像処理装置の変形例として、作業者が荷物を持って移動することを加味して画像を生成する画像処理装置の例について説明する。
図11は、荷物を持って移動する作業者の視界についての画像生成例を示す図である。作業者41aは、荷物43を持ちながら仮想空間上に設定された移動経路を移動する。ここで、荷物43の重量が閾値以上の場合、作業者41aの視線方向は、作業者の現在位置P11にかかわらず、作業者の進行方向に対して地表面側に傾いた方向となる。たとえば、作業者41aの注視点は荷物43の重心Gとなる。そのため、移動中の作業者41aの視点から重心Gを見たときの仮想空間の画像21dが生成され、生成された画像21dがディスプレイ21に表示される。
このように、閾値以上の荷物を持った作業者41aの視点から見た仮想空間の画像21dには、終点の周辺に設置された物体ではなく、荷物43の画像が含まれる。
図12は、第3の実施の形態の画像処理装置の機能の例を示すブロック図である。図12においては、図3と同様の構成要素については同じ符号を付して示している。
画像処理装置100aは、情報記憶部110a、描画制御部120aおよび描画処理部130を有する。また、情報記憶部110aは、仮想空間情報111、経路情報テーブル112、位置情報テーブル113、注視点情報テーブル114a、重量閾値情報115および荷物情報116を有する。図3で説明した機能については、説明を省略する。
重量閾値情報115は、作業者41aが持つ荷物の閾値の情報を含む。荷物情報116は、作業者41aが持つ荷物の重量や荷物の重心の座標などの荷物に関する情報を含む。重心の座標は、作業者41aが移動する度に作業者41aの現在位置および移動方向に基づいて算出/更新される。
図13は、第3の実施の形態における注視点情報テーブルの例について示す図である。注視点情報テーブル114aの項目の説明は、注視点情報テーブル114と同様のため省略する。注視点情報テーブル114aには、注視点の種類に“ユーザ指定”が追加されている。ユーザ指定とは、ユーザが入力操作により注視点の座標を指定することである。ユーザ指定の座標は、たとえば、ユーザに入力された場合、注視点情報テーブル114aのユーザ指定の座標に関する項目(X座標、Y座標およびZ座標の項目)は、ユーザに入力された座標に更新される。また、ユーザ指定の座標は、終点または目標点の座標を初期値としてもよい。
図14は、重量閾値情報の例を示す図である。重量閾値情報115は、情報記憶部110aに記憶されている。重量閾値情報115は、作業者41aが持つ荷物の重量の閾値の情報である。当該閾値は、作業者41aの注視点を荷物の重心にするか否かを判定するために用いられる。重量閾値情報115は、閾値IDおよび閾値の項目を有する。閾値IDの項目には、当該閾値を識別するための識別子が設定される。閾値の項目には、荷物の重量の閾値が設定される。
図15は、第3の実施の形態における画像処理の例を示すフローチャートである。図15では、図7と同様の処理が行われる処理ステップには同じ符号を付している。
図15に示す処理は、図7に示した処理を次のように変形したものである。ステップS11〜S14の処理が描画制御部120aによって実行された後、次のステップS31の処理が実行される。また、ステップS21において「NO」と判定された場合にも、次のステップS31の処理が実行される。
(ステップS31)描画制御部120aは、作業者41aの持つ荷物の重量が重量閾値情報115に設定された閾値以上か判定する。作業者41aの持つ荷物の重量は、荷物情報116から取得される。荷物の重量が閾値以上の場合、処理をステップS32へ進める。荷物の重量が閾値未満の場合、処理をステップS15へ進める。
(ステップS32)描画制御部120aは、作業者41aの現在位置が移動経路の始点または屈曲点か否か判定する。作業者41aの現在位置および移動経路の屈曲点の座標は、位置情報テーブル113から取得される。移動経路の始点の座標は、経路情報テーブル112から最初の通過点の座標(最小の通過点IDに対応する座標)を参照することで取得される。
作業者41aの現在位置が移動経路の始点または屈曲点である場合、処理をステップS33へ進める。作業者41aの現在位置が移動経路の始点および屈曲点以外の場合、処理をステップS34へ進める。
(ステップS33)描画制御部120aは、目標点(V1)を注視点とする。具体的には、描画制御部120aは、注視点情報テーブル114aから目標点(V1)の座標を示す情報(X座標、Y座標およびZ座標)を検索し、検索した座標を注視点に設定する。この後、処理を図7のステップS18へ進める。
(ステップS34)描画制御部120aは、荷物情報116に設定された荷物の重心を注視点に設定する。この後、処理を図7のステップS18へ進める。
なお、図7のステップS15〜S17,S20,S21の処理は、描画制御部120の代わりに描画制御部120aによって実行される。
また、たとえば、ステップS33の処理が実行された場合、ステップS19の処理では、ステップS16,S17,S34の処理が実行された場合よりも、目標点(V1)を注視した状態の画像がたとえば数秒といった長い時間表示されるようにしてもよい。この場合、始点および屈曲点において作業者が立ち止まって終点近傍の方向(すなわち目標点の方向)を確認する動作をシミュレーションすることができ、作業者の実際の視界に近い画像を生成できる。
図16は、ユーザ入力時の画像処理の変化例を示すフローチャートである。図16で説明する処理は、作業者41aの視界のシミュレーション実行中にユーザ入力などの操作による割込が発生した場合の処理である。
(ステップS41)描画制御部120aは、割込がユーザ入力によるものか否かを判定する。ユーザ入力は、たとえば、注視点に指定する仮想空間の座標にマウスカーソルで指示画像が存在するときに、マウスのボタンを押下した状態にし続ける操作である。割込操作がユーザ入力によるものである場合、処理をステップS42へ進める。割込操作がユーザ入力によるものでない場合、処理を終了する。
(ステップS42)描画制御部120aは、作業者41aの移動を停止する。このとき、図15の処理が一時的に停止される。
(ステップS43)描画制御部120aは、ユーザ入力によって指定された座標を注視点に設定する。具体的には、描画制御部120は、ユーザ入力によって指定された座標で注視点情報テーブル114aのユーザ指定(V3)の座標を更新する。そして、描画制御部120は、更新されたユーザ指定(V3)の座標を注視点に設定する。
(ステップS44)描画処理部130は、ステップS18と同様に、仮想空間において、作業者の視点から、設定した注視点を見たときの仮想空間の画像を生成する。
(ステップS45)描画処理部130は、生成した画像をディスプレイ21に表示する。
(ステップS46)描画制御部120aは、ユーザ入力が解除されたか判定する。ユーザ入力の解除は、たとえば、ステップS41により押下され続けた状態のマウスのボタンを離す操作である。ユーザ入力が解除されるまで待ち状態となり、ユーザ入力が解除されると、処理をステップS47へ進める。
(ステップS47)描画制御部120aは、作業者41aの移動停止を解除する。これにより、図15の処理が再開される。
図16で示すように、画像処理装置100aは、作業者41aが閾値以上の荷物を持っているときにユーザ入力された場合、作業者41aの移動を停止し、ユーザ入力により指定された仮想空間の座標を注視点とした画像を生成する。これにより、所望の位置で荷物を持った移動中の作業者の視点から所望の注視点を見たときの作業者の視界をシミュレーションできる。
なお、図16において、描画制御部120aは、ステップS42での移動停止処理およびステップS47での移動停止解除処理を実行しなくてもよい。これにより、荷物を持った移動中である作業者の視点から所望の注視点を見たときの作業者の視界をシミュレーションできる。
また、ステップS43の時点でユーザによって指定された座標を注視点に設定するのではなく、ユーザ入力が解除されるまでの間、注視点情報テーブル114aのユーザ指定(V3)の欄に設定されている座標を注視点に設定してもよい。これにより、作業者の移動中の任意のタイミングで、作業者の視線をあらかじめ決められた方向に向けるという動作をシミュレーションすることができる。ユーザ指定(V3)の座標としては目標点の座標を設定することができ、この場合には、移動の途中で作業者に終点方向を確認させる動作をシミュレーションすることができる。
また、描画制御部120aは、ユーザ指定の注視点および荷物の重心の方向に、作業者41aの視線方向を一定時間間隔で交互に変更してもよい。これにより、荷物と所望の注視点を交互に見ながら移動する作業者41aの視界をシミュレーションできる。
第3の実施の形態の画像処理装置によれば、作業者が重い荷物を持って移動する場合、作業者の視線は、移動方向に対して地表面側に傾けた方向とされる。これにより、荷物を持った作業者の視界をより正確にシミュレーションできる。
また、移動中の作業者41aの視点からユーザ入力により指定した注視点を見た仮想空間の画像を生成する。これにより、荷物を持つ作業者が移動経路周辺に存在する障害物などを確認しながら移動する場合における作業者の視界をシミュレーションできる。
なお、第1〜第3の実施の形態の画像処理装置10,100,100aの処理は、コンピュータにプログラムを実行させることで実現できる。このようなプログラムは、コンピュータ読み取り可能な記録媒体(たとえば、図2の記録媒体23)に記録しておくことができる。記録媒体としては、たとえば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどを使用できる。磁気ディスクには、FDおよびHDDが含まれる。光ディスクには、CD、CD−R(Recordable)/RW(Rewritable)、DVDおよびDVD−R/RWが含まれる。
プログラムを流通させる場合、たとえば、当該プログラムを記録した可搬記録媒体が提供される。また、プログラムを他のコンピュータの記憶装置に格納しておき、ネットワーク30経由でプログラムを配布することもできる。コンピュータは、たとえば、可搬記録媒体に記録されたプログラムまたは他のコンピュータから受信したプログラムを、記憶装置(たとえば、HDD103)に格納し、当該記憶装置からプログラムを読み込んで実行する。ただし、可搬記録媒体から読み込んだプログラムを直接実行してもよく、他のコンピュータからネットワーク30を介して受信したプログラムを直接実行してもよい。また、上記の情報処理の少なくとも一部を、DSP、ASIC、PLD(Programmable Logic Device)などの電子回路で実現することも可能である。
1 移動者
2 物体
3 視線方向
4,5 画像
10 画像処理装置
11 設定部
12 生成部
P1 始点
P2 通過点
P3 屈曲点
P4 終点
P5 目標点

Claims (12)

  1. 仮想空間を移動する移動者の視点から見た前記仮想空間の画像を生成するための画像処理プログラムにおいて、
    コンピュータに、
    前記仮想空間における前記移動者の移動経路上の屈曲点と前記移動経路の終点とを結ぶ経路の途中に目標点を設定し、
    前記移動者の視線方向を前記目標点への方向に維持したまま前記移動者を前記移動経路に沿って移動させたときの前記画像を生成する、
    処理を実行させることを特徴とする画像処理プログラム。
  2. 前記画像の生成では、前記移動者が前記屈曲点に達すると、前記視線方向を前記終点の方向に変更する、
    ことを特徴とする請求項1記載の画像処理プログラム。
  3. 前記画像の生成では、前記移動者が運ぶ荷物の重量が所定の値以上の場合、前記視線方向を、前記移動者の移動方向に対して前記仮想空間の地表面側に傾けた方向とする、
    ことを特徴とする請求項1または2記載の画像処理プログラム。
  4. 前記画像の生成では、前記荷物の重量が所定の値以上の場合、前記移動者が前記移動経路の始点に位置するとき、前記視線方向を前記目標点の方向に設定して前記画像を生成し、前記始点からの前記移動者の移動開始後に、前記視線方向を前記移動者の移動方向に対して前記仮想空間の地表面側に傾けた方向に変更する、
    ことを特徴とする請求項3記載の画像処理プログラム。
  5. 前記移動者の移動方向に対して前記仮想空間の地表面側に傾けた方向とは、前記移動者の視点から前記荷物の重心への方向である、
    ことを特徴とする請求項3または4記載の画像処理プログラム。
  6. 仮想空間を移動して荷物を運ぶ移動者の視点から見た前記仮想空間の画像を生成するための画像処理プログラムにおいて、
    コンピュータに、
    前記画像を生成する際の前記移動者の視線方向を、前記荷物の重量に応じて設定する、
    処理を実行させることを特徴とする画像処理プログラム。
  7. 前記視線方向の設定では、
    前記荷物の重量が所定の値以上の場合、前記視線方向を前記移動者の移動方向に対して前記仮想空間の地表面側に傾けた方向に設定し、
    前記荷物の重量が前記所定の値より小さい場合、前記移動者の移動経路上の屈曲点と前記移動経路の終点とを結ぶ経路の途中に目標点を設定し、前記視線方向を前記目標点の方向に設定する、
    ことを特徴とする請求項6記載の画像処理プログラム。
  8. 前記移動者の移動方向に対して前記仮想空間の地表面側に傾けた方向とは、前記移動者の視点から前記荷物の重心への方向である、
    ことを特徴とする請求項7記載の画像処理プログラム。
  9. 仮想空間を移動する移動者の視点から見た前記仮想空間の画像を生成する画像処理方法において、
    画像処理装置が、
    前記仮想空間における前記移動者の移動経路上の屈曲点と前記移動経路の終点とを結ぶ経路の途中に目標点を設定し、
    前記移動者の視線方向を前記目標点への方向に維持したまま前記移動者を前記移動経路に沿って移動させたときの前記画像を生成する、
    ことを特徴とする画像処理方法。
  10. 仮想空間を移動して荷物を運ぶ移動者の視点から見た前記仮想空間の画像を生成する画像処理方法において、
    画像処理装置が、
    前記画像を生成する際の前記移動者の視線方向を、前記荷物の重量に応じて設定する、
    ことを特徴とする画像処理方法。
  11. 仮想空間を移動する移動者の視点から見た前記仮想空間の画像を生成する画像処理装置において、
    前記仮想空間における前記移動者の移動経路上の屈曲点と前記移動経路の終点とを結ぶ経路の途中に目標点を設定する設定部と、
    前記移動者の視線方向を前記目標点への方向に維持したまま前記移動者を前記移動経路に沿って移動させたときの前記画像を生成する生成部と、
    を有することを特徴とする画像処理装置。
  12. 仮想空間を移動して荷物を運ぶ移動者の視点から見た前記仮想空間の画像を生成する画像処理装置において、
    前記移動者の視線方向を前記荷物の重量に応じて設定する設定部と、
    前記視線方向の設定に基づいて前記画像を生成する生成部と、
    を有することを特徴とする画像処理装置。
JP2012260969A 2012-11-29 2012-11-29 画像処理プログラム、画像処理方法および画像処理装置 Expired - Fee Related JP5966888B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012260969A JP5966888B2 (ja) 2012-11-29 2012-11-29 画像処理プログラム、画像処理方法および画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012260969A JP5966888B2 (ja) 2012-11-29 2012-11-29 画像処理プログラム、画像処理方法および画像処理装置

Publications (2)

Publication Number Publication Date
JP2014106861A true JP2014106861A (ja) 2014-06-09
JP5966888B2 JP5966888B2 (ja) 2016-08-10

Family

ID=51028262

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012260969A Expired - Fee Related JP5966888B2 (ja) 2012-11-29 2012-11-29 画像処理プログラム、画像処理方法および画像処理装置

Country Status (1)

Country Link
JP (1) JP5966888B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017084201A (ja) * 2015-10-30 2017-05-18 セコム株式会社 警備シミュレーション装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09152954A (ja) * 1995-11-30 1997-06-10 Toshiba Corp 情報提示方法及び情報提示装置
JPH09282483A (ja) * 1996-04-19 1997-10-31 Nec Corp 映像生成装置
JPH10232954A (ja) * 1997-02-18 1998-09-02 Konami Co Ltd 疑似3次元画像表示装置、疑似3次元画像表示方法及びコンピュータプログラムが記録された機械読み取り可能な記録媒体
JP2006155231A (ja) * 2004-11-29 2006-06-15 Kokuyo Co Ltd 鑑賞システム、プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09152954A (ja) * 1995-11-30 1997-06-10 Toshiba Corp 情報提示方法及び情報提示装置
JPH09282483A (ja) * 1996-04-19 1997-10-31 Nec Corp 映像生成装置
JPH10232954A (ja) * 1997-02-18 1998-09-02 Konami Co Ltd 疑似3次元画像表示装置、疑似3次元画像表示方法及びコンピュータプログラムが記録された機械読み取り可能な記録媒体
JP2006155231A (ja) * 2004-11-29 2006-06-15 Kokuyo Co Ltd 鑑賞システム、プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017084201A (ja) * 2015-10-30 2017-05-18 セコム株式会社 警備シミュレーション装置

Also Published As

Publication number Publication date
JP5966888B2 (ja) 2016-08-10

Similar Documents

Publication Publication Date Title
US11010965B2 (en) Virtual object placement for augmented reality
KR102278822B1 (ko) 가상 현실 입력의 수행
Hilfert et al. Low-cost virtual reality environment for engineering and construction
KR102212250B1 (ko) 증강 현실 오브젝트의 신체 고정식 배치
CN105493154B (zh) 用于确定增强现实环境中的平面的范围的系统和方法
CN102221975B (zh) 使用运动捕捉数据的项目导航
US9390534B2 (en) Computer system and assembly animation generation method
US20140108981A1 (en) Weighted focus navigation of graphical user interface
EP3048605B1 (en) Information processing device, information processing method, and computer program
US11687427B2 (en) Multiple XR extended reality application validation process and testing
Renner et al. A path-based attention guiding technique for assembly environments with target occlusions
US9721380B2 (en) Removing redundant volumetric information from a volume-based data representation
US20140002448A1 (en) Measurement support device, method and computer program product
US11003812B2 (en) Experience driven development of mixed reality devices with immersive feedback
CN106462250B (zh) 用于使用户界面中的内容分层的计算机化的系统和方法
JP5966888B2 (ja) 画像処理プログラム、画像処理方法および画像処理装置
EP3594906B1 (en) Method and device for providing augmented reality, and computer program
US20230145348A1 (en) Force-directed graph layout
KR20160016406A (ko) 깊이 맵 생성 장치 및 방법
US11120459B2 (en) Product placement optimization using blind-spot analysis in retail environments
CN109166182A (zh) Ar模拟处理方法、装置、电子设备及可读存储介质
US20230169227A1 (en) Transitioning simulation entities between smart entity status and discrete entity status
JP6948363B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US20140118342A1 (en) Information processing apparatus and drawing method
KR100546865B1 (ko) 경사 벡터를 이용하여 표면의 경사를 나타내는 이미지프로세싱 방법 및 그 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150706

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160531

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160620

R150 Certificate of patent or registration of utility model

Ref document number: 5966888

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees