JP2006244329A - 携帯端末および情報処理装置、システム - Google Patents

携帯端末および情報処理装置、システム Download PDF

Info

Publication number
JP2006244329A
JP2006244329A JP2005061791A JP2005061791A JP2006244329A JP 2006244329 A JP2006244329 A JP 2006244329A JP 2005061791 A JP2005061791 A JP 2005061791A JP 2005061791 A JP2005061791 A JP 2005061791A JP 2006244329 A JP2006244329 A JP 2006244329A
Authority
JP
Japan
Prior art keywords
image
unit
size
information
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2005061791A
Other languages
English (en)
Inventor
Shinichi Shimoda
慎一 下田
Tamotsu Ito
保 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2005061791A priority Critical patent/JP2006244329A/ja
Priority to US11/239,102 priority patent/US20060204137A1/en
Publication of JP2006244329A publication Critical patent/JP2006244329A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Telephone Function (AREA)
  • Studio Devices (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

【課題】 使い勝手を向上した携帯端末及びシステムを提供する。
【解決手段】 携帯端末は撮像部を備え、前記撮像部から出力された画像を用いて、部屋などの背景画像と、部屋に配置する物の画像である物体画像を生成する。このように生成した背景画像と物体画像を合成し、シミュレーション画像を表示するとともに、ユーザーが設定した範囲に物を配置可能であるか否かの判定結果を通知する。
【選択図】 図1

Description

本発明は、画像情報を表示可能な携帯端末および情報処理装置、システムに関する。
特許文献1に、購入した住宅の3次元間取り図と家具店や家電店が取扱う製品の3次元寸法をWeb上で連携させて、間取りに合った家具や家電の配置をシュミレーションするシステムが開示されている。また、特許文献2には、家具や家電製品、インテリアなどの現実の物体を配置してみたい場合には、現実の物体に変えて、物体教示指標を設置することにより、実物体の大きさや色などといった外観と周囲環境との調和が図られた仮想現実世界をユーザーに提示する方法が記載されている。
特開2003-337900号公報 特開2003-256876号公報
住宅メーカーが販売した所定の型の住宅を購入した場合、ユーザーが間取り図データを入手できる場合があるが、ユーザー各個人の住宅のデータを容易に入手できる場合は限られている。また、家具や電化製品についても、3Dデータがいつでも用意されていると限らない。そのため、シミュレーション画像を表示できる場合が限られ、使い勝手が悪いという問題がある。また、現実空間背景に指標を配置することで仮想現実感画像を表示する方法では、店で好みの家具等を見つけた場合であっても、その場で家具が自分の部屋に合うかどうかを判断することができず、指標を部屋に持ち帰って調べなければならない。また、間取り等のデータと同様、物体教示指標を全ての物について用意することは困難である。
さらに、シミュレーション画像を見ただけでは、ユーザーが部屋の大きさに対して、物の大きさが適当かどうか分かり難い場合がある。例えば、ユーザーが部屋の中の限られた範囲に物を置きたい場合、画像だけでは、その範囲内に配置できているのか、それとも他の物や部屋の壁等にぶつかってしまっているのか分からないことがある。特に、携帯端末の画面が小さい場合には、ユーザーが画面を見ただけで判別するのは困難である。
本発明は、上記課題に鑑み、使い勝手を向上した携帯端末および情報処理装置、システムの提供を目的としている。
上記課題を解決するために、本発明にかかる携帯端末は撮像部を備え、前記撮像部から出力された画像を用いて、部屋などの背景画像と、部屋に配置する物の画像である物体画像を生成する。このように生成した背景画像と物体画像を合成し、シミュレーション画像を表示するとともに、ユーザーが設定した範囲に物を配置可能であるか否かの判定結果を通知する。
また、本発明にかかる情報処理装置は、物を配置する設置範囲を選択する第1の選択部と、第1の選択部による選択された前記設置範囲の大きさを示す第1のサイズ情報を取得する第1のサイズ取得部と、設置する物を選択する第2の選択部と、前記第2の選択部により選択された物の大きさを示す第2のサイズ情報を取得する第2のサイズ取得部と、前記設置範囲に前記第2の選択部により選択された物を配置することが可能か否かを報知する報知部と、を備える。
本発明によれば、使い勝手を向上した携帯端末および情報処理装置、システムを提供することができる。
図1は、携帯端末の構成要素の一例を示したものである。携帯端末100は、携帯電話やPDA(Personal Digital Assistants)などの携帯端末装置である。操作部1は、キー操作部やタッチパネル、ユーザーが音声で命令を入力する音声入力装置などである。ユーザーはこの操作部1を操作して指示やデータ等を入力する。制御部2は、CPU(Central Processing Unit)などの処理装置で構成され、操作部1により入力された指示や、メモリ部4に記憶されたプログラムに応じて、携帯端末100の各構成を制御する。また、制御部2は、サイズ情報処理部21、画像生成処理部22、画像拡縮処理部23、画像合成処理部24、合成結果判定部25の各処理部を備えている。なお、処理部21〜25の構成の一部または全てを制御部2とは別に設けるようにしても良い。
撮像部3は、例えばカメラなどであり、撮像した画像情報を出力する装置である。メモリ部4は、例えばメモリICやハードディスク等、データを記憶する装置である。メモリ部は携帯端末100に内蔵されたものに限らず、着脱可能なメモリカードや外部より接続された記憶装置等で実現してもよい。表示部5は画像や文字を出力する液晶ディスプレイ等で構成される。送受信部6は、アンテナ7を介して外部の基地局や他の機器と通信を行う装置である。距離測定部8は、オートフォーカスセンサー等、撮影位置から撮像部3により撮影する被写体までの距離を測定するものである。 以下、例えば図2に示すように、自分の部屋を背景画像として携帯端末100に保存し、外出先で好みの家具や家電製品を見つけたときに、部屋の画像とお店のテレビ等の画像を合成して、自分の部屋にテレビを置いた場合のシミュレーション画像(仮想現実画像)を携帯端末上に表示する方法について説明する。なお、以下の説明では、背景画像に重ねて表示する家具や家電製品等の画像を物体画像と呼ぶことにする。また、以下の例では、物を配置する所定の場所として部屋を例にあげているが、これに限定するものではない。例えば、屋外に物を配置する場合に用いても良い。
ユーザーが操作部1を操作し、シミュレーションモードの起動を選択すると、制御部2はシミュレーションモードを実行するプログラムを起動する。なお、このプログラムは、メモリ部4に予め記憶しているものであっても良いし、ユーザーが携帯端末100を購入後にインストールするようにしても良い。シミュレーションモードが起動されると、例えば図3に示すような画面表示を行う。
図4に示すフローチャートを用いて、まず、背景画像と物体画像を取得する方法について説明する。ユーザーが画像撮影モードを選択すると(S401)、撮像部3を起動させるとともに(S402)、図5に示すように、背景画像と物体画像のいずれを取得するかの選択をユーザーに要求するメッセージを表示部5に表示する(S403)。
背景画像の取得が選択された場合、図6に示すように、表示部5の表示画面上に部屋のスルー画像を表示するとともに、撮像部3の焦点を合わせる基準となるマークである基準マークを表示させる。ユーザーは、家具等の物体を部屋に置くときの基準となる位置に、この基準マークを合わせるように携帯端末100を操作する。例えば、部屋の壁に沿って地点Aから地点Bの間に家具を置きたい場合は、操作部1を用いてマークを上下左右に動かして設定する(S404)。撮像部3は、基準マークを設定するごとに画像を出力する(S405)。
なお、基準マークは、画面を中心に固定され、目的の場所にマークを合わせるように携帯端末100を動かすようにしても良い。また、図6の例では、設置範囲として横幅を設定したが、これに限定するものではなく、縦幅を設定するようにしても良いし、横幅と縦幅の両方を設定するようにしても良い。
距離測定部8は、撮影位置から基準マークを合わせた位置までの距離を出力する(S406)。なお、本例ではオートフォーカスセンサー等の距離測定部8を設けることにより対象物までの距離を取得するようにしたが、距離取得方法を限定するものではない。例えば、撮像部3として2つのカメラを備えることにより、あるいは撮影位置の異なる複数の画像を取得することにより、三角測量の原理を利用して距離を測定するようにしても良いし、超音波センサーや赤外線センサーを利用して距離を測定するようにしても良い。また、基準となるスケールを置いて撮影し、距離を測定するようにしても良い。また、携帯端末100に傾きセンサーを設け、図7に示すように距離を測定するようにしても良い。携帯端末100で撮影対象物Aまでの距離xは、x=y/tanθの計算式で算出することができる。yは例えば撮影者の肩の高さなどを予め入力しておく。角度θは端末を傾ける角度と一致するので、携帯端末の表示部5の画面に表示したに破線Pに撮影対象物Aの下辺をあわせるように傾けると、端末の傾きセンサーによりθを検出できる。
ただし、オートフォーカスセンサーを用いた場合、通常の写真撮影を行うとき焦点調整部と兼用することができ、距離測定のための特別の構成を設ける必要がなく、コスト増加を抑制することができる。
画像生成処理部22は、撮像部3により出力された2つの画像を合成して背景画像を生成する(S407)。なお、本例では、画像生成処理部22により背景画像を生成するようにしているが、これに限定するものではなく、撮像部3が2つの画像を合成して背景画像を出力するようにしても良い。
サイズ情報処理部21は、距離測定部8から出力された距離情報を用いて、背景画像に占める画素数から設置範囲のサイズを求める(S408)。例えば、カメラで1mの距離から1cmの長さの物を撮影すると、画像では1pixel分の画素になる、との基準値をメモリ部4に記憶する。1mの距離から撮った物の横幅が50pixel分だった場合、制御部2は物体の横幅を50cmと算出する。また、横幅と撮影距離は反比例しているので、この関係を用いて撮影距離が変化した場合であっても、制御部2は物体の大きさを算出することができる。2mの距離から撮った場合、1pixelが2cmとなる。なお、カメラにズーム機能がある場合には距離とサイズの関係は崩れるが、この場合でもズームの倍率がわかるのでこれを考慮して計算することでサイズの計算が可能である。
距離測定部8により測定した撮影距離を示す距離情報やサイズ情報処理部21により算出したサイズ情報を背景画像とともに携帯端末100のメモリ部4に記憶する(S409)。
図8に、保存データの構成の一例を示す。画像情報と、距離情報やサイズ情報等とを、関連付けて保存する。本例では、距離測定の基準にした点の画像内の座標データを位置情報として保存する。距離測定の基準にした点は、ユーザーが家具等を置く場所と想定した位置のため、この場所の座標を保存しておくことにより、ユーザーが配置を意図した場所に物体画像を容易に重ねて表示することができる。
また、画像や距離等の情報以外のデータを付加情報として記録するようにしても良い。例えば、携帯端末100にフォトセンサーなどの明るさ検出部を設ける場合には、撮影時の明るさを示す明度情報を付加情報として保存するようにしても良い。部屋等の背景と家具等の物体を撮影したときの明るさに大きな差があると、シミュレーションした場合と実際に物を部屋に置いた場合とで、色や雰囲気が違ってしまうことがある。明度情報を画像データとともに保存することにより、他の画像と合成する時に明度を調整し、実際に物を部屋に置いた場合に近いシミュレーション画像を提示することができる。
背景画像等を保存した後に、例えば図9に示すような選択画面を表示し、続けて他の背景画像を取得するか、物体画像を取得するか、画像撮影モードを終了するかの選択をユーザーに求める(S410)。このような選択要求を行うことにより、ユーザーは他の背景画像や物体画像の取得動作にスムーズに移行することができる。なお、終了が選択された場合には、シミュレーションモードを終了しても良いし、図3に示すシミュレーションモード画面を再度表示しても良い。シミュレーションモード画面を表示することにより、ユーザーは画像撮影に続けてシミュレーション表示を選択することができ、使い勝手を向上することができる。
S403あるいはS410で物体画像の取得が選択された場合、背景画像を取得する場合と同様に、表示部5の表示画面上に、図10に示すように家具等が置かれたお店のスルー画像を表示するとともに、基準マークを表示する。表示画面にはシミュレーションの対象物以外の物も映ってしまうことが多いため、ユーザーは対象物に基準マークを合わせるように操作し、対象物を設定する(S412)。ユーザにより設定ボタンが選択されると、撮像部3は対象物を含む画像を出力し(S413)、距離測定部8は撮影位置から基準マークを合わせた物体までの距離を出力する(S414)。画像生成処理部22は、目的の物体の抽出を行い、物体画像を生成する(S415)。目的物体の抽出は、例えばマークが付けられた物と周りの物との色の差異により行う。ただし、これに限定されるものではなく、例えば、ユーザーが表示画面上のカーソル等のマークを移動させて目的物体の輪郭を指定しても良いし、表示部をタッチパネル方式にし、指やペン等により目的の物体の輪郭をユーザーが入力するようにしても良い。また、携帯端末がステレオカメラを用いている場合には、複数の画像から目的の物体を抽出するようにしても良い。
サイズ情報処理部21は、距離および撮影した画像の画素数から、物体の大きさを算出する(S416)。サイズ情報は、物体画像とともにをメモリ部4に記憶される(S417)。
この際に、背景画像の保存と同様に、物体画像やサイズ情報以外の情報を付加情報として記録しても良い。目的物体が扉や引出し等を備えおり、実際に使用する状況によって形態が変化するものである場合、動作させると形態が変わることを示す情報と、動作させた際の動作サイズ情報を記録しても良い。この動作サイズ情報は、動作後の目的物体の画像を撮影することによって取得するようにしても良いし、動作の形態を選択することによって、動作後の予想サイズ情報を算出し、記憶するようにしても良い。例えば、動作メニュー画面に扉、引出し等の項目と、全開、半開等の動作範囲を示す項目を備え、ユーザーが選択した項目に応じて動作後のサイズ情報を算出する。例えば、扉と全開を選択された場合には、物体の横幅の2倍の値を動作サイズ情報として記憶する。
以上の説明では、撮像部3で静止画を撮影する場合を想定して説明したが、これに限るものではなく、動画撮影をし、動画から複数の静止画像を抽出し、距離測定やサイズ情報を取得するようにしても良い。
また、以上の説明では、撮影部3により撮影した画像を用いて背景画像および物体画像を取得したが、メモリ部4に記憶する画像情報をこれに限定するものではない。例えば、家具や家電製品等の商品の画像情報やサイズ情報等を、インターネット等のネットワークを介して送受信部6により受信するようにしても良い。また、店等で無線LANや赤外線通信を介して情報を取得するようにしても良い。なお、家具等の3Dデータを受信する場合には、表示部5に2次元化した映像を表示するために3Dデータを処理する3D情報処理部を設ける必要がある。
図11に示すフローチャートを用いて、シミュレーション画像を表示する処理動作を説明する。図3に示すシミュレーションモード画面において、ユーザーによりシミュレーション表示が選択されると(S1101)、背景画像としてその場で撮影したリアルタイムの画像を用いるか、メモリ部4に保存された画像を用いるかの選択を求めるメッセージを表示部5に表示する(S1102)。背景画像として保存されている画像が選択されると、メモリ部4に保存されている画像の一覧を表示部5に表示し、ユーザーが画像を選択すると、その画像情報と対応するサイズ情報を読み出す(S1103)。そして、背景画像に合成する物体画像として、リアルタイムの画像と保存画像のいずれを用いるかをユーザーに選択させる(S1104)。物体画像として保存画像が選択された場合、メモリ部4に保存されている画像の一覧を表示部5に表示し、ユーザーが選択した画像を読み出す(S1105)。物体画像としてリアルタイムの画像が選択されると、撮像部3を起動し、対象物が設定されると、物体画像を生成するとともに、サイズ情報を出力する(S1106)。
一方、背景画像としてリアルタイム画像が選択された場合は、画像入力部3を起動させ、設置範囲が設定されると、背景画像とサイズ情報が生成される(S1107)。背景画像としてリアルタイム画像が選択された場合は、物体画像の候補として自動的にメモリ部4に記憶されている画像一覧を表示部5に表示し、ユーザーが選択した画像を読み出す(S1108)。
以上のように、背景画像及び物体画像それぞれを、メモリ部4に保存してある画像や、その場で撮影したリアルタイム画像からユーザーが選択できるので、使用状況に応じて用いる画像の種類の組み合せを変えて使用することができる。なお、図11に示したフローチャートに示すように、合成に使用する背景画像や物体画像を選択したが、これに限定するものではなく、背景画像と物体画像を選択する順番を逆にしても良い。
シミュレーションに用いる画像が選択されると、サイズ情報を用いて画像拡縮処理部23で画像の拡大・縮小処理を行い、背景画像と物体画像の相対的サイズを合わせ、画像合成処理部24で背景画像と物体画像の合成処理を行う(S1109)。合成処理が終了すると、合成したシミュレーション画像を表示部5に表示する(S1110)。メモリ部4に画像情報を取得した際に基準マークの位置を示す位置情報が記憶されている場合は、その位置情報に基づいて背景画像と物体画像を合成する。なお、物体画像としてメモリ部4に記憶された画像を用いた場合操作部1を使用して物体画像の表示位置を調整可能にすることが好ましい。
例えば、背景画像にメモリ部4から読み出された物体画像の表示位置を調整する方法について図12を用いて説明する。図12(a)は、シミュレーション画像の表示例を示すものである。操作部1の操作により、画面下に表示された「位置調整」ボタンが選択されると、図12(b)に示すように画面上にカーソルが表示される。操作部1の操作によりカーソルを移動させることにより、図12(c)に示すように画面上の物体画像を任意の表示位置に移動させることができる。
以上のようにして、例えば自分の部屋に物体を置いた場合のシミュレーション画像を携帯端末で見ることができるため、外出先で見つけた物が自分の部屋の寸法に合うか、雰囲気は合うか、をその場で判断することができる。また、本例では、撮像部3で撮影した画像を用いてシミュレーション画像を表示することができるため、間取り図等のデータを入手することができない場合であっても、ユーザーは容易にシミュレーション画像を確認することができる。
なお、シミュレーション画像とともに、家具等の物体のサイズや部屋のサイズを表示するようにしても良い。これにより、見た目だけでなく、具体的な数値でも部屋と物体との関係を確認することができる。
なお、画像情報とともに明度情報を保存してある場合、背景画像と物体画像の明度を調整してシミュレーション画像を表示するようにしても良い。例えば、背景画像が物体画像よりも暗い場合には、物体画像の明度を背景画像の平均明度に合わせて全体的に暗くなるように調整して表示する。このように、背景画像に合わせて明度を調整することにより、部屋に実際に物を配置したときに近いシミュレーション画像を提示することができる。なお、必ずしも背景画像の明度に合わせる必要はなく、例えば、背景画像あるいは物体画像のいずれかにリアルタイム画像を用いている場合には、リアルタイム画像の明度に調整するようにしても良い。
表示部5にシミュレーション画像を表示した後に、例えば図13に示すように表示画面の下方に表示された「判定」ボタンが操作部1により選択されると、設定した設置範囲に家具等の物体を配置可能かどうかの判定処理を行う(S1111)。
この判定処理は、例えば図14に示すフローチャートに従って行われる。判定ボタンが選択されると (S1401)、背景の設置範囲のサイズ情報と物体画像のサイズ情報を読み出し(S1402)、背景画像と物体画像のサイズ情報を比較する(S1403)。背景画像のサイズよりも物体画像のサイズが大きい場合には、図15(a)に示すように「NG」等のメッセージを表示する(S1404)。一方、背景画像のサイズよりも物体画像のサイズが小さい場合には、図15(b)に示すように「OK」等のメッセージを表示する(S1405)。ユーザーは画面を見ただけでは、サイズが合っているのか合っていないのか分からない場合がある。このように表示を行うことにより、サイズが適合しているかどうかを容易に知ることができる。なお、図15に示した画面表示は一例であって、これ以外の方法でサイズが適合しているかどうかを通知しても良い。また、通知は表示部5への表示に限定するものではなく、音声等を用いて通知しても良い。
なお、サイズ情報として横幅と縦幅の両方が記憶されている場合には、横幅と縦幅の両方において、背景画像のサイズよりも物体画像のサイズが小さいときにOKを表示し、いずれか一方でも物体画像のサイズが大きい場合にはNGを表示する。この際に、縦・横のいずれにおいてサイズが合っていないかを示すメッセージを表示画面に表示することが好ましい。これにより、物体を配置するにあたって縦幅が問題となっているのか、横幅が問題となっているのかを知ることができる。
また、付加情報として、物体の扉が開閉可能等の動作情報がメモリ部4に記憶されている場合には、例えば図16(a)に示すように、表示画面に「動作」ボタンを表示させる。このボタンが選択されると、扉を開いたときの横幅サイズなどの動作後のサイズ情報をメモリ部4から読出し、この動作後のサイズ情報と背景画像のサイズ情報とを比較する。そして、動作後のサイズ情報が背景画像のサイズ情報よりも大きい場合は、図16(b)に示すようにサイズが合っていないことを示す表示を行う。これにより、物体をただ単に配置しただけではなく、使用した場合に問題点があるか否かについても確認することができる。なお、図16(c)に示すように、動作前の画像を表示させたままで動作後の判定を表示するようにしても良い。
なお、以上の説明では、リアルタイム画像として、対象物や配置範囲が設定された際の画像情報を用いたが、これに限定するものではない。サイズ情報については、対象物や配置範囲が設定された際に算出したものを用い、リアルタイム画像として表示部5にスルー表示された画像を用いても良い。この場合、ユーザーが携帯端末100を動かすことによってサイズに誤差が生じるため、所定時間ごとに対象物や位置の再設定を求めるようにすることが好ましい。
また、3Dの物体画像情報がメモリ部4に記憶されており、この情報が選択された場合には、例えば図17(a)に示すように回転表示が可能であることを示す表示を行う。この回転ボタンが選択された場合には、例えば45度や90度回転した状態の物体を表示し、この状態で背景の設定範囲にサイズがあっているか否かを再度判定し、図17(b)に示すように判定結果を表示する。これにより、ユーザーは物体を配置する方向を変えて、サイズが適合するか否かを調べることができるため、使い勝手を向上することができる。
なお、以上説明した例では、シミュレーション画像は携帯端末100で作成していたが、これに限定するものではない。例えば、図8に示すようにネットワークを介して画像情報およびサイズ情報を送信し、画像処理センターでシミュレーション画像の生成を行うようにしても良い。
例えば、携帯端末100は画像情報等を無線基地局200及びネットワーク500経由して、画像処理センター700に送信する。画像処理センター700は、通信部701により画像情報を受信し、受信した情報を記憶部702に保存する。制御部703は、送られてきた背景画像と物体画像の縮尺を合わせるように画像の拡大・縮小処理を行い、仮想現実感画像を作成する。画像処理センター700は、作成した仮想現実感画像を携帯端末100に送信する。携帯端末100は受信した仮想現実感画像を表示部5に表示することで、ユーザーに所望の仮想現実感画像を提示することが可能となる。図18の例では、サイズ情報を画像情報とともに送信したが、携帯端末100から画像情報のみを送信し、画像処理センターでサイズ情報を生成するようにしても良い。
携帯端末の構成要素の一例を示した図である。 携帯端末にシミュレーション画像を表示する方法の概要を示す図である。 携帯端末の画面表示例である。 背景画像と物体画像を取得する手順の一例を示すフローチャート図である。 携帯端末の画面表示例である。 物体を置く設置範囲の設定方法の概念を示す図である。 傾きセンサーを用いた距離取得方法の概念を示す図である。 保存データの構成例を示す図である。 携帯端末の画面表示例である。 物体画像の取得方法の概念を示す図である。 シミュレーション画像を表示する手順の一例を示すフローチャート図である。 携帯端末の画面表示例である。 携帯端末の画面表示例である。 判定処理の一例を示すフローチャート図である。 携帯端末の画面表示例である。 携帯端末の画面表示例である。 携帯端末の画面表示例である。 シミュレーション画像生成システムの一例を示す図である。
符号の説明
1 操作部
2 制御部
3 撮像部
4 メモリ部
5 表示部
6 送受信部
7 アンテナ
8 距離測定部
100 携帯端末
200 無線基地局
500 ネットワーク
700 画像処理センター

Claims (8)

  1. 画像情報を出力する撮像部と、
    前記撮像部から出力された画像情報を受け取り、画像を表示可能な表示部と、
    前記表示部に表示された画像の中から物を配置する設置範囲を設定する第1の設定部と、
    前記撮像部から出力された画像を受け取り、前記第1の設定部により設定された設置範囲を含む第1の画像情報を生成する第1の画像生成部と、
    前記表示部に表示された画像の中から抽出する物を設定する第2の設定部と、
    前記撮像部から出力された画像を受け取り、前記画像の中から前記第2の設定部により設定された物の画像を抽出した第2の画像情報を生成する第2の画像生成部と、
    前記設置範囲の大きさを示す第1のサイズ情報および前記第2の設定部により設定された物の大きさを示す第2のサイズ情報に応じて、前記第2の画像情報を拡大あるいは縮小する拡縮処理部と、
    前記第1の画像情報と前記拡縮処理部により拡大あるいは縮小された第2の画像情報を合成したシミュレーション画像を前記表示部に出力する合成処理部と、
    前記設置範囲に前記第2の設定部により設定された物を配置することが可能か否かを報知する報知部、
    を備えることを特徴とする携帯端末。
  2. 請求項1に記載の携帯端末は、前記第1の画像情報と前記第1のサイズ情報を対応付けて記憶する記憶部を備えていることを特徴とする携帯端末。
  3. 請求項1に記載の携帯端末は、前記第1のサイズ情報を取得する第1のサイズ取得部と、前記第2のサイズ情報を取得する第2のサイズ取得部とを備えていることを特徴とする携帯端末。
  4. 画像情報を出力する撮像部と、
    前記撮像部から出力された画像情報を受け取り、画像を表示可能な表示部と、
    前記表示部に表示された画像の中から物を配置する設置範囲を設定する第1の設定部と、
    前記設置範囲の大きさを示す第1のサイズ情報を取得する第1のサイズ取得部と、
    前記表示部に表示された画像の中から抽出する物を設定する第2の設定部と、
    前記第2の設定部により設定された物の大きさを示す第2のサイズ情報を取得する第2のサイズ取得部と、
    前記設置範囲に前記第2の設定部により設定された物を配置することが可能か否かを報知する報知部と、
    を備えることを特徴とする携帯端末。
  5. 請求項1ないし4のいずれかに記載の携帯端末は、前記第1のサイズ情報と前記第2のサイズ情報とを比較する比較部を備えることを特徴とする携帯端末。
  6. 物を配置する設置範囲を選択する第1の選択部と、
    第1の選択部による選択された前記設置範囲の大きさを示す第1のサイズ情報を取得する第1のサイズ取得部と、
    設置する物を選択する第2の選択部と、
    前記第2の選択部により選択された物の大きさを示す第2のサイズ情報を取得する第2のサイズ取得部と、
    前記設置範囲に前記第2の選択部により選択された物を配置することが可能か否かを報知する報知部と、
    を備えることを特徴とする情報処理装置。
  7. 請求項6に記載の携帯端末は、前記第1のサイズ情報と前記第2のサイズ情報とを比較する比較部を備えることを特徴とする情報処理装置。
  8. 携帯端末と、前記携帯端末とデータの送受信が可能な画像処理センターを備え、シミュレーション画像を生成するシステムであって、
    前記携帯端末は、画像情報を出力する撮像部と、物を配置する設置範囲を設定する第1の設定部と、前記撮像部から出力された画像情報を用いて前記第1の設定部により設定された設置範囲を含む第1の画像情報を生成する第1の画像生成部と、配置する物を設定する第2の設定部と、前記撮像部から出力された画像情報の中から前記第2の設定部により設定された物の画像を抽出した第2の画像情報を生成する第2の画像生成部と、第1の画像情報および第2の画像情報を前記画像処理センターに送信する第1の送信部と、前記画像処理センターから送信された画像情報を受信する第1の受信部と、を備え、
    前記画像処理センターは、前記携帯端末から送信された第1の画像情報および第2の画像情報を受信する第2の受信部と、前記設置範囲の大きさを示す第1のサイズ情報および前記第2の設定部により設定された物の大きさを示す第2のサイズ情報に応じて前記第2の画像情報を拡大あるいは縮小する拡縮処理部と、前記第1の画像情報と前記拡縮処理部により拡大あるいは縮小された第2の画像情報を合成したシミュレーション画像を生成する合成処理部と、前記合成処理部により合成されたシミュレーション画像を前記携帯端末に送信する第2の送信部と、を備えていることを特徴とするシステム。
JP2005061791A 2005-03-07 2005-03-07 携帯端末および情報処理装置、システム Withdrawn JP2006244329A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005061791A JP2006244329A (ja) 2005-03-07 2005-03-07 携帯端末および情報処理装置、システム
US11/239,102 US20060204137A1 (en) 2005-03-07 2005-09-30 Portable terminal and information-processing device, and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005061791A JP2006244329A (ja) 2005-03-07 2005-03-07 携帯端末および情報処理装置、システム

Publications (1)

Publication Number Publication Date
JP2006244329A true JP2006244329A (ja) 2006-09-14

Family

ID=36970992

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005061791A Withdrawn JP2006244329A (ja) 2005-03-07 2005-03-07 携帯端末および情報処理装置、システム

Country Status (2)

Country Link
US (1) US20060204137A1 (ja)
JP (1) JP2006244329A (ja)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008276619A (ja) * 2007-05-01 2008-11-13 Sharp Corp 物品配置シミュレーションシステム
JP2009290664A (ja) * 2008-05-30 2009-12-10 National Institute Of Advanced Industrial & Technology カメラシステム、そのための画像情報再生手段、画像情報再生手段
JP2011138492A (ja) * 2009-12-03 2011-07-14 Panasonic Corp 生活スタイル収集装置、ユーザインターフェース装置及び生活スタイル収集方法
JP2011169647A (ja) * 2010-02-16 2011-09-01 Fujitsu Ltd 携帯機器および設置可否判定方法
JP2012048571A (ja) * 2010-08-27 2012-03-08 Kyocera Corp 携帯端末装置
JP2012191661A (ja) * 2012-06-08 2012-10-04 Canon Inc 無線通信システムおよび送信出力制御方法
JP2013061194A (ja) * 2011-09-12 2013-04-04 Fujitsu Ltd 計測装置、及び計測方法
JP2013105329A (ja) * 2011-11-14 2013-05-30 Konica Minolta Business Technologies Inc シミュレーション方法、シミュレーション装置およびシミュレーション装置の制御プログラム
JP2013105328A (ja) * 2011-11-14 2013-05-30 Konica Minolta Business Technologies Inc シミュレーション方法、シミュレーション装置およびシミュレーション装置の制御プログラム
JP2014011642A (ja) * 2012-06-29 2014-01-20 Jvc Kenwood Corp 携帯端末装置、携帯端末装置の制御方法、およびプログラム
JP2014032589A (ja) * 2012-08-06 2014-02-20 Nikon Corp 電子機器
US9192066B2 (en) 2010-08-27 2015-11-17 Kyocera Corporation Portable terminal device
WO2017126172A1 (ja) * 2016-01-18 2017-07-27 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体
JP2019029026A (ja) * 2011-10-27 2019-02-21 イーベイ インク.Ebay Inc. 拡張現実を使用した物品の視覚化
JP2019207498A (ja) * 2018-05-28 2019-12-05 原 周平 収納装置発注システム及び発注方法
WO2020059263A1 (ja) * 2018-09-21 2020-03-26 富士フイルム株式会社 画像提案装置、画像提案方法及び画像提案プログラム
US10614602B2 (en) 2011-12-29 2020-04-07 Ebay Inc. Personal augmented reality

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080071559A1 (en) * 2006-09-19 2008-03-20 Juha Arrasvuori Augmented reality assisted shopping
CN103026328A (zh) * 2011-05-26 2013-04-03 松下电器产业株式会社 电子设备以及合成图像的编辑方法
US20140282220A1 (en) * 2013-03-14 2014-09-18 Tim Wantland Presenting object models in augmented reality images
US9667936B2 (en) * 2014-04-30 2017-05-30 Crayola, Llc Creating and customizing a colorable image of a user
WO2017037877A1 (ja) * 2015-09-01 2017-03-09 楽天株式会社 画像表示システム、画像表示方法及び画像表示プログラム
CN109767397B (zh) * 2019-01-09 2022-07-12 三星电子(中国)研发中心 一种基于人工智能的图像优化方法和系统
CN111475664B (zh) * 2019-01-24 2023-06-09 阿里巴巴集团控股有限公司 对象展示方法、装置及电子设备

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4916435A (en) * 1988-05-10 1990-04-10 Guardian Technologies, Inc. Remote confinement monitoring station and system incorporating same
US5903454A (en) * 1991-12-23 1999-05-11 Hoffberg; Linda Irene Human-factored interface corporating adaptive pattern recognition based controller apparatus
US5384862A (en) * 1992-05-29 1995-01-24 Cimpiter Corporation Radiographic image evaluation apparatus and method
JPH0696100A (ja) * 1992-09-09 1994-04-08 Mitsubishi Electric Corp 遠隔取引システム
US5999895A (en) * 1995-07-24 1999-12-07 Forest; Donald K. Sound operated menu method and apparatus
US6545687B2 (en) * 1997-01-09 2003-04-08 Canon Kabushiki Kaisha Thumbnail manipulation using fast and aspect ratio zooming, compressing and scaling
EP0880110B1 (en) * 1997-05-22 2006-11-08 Nippon Telegraph And Telephone Corporation Method and apparatus for displaying computer generated holograms
JPH1186014A (ja) * 1997-09-08 1999-03-30 Fujitsu Ltd 文書画像表示方法および表示装置
JP3795647B2 (ja) * 1997-10-29 2006-07-12 株式会社竹中工務店 ハンドポインティング装置
US6975425B1 (en) * 1998-02-26 2005-12-13 Canon Kabushiki Kaisha Information processing apparatus and information processing method
US6912293B1 (en) * 1998-06-26 2005-06-28 Carl P. Korobkin Photogrammetry engine for model construction
US6731326B1 (en) * 1999-04-06 2004-05-04 Innoventions, Inc. Low vision panning and zooming device
US6778689B1 (en) * 2000-03-29 2004-08-17 General Electric Company System and method of real-time multiple field-of-view imaging
US20020164070A1 (en) * 2001-03-14 2002-11-07 Kuhner Mark B. Automatic algorithm generation
CN100477745C (zh) * 2002-08-09 2009-04-08 夏普株式会社 图像合成装置和图象合成方法
US7167178B2 (en) * 2003-01-09 2007-01-23 Research In Motion Limited Method of fast typing twin special characters
US7272258B2 (en) * 2003-01-29 2007-09-18 Ricoh Co., Ltd. Reformatting documents using document analysis information

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008276619A (ja) * 2007-05-01 2008-11-13 Sharp Corp 物品配置シミュレーションシステム
JP2009290664A (ja) * 2008-05-30 2009-12-10 National Institute Of Advanced Industrial & Technology カメラシステム、そのための画像情報再生手段、画像情報再生手段
JP2011138492A (ja) * 2009-12-03 2011-07-14 Panasonic Corp 生活スタイル収集装置、ユーザインターフェース装置及び生活スタイル収集方法
US8909636B2 (en) 2009-12-03 2014-12-09 Panasonic Intellectual Property Corporation Of America Lifestyle collecting apparatus, user interface device, and lifestyle collecting method
JP2011169647A (ja) * 2010-02-16 2011-09-01 Fujitsu Ltd 携帯機器および設置可否判定方法
JP2012048571A (ja) * 2010-08-27 2012-03-08 Kyocera Corp 携帯端末装置
US9192066B2 (en) 2010-08-27 2015-11-17 Kyocera Corporation Portable terminal device
JP2013061194A (ja) * 2011-09-12 2013-04-04 Fujitsu Ltd 計測装置、及び計測方法
US11113755B2 (en) 2011-10-27 2021-09-07 Ebay Inc. System and method for visualization of items in an environment using augmented reality
US10628877B2 (en) 2011-10-27 2020-04-21 Ebay Inc. System and method for visualization of items in an environment using augmented reality
CN109934635A (zh) * 2011-10-27 2019-06-25 电子湾股份有限公司 使用增强现实的物品的可视化
JP2019029026A (ja) * 2011-10-27 2019-02-21 イーベイ インク.Ebay Inc. 拡張現実を使用した物品の視覚化
US11475509B2 (en) 2011-10-27 2022-10-18 Ebay Inc. System and method for visualization of items in an environment using augmented reality
JP2013105329A (ja) * 2011-11-14 2013-05-30 Konica Minolta Business Technologies Inc シミュレーション方法、シミュレーション装置およびシミュレーション装置の制御プログラム
JP2013105328A (ja) * 2011-11-14 2013-05-30 Konica Minolta Business Technologies Inc シミュレーション方法、シミュレーション装置およびシミュレーション装置の制御プログラム
US10614602B2 (en) 2011-12-29 2020-04-07 Ebay Inc. Personal augmented reality
JP2012191661A (ja) * 2012-06-08 2012-10-04 Canon Inc 無線通信システムおよび送信出力制御方法
JP2014011642A (ja) * 2012-06-29 2014-01-20 Jvc Kenwood Corp 携帯端末装置、携帯端末装置の制御方法、およびプログラム
JP2014032589A (ja) * 2012-08-06 2014-02-20 Nikon Corp 電子機器
WO2017126172A1 (ja) * 2016-01-18 2017-07-27 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体
US10783654B2 (en) 2016-01-18 2020-09-22 Sony Corporation Information processing apparatus, information processing method, and recording medium
JP7089406B2 (ja) 2018-05-28 2022-06-22 周平 原 収納装置発注システム及び発注方法
JP2019207498A (ja) * 2018-05-28 2019-12-05 原 周平 収納装置発注システム及び発注方法
WO2020059263A1 (ja) * 2018-09-21 2020-03-26 富士フイルム株式会社 画像提案装置、画像提案方法及び画像提案プログラム
JPWO2020059263A1 (ja) * 2018-09-21 2021-10-21 富士フイルム株式会社 画像提案装置、画像提案方法及び画像提案プログラム
JP7148624B2 (ja) 2018-09-21 2022-10-05 富士フイルム株式会社 画像提案装置、画像提案方法及び画像提案プログラム
CN112654980A (zh) * 2018-09-21 2021-04-13 富士胶片株式会社 图像建议装置、图像建议方法及图像建议程序
US11599739B2 (en) 2018-09-21 2023-03-07 Fujifilm Corporation Image suggestion apparatus, image suggestion method, and image suggestion program

Also Published As

Publication number Publication date
US20060204137A1 (en) 2006-09-14

Similar Documents

Publication Publication Date Title
JP2006244329A (ja) 携帯端末および情報処理装置、システム
CN111034181B (zh) 图像捕获设备、图像显示系统和操作方法
EP3404504B1 (en) Method and device for drawing room layout
CN111145352A (zh) 一种房屋实景图展示方法、装置、终端设备及存储介质
JP2019533372A (ja) パノラマ画像の表示制御方法、装置及び記憶媒体
KR101533320B1 (ko) 포인터가 불필요한 3차원 객체 정보 획득 장치
CN104204848B (zh) 具有测距相机的勘测设备
KR20130110907A (ko) 가상 현실과 증강 현실을 이용한 원격 제어 장치 및 방법
TWI701941B (zh) 圖像處理方法及裝置、電子設備及儲存介質
US20130057574A1 (en) Storage medium recorded with program, information processing apparatus, information processing system, and information processing method
JPWO2012002057A1 (ja) 立体表示装置、立体撮影装置、および指示判定方法
JP2017055178A (ja) 情報処理装置、情報処理方法、およびプログラム
KR20120017783A (ko) 증강 현실에서 위치 정보를 표시하는 방법 및 장치
CN108429880A (zh) 摄像设备及其控制方法和存储介质
US11062422B2 (en) Image processing apparatus, image communication system, image processing method, and recording medium
JP2021524119A (ja) 光ラベルに基づく情報デバイスインタラクション方法及びシステム
US20150253932A1 (en) Information processing apparatus, information processing system and information processing method
KR101539087B1 (ko) 모바일 기기를 이용한 증강 현실 구현 장치 및 증강 현실 구현 방법
CN113870213A (zh) 图像显示方法、装置、存储介质以及电子设备
JPWO2019026919A1 (ja) 画像処理システム、画像処理方法、及びプログラム
KR102100667B1 (ko) 휴대 단말기에서 이미지 데이터를 생성하는 장치 및 방법
WO2005122415A1 (en) Method for displaying contents in mobile terminal having restricted size display and mobile terminal thereof
KR101082545B1 (ko) 영상 변환 기능을 구비한 이동통신 단말기
CN108200318A (zh) 电子设备和获取图像的方法
KR102268798B1 (ko) 증강 현실 제공 시스템 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070524

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20090226