JP2018067261A - 表示システム - Google Patents

表示システム Download PDF

Info

Publication number
JP2018067261A
JP2018067261A JP2016207146A JP2016207146A JP2018067261A JP 2018067261 A JP2018067261 A JP 2018067261A JP 2016207146 A JP2016207146 A JP 2016207146A JP 2016207146 A JP2016207146 A JP 2016207146A JP 2018067261 A JP2018067261 A JP 2018067261A
Authority
JP
Japan
Prior art keywords
display
data
virtual reality
reality space
display data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016207146A
Other languages
English (en)
Other versions
JP6662264B2 (ja
Inventor
陽 大橋
Hiromi Ohashi
陽 大橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Document Solutions Inc
Original Assignee
Kyocera Document Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Document Solutions Inc filed Critical Kyocera Document Solutions Inc
Priority to JP2016207146A priority Critical patent/JP6662264B2/ja
Priority to US15/788,342 priority patent/US10084936B2/en
Publication of JP2018067261A publication Critical patent/JP2018067261A/ja
Application granted granted Critical
Publication of JP6662264B2 publication Critical patent/JP6662264B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3876Recombination of partial images to recreate the original image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006Details of the interface to the display terminal
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39Control of the bit-mapped memory
    • G09G5/393Arrangements for updating the contents of the bit-mapped memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00137Transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00167Processing or editing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00246Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with an optical device, e.g. an optical viewing aid
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32128Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title attached to the image data, e.g. file header, transmitted message header, information on the same page or in the same computer file as the image
    • H04N1/32133Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title attached to the image data, e.g. file header, transmitted message header, information on the same page or in the same computer file as the image on the same paper sheet, e.g. a facsimile page header
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00Indexing scheme for image rendering
    • G06T2215/16Using real world measurements to influence rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004Annotating, labelling
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/022Centralised management of display operation, e.g. in a server instead of locally
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/04Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G09G2370/042Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller for monitor identification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0094Multifunctional device, i.e. a device capable of all of reading, reproducing, copying, facsimile transception, file transception
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3204Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a user, sender, addressee, machine or electronic recording medium
    • H04N2201/3205Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a user, sender, addressee, machine or electronic recording medium of identification information, e.g. name or ID code
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3273Display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】仮想現実空間が表示されるまでの待ち時間が長くなるのを抑制する。【解決手段】表示システムは、記憶装置と、画像形成装置と、表示装置と、を備え、表示装置は、仮想現実空間の編集を受け付け、画像形成装置は、編集内容を反映した仮想現実空間を表示するための編集済表示データを生成するとともに、編集済表示データとデータ識別情報とを対応付けて記憶装置に記憶させ、データ識別情報が入力されると、データ識別情報に対応する編集済表示データを取得し、編集済表示データを表示装置に送信することによって編集済表示データに基づく仮想現実空間を表示装置に表示させる。【選択図】図7

Description

本発明は、画像形成装置と表示装置とを備える表示システムに関する。
従来、仮想現実(VR:Virtual Reality)や拡張現実(AR:Augmented Reality)を利用した表示システムが知られている。このような表示システムは、たとえば、特許文献1に開示されている。
特許文献1の表示システムは、画像形成装置と表示装置とを備える。画像形成装置は画像処理機能を有する複合機であり、表示に関する種々の処理が画像形成装置によって行われる。なお、表示装置としては、スマートフォンやヘッドマウントディスプレイが用いられる。
特開2016−81313号公報
たとえば、画像形成装置と表示装置とを備える表示システムには、画像形成装置が表示データを生成し、画像形成装置が生成した表示データに基づき表示装置が表示を行うよう構成したシステムがある。このような表示システムでは、画像形成装置による表示データの生成が完了するまで、表示装置による表示は行われない。
ここで、ユーザー所望のオブジェクトが配置された仮想現実空間を表示するための表示データを画像形成装置に生成させる場合には、多くの処理(たとえば、仮想現実空間のデータとオブジェクトのデータとを合成する処理など)が必要となるので、画像形成装置による表示データの生成に時間がかかる。この場合、ユーザー所望の仮想現実空間が表示装置に表示されるまでの待ち時間が長くなるので、ユーザーにとっては煩わしく利便性が悪い。
本発明は、上記課題を解決するためになされたものであり、仮想現実空間が表示されるまでの待ち時間が長くなるのを抑制することが可能な表示システムを提供することを目的とする。
上記目的を達成するために、本発明の第1の局面による表示システムは、仮想現実空間を表示するための基本データを記憶するとともに、仮想現実空間にオブジェクトを表示するためのオブジェクトデータを記憶する記憶装置と、基本データとオブジェクトデータとを合成する合成処理を行うことにより、オブジェクトが配置された仮想現実空間を表示するための表示データを生成する画像形成装置と、画像形成装置から送信される表示データを受信し、表示データに基づく仮想現実空間を表示する表示装置と、を備える。表示装置は、仮想現実空間を表示しているとき、現在表示中の仮想現実空間の編集を受け付け、当該受け付けた編集内容を示す編集内容情報を画像形成装置に送信する。また、画像形成装置は、編集内容情報に基づき編集内容を認識し、編集内容を反映した仮想現実空間を表示するための表示データである編集済表示データを生成し表示装置に送信することによって編集済表示データに基づく仮想現実空間を表示装置に表示させるとともに、編集済表示データと編集済表示データを識別するためのデータ識別情報とを対応付けて記憶装置に記憶させる。そして、画像形成装置は、データ識別情報が画像形成装置に入力されると、データ識別情報に対応する編集済表示データを記憶装置から取得し、編集済表示データを表示装置に送信することによって編集済表示データに基づく仮想現実空間を表示装置に表示させる。
第1の局面による表示システムでは、表示装置に現在表示されている仮想現実空間に対して編集を行った場合、編集した仮想現実空間を表示するための編集済表示データが生成され、編集済表示データに基づく仮想現実空間(編集済の仮想現実空間)が表示装置に表示される。また、編集済表示データは記憶装置に記憶される。そして、それ以降、編集済の仮想現実空間を表示装置に再度表示させるときには、記憶装置に記憶された編集済表示データが用いられる。このとき、画像形成装置による合成処理などは行われない。したがって、編集済の仮想現実空間の再表示をユーザーが所望する場合には、速やかに、編集済の仮想現実空間をユーザーに提供することができる。すなわち、仮想現実空間が表示されるまでの待ち時間が短くなる。
本発明の第2の局面による表示システムは、仮想現実空間を表示するための基本データを記憶するとともに、仮想現実空間にオブジェクトを表示するためのオブジェクトデータを記憶する記憶装置と、基本データとオブジェクトデータとを合成する合成処理を行うことにより、オブジェクトが配置された仮想現実空間を表示するための表示データを生成する画像形成装置と、画像形成装置から送信される表示データを受信し、表示データに基づく仮想現実空間を表示する表示装置と、を備える。画像形成装置は、表示データを部分的に順次生成していく処理を合成処理として行い、表示データのうち生成が完了したデータ部分から段階的に表示装置に送信することにより、仮想現実空間のうち表示データの生成が完了している部分から段階的に表示する処理を表示装置に行わせる。
第2の局面による表示システムでは、仮想現実空間を表示するための表示データのうち生成が完了したデータ部分から段階的に表示装置に送信され、仮想現実空間のうち表示データの生成が完了している部分から段階的に表示装置に表示される。これにより、ユーザー所望の仮想現実空間のうち表示データの生成が完了した部分については、速やかに、ユーザーに提供することができる。すなわち、仮想現実空間が表示されるまでの待ち時間が短くなる。
本発明によれば、仮想現実空間が表示されるまでの待ち時間が長くなるのを抑制することができる。
本発明の一実施形態による表示システムの構成を示す図 本発明の一実施形態による表示システムの画像形成装置が読み取るデータ取得シートを示す図 本発明の一実施形態による表示システムにおいて基本表示データに基づく仮想現実空間を表示するときの処理の流れを示すフローチャート 本発明の一実施形態による表示システムの表示装置が表示する仮想現実空間を示す図 本発明の一実施形態による表示システムの表示装置が表示する仮想現実空間を示す図(編集操作が行われる前後の図) 本発明の一実施形態による表示システムの画像形成装置が印刷するとともに読み取る編集済表示データ取得シートを示す図 本発明の一実施形態による表示システムにおいて編集操作を受け付けるときの処理の流れを示すフローチャート 本発明の一実施形態による表示システムにおいて編集済表示データに基づく仮想現実空間を表示するときの処理の流れを示すフローチャート
<表示システムの構成>
図1に示すように、本実施形態の表示システム1000は、仮想現実空間を表示するためのシステムであって、複合機100、ヘッドマウントディスプレイ200およびサーバー300を備える。複合機100は「画像形成装置」に相当し、ヘッドマウントディスプレイ200は「表示装置」に相当し、サーバー300は「記憶装置」に相当する。なお、以下の説明では、ヘッドマウントディスプレイをHMD(Head Mounted Display)と略称する。
複合機100は、HMD200と通信可能に接続される。また、複合機100は、サーバー300と通信可能に接続される。なお、HMD200とサーバー300とが通信可能に接続されてもよい。
複合機100は、スキャン機能やプリント機能を有する画像形成装置であり、画像読取部110、印刷部120、操作表示部130、複合機記憶部140、複合機制御部150および複合機通信部160を備える。
画像読取部110は、原稿(記録媒体)の画像を読み取って原稿の画像データを生成する。印刷部120は、用紙(記録媒体)に画像を印刷して印刷済みの用紙を出力する。操作表示部130は、タッチパネルディスプレイおよびハードウェアキーを含む。操作表示部130は、ソフトウェアキーなどを配した画面をタッチパネルディスプレイに表示するとともに、各種設定を行うための操作(ソフトウェアキーに対するタッチ操作やハードウェアキーに対する押下操作)を受け付ける。
複合機記憶部140は、ROMやRAMを含み、制御用のプログラムおよびデータを記憶する。複合機制御部150は、CPUなどのプロセッサーを含み、複合機100の各部を制御する。すなわち、複合機制御部150は、画像読取部110の読取動作や印刷部120の印刷動作を制御する。また、複合機制御部150は、操作表示部130の表示動作を制御したり、操作表示部130に対する操作を検知したりする。
また、複合機制御部150は、画像処理部151を含む。画像処理部151は、画像処理用の回路(たとえば、ASICなど)や、画像処理用のプログラムおよびデータを記憶するメモリーなどで構成される。画像処理部151は、画像データに対して、拡大/縮小や濃度変換などの画像処理を行う。また、画像処理部151は、画像データに含まれる文字を認識する文字認識処理を行う。なお、画像処理部151による文字認識処理では、たとえば、OCR技術が用いられる。さらに、画像処理部151は、仮想現実空間の表示に必要な表示データを生成する処理を行う。
複合機通信部160は、HMD200やサーバー300との間で通信を行うための通信インターフェースである。複合機制御部150は、複合機通信部160を介してHMD200やサーバー300と通信し、データを送受信する。
HMD200は、ユーザーにより装着される。なお、HMD200は、眼鏡型であり、眼鏡のレンズに相当する箇所に仮想現実空間を表示する(ユーザーの眼前に仮想現実空間を表示する)。このHMD200は、表示部210、撮像部220、操作部230、HMD記憶部240、HMD制御部250およびHMD通信部260を備える。
表示部210は、HMD200を装着したユーザーの眼と対向する位置に配置される。そして、表示部210は、仮想現実空間を表示する。撮像部220は、CCDカメラなどを含み、HMD200を装着したユーザーの視界方向の撮像が可能な位置に配置される。操作部230は、ハードウェアキーなどを含み、各種設定を行うための操作(ハードウェアキーに対する押下操作)を受け付ける。
HMD記憶部240は、ROMやRAMを含み、制御用のプログラムおよびデータを記憶する。HMD制御部250は、CPUなどのプロセッサーを含み、HMD記憶部240に記憶された制御用のプログラムおよびデータに基づき、表示部210の表示動作や撮像部220の撮像動作を制御する。
HMD通信部260は、複合機100との間で通信を行うための通信インターフェースである。HMD制御部250は、HMD通信部260を介して複合機100と通信し、データを送受信する。なお、HMD通信部260を介して、ユーザー所有の携帯端末(携帯電話、スマートフォンおよびタブレット端末など)との間で通信が行われてもよい。この場合、ユーザー所有の携帯端末を用いて各種設定を行うことができる。
サーバー300は、たとえば、インターネットなどのネットワーク上のストレージサーバー(クラウド)である。サーバー300からのデータの読み出しやサーバー300へのデータの書き込みは複合機100によって行われる。なお、表示システム1000からサーバー300を省略し、複合機100を「記憶装置」として機能させてもよい。この場合には、大容量の記憶領域(HDDなど)を複合機100に設置してもよい。
<仮想現実空間の表示>
本実施形態の表示システム1000において行われる仮想現実空間の表示について、住宅や店舗、オフィスビルなどの建物の実際の室内空間に対応する仮想現実空間を表示する場合を例にとって説明する。この場合には、たとえば、不動産業者によって表示システム1000が管理され、建物の室内確認を所望するユーザーに対して、建物の実際の室内空間に対応する仮想現実空間を表示するサービス(以下、単に表示サービスと称する場合がある)が提供される。
まず、表示システム1000の管理者によって、図2に示すようなデータ取得シート400が予め作成される。このデータ取得シート400は、建物内の部屋の大きさや配置などを示す間取図401が印刷された記録媒体(紙媒体)である。なお、データ取得シート400は複数種作成され、複数種のデータ取得シート400のそれぞれに互いに異なる間取図401が印刷される。
また、複数種のデータ取得シート400には、それぞれ、基本識別情報を示す情報画像402(図2では、便宜上、アルファベット「a」の羅列で示す)が印刷される。たとえば、データ取得シート400には、対応する建物(間取図401)の建物情報を示すテキスト画像を印刷するための領域A1が設けられる。そして、データ取得シート400の領域A1に印刷されたテキスト画像で示される建物情報が基本識別情報とされる。特に限定されないが、建物の住所や所在地を示すテキスト画像がデータ取得シート400の領域A1に印刷される。この場合には、建物の住所や所在地が基本識別情報とされる。なお、基本識別情報が単純な通し番号であってもよいし、管理者が任意に設定した文字や数字の羅列であってもよい。
ここで、サーバー300は、複数の基本識別情報(建物情報)にそれぞれ対応付けられた複数の基本データD1(図1参照)を予め記憶する。複数の基本データD1は、それぞれ、対応する建物の室内空間に応じた仮想現実空間を表示するためのデータである。
さらに、サーバー300は、複数のオブジェクトデータD2(図1参照)を予め記憶する。複数のオブジェクトデータD2は、それぞれ、仮想現実空間にオブジェクトを表示するためのデータである。たとえば、オブジェクトとしては、家具(たとえば、テーブルやソファー)、電器製品(たとえば、テレビや照明器具)、および、カーテンなどがある。
そして、複合機100は、複合機100に基本識別情報が入力されると、仮想現実空間を表示するための表示データ(以下、基本表示データと称する)を生成し、基本表示データをHMD200に送信する。HMD200は、基本表示データを受信すると、基本表示データに基づく仮想現実空間を表示する。このときに表示される仮想現実空間は、複合機100に入力された基本識別情報に対応する建物の室内空間をイメージしたものである。
たとえば、表示システム1000の管理者は、ユーザーに対して表示サービスを提供するとき、ユーザー所望の間取図401が印刷されたデータ取得シート400の読み取りを複合機100に行わせる。すなわち、複合機100にデータ取得シート400がセットされ、データ取得シート400の読み取りを開始するための開始操作(スタートキーに対する押下操作)が操作表示部130に対して行われる。
複合機制御部150は、操作表示部130に対する開始操作を検知すると、複合機100にセットされたデータ取得シート400の読み取りを画像読取部110に行わせる。これにより、データ取得シート400の画像データが生成される。その後、複合機制御部150は、データ取得シート400の画像データのうち領域A1を対象とした文字認識処理を行うことによって基本識別情報を認識し、当該認識した基本識別情報を複合機100に入力された基本識別情報として扱う。
なお、操作表示部130が基本識別情報の入力受付を行ってもよい。すなわち、操作表示部130を介して複合機100に基本識別情報が入力されてもよい。
以下、図3に示すフローチャートを参照し、仮想現実空間を表示するときの処理の流れについて説明する。図3に示すフローチャートは、データ取得シート400の読取開始指示を複合機100が受け付けたときにスタートする。
ステップS1において、複合機制御部150は、データ取得シート400(基本識別情報)の読み取りを画像読取部110に行わせる。そして、複合機制御部150は、画像読取部110が読み取った基本識別情報を複合機100に入力された基本識別情報として認識する。
続いて、ステップS2において、複合機制御部150は、サーバー300から、複合機100に入力された基本識別情報に対応する基本データD1を取得する。また、複合機制御部150は、サーバー300から、基本データD1に対応する仮想現実空間に表示すべきオブジェクトとして予め定められた基本オブジェクトのオブジェクトデータD2を取得する。たとえば、基本オブジェクトのオブジェクトデータD2には、仮想現実空間における配置位置(座標)などを定義したデータが含まれる。
その後、ステップS3において、複合機制御部150は、サーバー300から取得した基本データD1とオブジェクトデータD2とを合成する合成処理を行うことにより、基本オブジェクトが配置された仮想現実空間を表示するための基本表示データを生成する。また、ステップS4において、複合機制御部150は、HMD200に基本表示データを送信することによって、基本表示データに基づく仮想現実空間(基本オブジェクトが配置された仮想現実空間)の表示をHMD200に行わせる。
ここで、複合機制御部150は、ステップS3において、基本表示データを部分的に順次生成してく処理を合成処理として行う。また、複合機制御部150は、ステップS4において、基本表示データのうち生成が完了したデータ部分から段階的にHMD200に送信することにより、仮想現実空間のうち基本表示データの生成が完了している部分から段階的に表示する処理をHMD200に行わせる。
以下に、図4の最下段に図示した仮想現実空間をHMD200に表示させる場合について説明する。なお、図4では、家具などの基本オブジェクトに符号4を付す。
まず、複合機制御部150は、基本データD1と基本オブジェクト4(41)のオブジェクトデータD2と合成する処理を行うことによって基本表示データ(ここでは第1データと称する)を生成し、第1データをHMD200に送信する。これにより、HMD200では、図4の最上段に図示した仮想現実空間の表示が行われる。
次に、複合機制御部150は、第1データと基本オブジェクト4(42)のオブジェクトデータD2とを合成する処理を行うことによって基本表示データ(ここでは第2データとする)を生成し、第2データをHMD200に送信する。これにより、HMD200では、図4の中段に図示した仮想現実空間の表示が行われる。
次に、複合機制御部150は、第2データと基本オブジェクト4(43)のオブジェクトデータD2とを合成する処理を行うことによって基本表示データ(ここでは第3データと称する)を生成し、第3データをHMD200に送信する。これにより、HMD200では、図4の最下段に図示した仮想現実空間の表示が行われる。すなわち、基本オブジェクト41〜43の全てが配置された仮想現実空間がHMD200に表示される。
なお、HMD200は、仮想現実空間のうち基本表示データの生成が完了していない部分にダミー情報5を表示する。ダミー情報5の表示形態(形状や色など)は特に限定されない。たとえば、「Dummy」というテキスト文字が表示されてもよい。
図3に戻り、仮想現実空間のうち基本表示データの生成が完了している部分から段階的に表示する処理をHMD200に行わせる場合には、ステップS4からステップS5に移行する。
ステップS5に移行すると、複合機制御部150は、基本表示データの生成が全て完了したか否かを判断する。すなわち、複合機制御部150は、仮想現実空間に表示すべき基本オブジェクトが全て表示されているか否かを判断する。その結果、基本表示データの生成が全て完了したと複合機制御部150が判断した場合には、本フローは終了し、基本表示データの生成が完了していないと複合機制御部150が判断した場合には、ステップS3に移行する。
<編集の受け付け>
HMD200は、仮想現実空間を表示しているとき、現在表示中の仮想現実空間を編集するための編集操作を受け付ける。この編集操作により、現在表示中の仮想現実空間におけるオブジェクトの変更(置き換え)を行うことができる。あるいは、オブジェクトの削除や追加、移動などが行えてもよい。
なお、HMD制御部250は、撮像部220を用いてユーザーのジェスチャー検知を行い、予め定められたジェスチャーを検知したとき、当該検知したジェスチャーを編集操作と認識する。あるいは、MMD制御部250は、操作部230に対して予め定められた操作が行われたことを検知したとき、当該検知した操作を編集操作と認識する。
たとえば、HMD制御部250は、編集操作の一操作である指定操作(変更元のオブジェクトを指定する操作)が行われたことを検知したとき、変更先となり得るオブジェクトを示す情報(たとえば、オブジェクトのサムネイル)を選択肢として表示する。そして、HMD制御部250は、編集操作の一操作である選択操作(変更先のオブジェクトを選択する操作)が行われたことを検知したとき、変更元および変更先の各オブジェクトをそれぞれ示す編集内容情報(編集内容を示す情報)を生成し、複合機100に編集内容情報を送信する。
複合機制御部150は、HMD200から編集内容情報を受信すると、編集内容情報に基づき編集内容を認識し、当該認識した編集内容を反映した仮想現実空間(変更元のオブジェクトを変更先のオブジェクトに置き換えた仮想現実空間)を表示するための表示データを編集済表示データとして生成する。そして、複合機制御部150は、HMD200に編集済表示データを送信することによって、編集済表示データに基づく仮想現実空間の表示をHMD200に行わせる。これにより、たとえば、図5に示すように、仮想現実空間に配置されていた基本オブジェクト4(43)が別の基本オブジェクト4(44)に置き換えられる。この例では、基本オブジェクト43が変更元であり、基本オブジェクト44が変更先である。
ここで、複合機制御部150は、編集済表示データを生成した場合、編集済表示データをサーバー300に記憶させる(図1参照)。以下の説明では、編集済表示データに符号EDを付す。このとき、複合機制御部150は、編集済表示データEDを識別するためのデータ識別情報を設定し、編集済表示データEDとデータ識別情報とを対応付ける。
さらに、複合機制御部150は、図6に示すような編集済表示データ取得シート410の印刷を印刷部120に行わせる。たとえば、編集済表示データ取得シート410を印刷するための印刷データは、現在表示中の仮想現実空間の表示に際して読み取ったデータ取得シート400(図2参照)の画像データに基づき生成される。
ただし、編集済表示データ取得シート410には、領域A2がさらに設けられる。編集済表示データ取得シート410の領域A2には、データ識別情報を示す情報画像403(図6では、便宜上、アルファベット「b」の羅列で示す)が印刷される。なお、現在表示中の仮想現実空間に配置されたオブジェクトに関するオブジェクト情報404が編集済表示データ取得シート410に印刷されてもよい。図6に示すオブジェクト情報404における「□□」には、たとえば、家具(オブジェクト)のメーカー名、製品名および型式など、家具を特定するためのテキストが挿入される。
以下、図7に示すフローチャートを参照し、編集操作を受け付けるときの処理の流れについて説明する。図7に示すフローチャートは、HMD200が編集操作を受け付け、HMD200が複合機100に編集内容情報を送信したときにスタートする。
ステップS11において、複合機制御部150は、編集内容情報に基づき編集内容を認識し、当該認識した編集内容を反映した仮想現実空間を表示するための編集済表示データEDを生成する。その後、ステップS12において、複合機制御部150は、HMD200に編集済表示データEDを送信し、編集済表示データEDに基づく仮想現実空間の表示をHMD200に行わせる。
また、ステップS13において、複合機制御部150は、編集済表示データEDとデータ識別情報とを対応付けてサーバー300に記憶させる。そして、ステップS14において、複合機制御部150は、編集済表示データ取得シート410の印刷を印刷部120に行わせる。
複合機100によって編集済表示データ取得シート410が印刷されて以降、編集済表示データ取得シート410の読み取りを複合機100に行わせると(複合機100にデータ識別情報を入力すると)、編集済表示データEDに基づく仮想現実空間をHMD200に表示させることができる。
以下、図8に示すフローチャートを参照して具体的に説明する。図8に示すフローチャートは、編集済表示データ取得シート410の読取開始指示を複合機100が受け付けたときにスタートする。
ステップS21において、複合機制御部150は、編集済表示データ取得シート410(データ識別情報)の読み取りを画像読取部110に行わせる。そして、複合機制御部150は、編集済表示データ取得シート410の画像データ(読取データ)のうち領域A2を対象とした文字認識処理を行うことによってデータ識別情報を認識し、当該認識したデータ識別情報を複合機100に入力されたデータ識別情報として扱う。
なお、操作表示部130がデータ識別情報の入力受付を行ってもよい。すなわち、操作表示部130を介して複合機100にデータ識別情報が入力されてもよい。
続いて、ステップS22において、複合機制御部150は、サーバー300から、データ識別情報に対応する編集済表示データEDを取得する。そして、ステップS23において、複合機制御部150は、HMD200に編集済表示データEDを送信することによって、編集済表示データEDに基づく仮想現実空間の表示をHMD200に行わせる。
本実施形態の表示システム1000では、HMD200に現在表示されている仮想現実空間に対して編集を行った場合、編集した仮想現実空間を表示するための編集済表示データEDが生成され、編集済表示データEDに基づく仮想現実空間がHMD200に表示される。また、編集済表示データEDはサーバー300に記憶される。そして、それ以降、編集済の仮想現実空間をHMD200に再度表示させるときには、サーバー300に記憶された編集済表示データEDが用いられる。このとき、複合機100による合成処理などは行われない。このため、編集済の仮想現実空間の再表示をユーザーが所望する場合には、速やかに、編集済の仮想現実空間をユーザーに提供することができる。すなわち、仮想現実空間が表示されるまでの待ち時間が短くなる。
また、本実施形態では、上記のように、編集済表示データ取得シート410の読み取りを複合機100に行わせるだけで、編集済の仮想現実空間を表示することができるので、ユーザーの利便性が向上する。
また、本実施形態では、上記のように、仮想現実空間を表示するための表示データのうち生成が完了したデータ部分から段階的にHMD200に送信され、仮想現実空間のうち表示データの生成が完了している部分から段階的にHMD200に表示される。これにより、ユーザー所望の仮想現実空間のうち表示データの生成が完了した部分については、速やかに、ユーザーに提供することができる。すなわち、仮想現実空間が表示されるまでの待ち時間が短くなる。
また、本実施形態では、上記のように、仮想現実空間のうち表示データの生成が完了していない部分にダミー情報5が表示されるので、仮想現実空間を表示するための表示データの生成が全て完了しているか否かをユーザーに報知することができる。
今回開示された実施形態は、すべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記実施形態の説明ではなく特許請求の範囲によって示され、さらに、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれる。
たとえば、上記実施形態では、建物の室内空間に対応する仮想現実空間を表示するようにしたが、自動車の室内空間など建物以外の室内空間に対応する仮想現実空間を表示する場合にも適用可能である。
また、上記実施形態では、HMD200を「表示装置」として用いたが、プロジェクターなどを「表示装置」として用いてもよい。
また、上記実施形態では、基本識別情報やデータ識別情報を複合機100で読み取るようにしたが、基本識別情報やデータ識別情報をHMD200(撮像部220)で読み取ってもよい。この場合、HMD200が読み取った情報がHMD200から複合機100に送信される。
100 複合機(画像形成装置)
200 HMD(表示装置)
300 サーバー(記憶装置)
1000 表示システム
D1 基本データ
D2 オブジェクトデータ
ED 編集済表示データ

Claims (7)

  1. 仮想現実空間を表示するための基本データを記憶するとともに、前記仮想現実空間にオブジェクトを表示するためのオブジェクトデータを記憶する記憶装置と、
    前記基本データと前記オブジェクトデータとを合成する合成処理を行うことにより、前記オブジェクトが配置された前記仮想現実空間を表示するための表示データを生成する画像形成装置と、
    前記画像形成装置から送信される前記表示データを受信し、前記表示データに基づく前記仮想現実空間を表示する表示装置と、を備え、
    前記表示装置は、前記仮想現実空間を表示しているとき、現在表示中の前記仮想現実空間の編集を受け付け、当該受け付けた編集内容を示す編集内容情報を前記画像形成装置に送信し、
    前記画像形成装置は、前記編集内容情報に基づき前記編集内容を認識し、前記編集内容を反映した前記仮想現実空間を表示するための前記表示データである編集済表示データを生成し前記表示装置に送信することによって前記編集済表示データに基づく前記仮想現実空間を前記表示装置に表示させるとともに、前記編集済表示データと前記編集済表示データを識別するためのデータ識別情報とを対応付けて前記記憶装置に記憶させ、
    前記画像形成装置は、前記データ識別情報が前記画像形成装置に入力されると、前記データ識別情報に対応する前記編集済表示データを前記記憶装置から取得し、前記編集済表示データを前記表示装置に送信することによって前記編集済表示データに基づく前記仮想現実空間を前記表示装置に表示させることを特徴とする表示システム。
  2. 前記画像形成装置は、画像を印刷するための印刷部を含み、前記データ識別情報を示す画像の記録媒体への印刷を前記印刷部に行わせることを特徴とする請求項1に記載の表示システム。
  3. 前記画像形成装置は、画像を読み取るための画像読取部を含み、前記記録媒体に印刷された前記データ識別情報を示す画像の読み取りを前記画像読取部に行わせ、前記画像読取部による読み取りによって得られた画像データに基づき前記データ識別情報を認識し、当該認識した前記データ識別情報に対応する前記編集済表示データを前記表示装置に送信すべき前記編集済表示データとして前記記憶装置から取得することを特徴とする請求項2に記載の表示システム。
  4. 前記画像形成装置は、前記表示データを部分的に順次生成していく処理を前記合成処理として行い、前記表示データのうち生成が完了したデータ部分から段階的に前記表示装置に送信することにより、前記仮想現実空間のうち前記表示データの生成が完了している部分から段階的に表示する処理を前記表示装置に行わせることを特徴とする請求項1〜3のいずれか1項に記載の表示システム。
  5. 前記表示装置は、前記仮想現実空間のうち前記表示データの生成が完了していない部分にダミー情報を表示することを特徴とする請求項4に記載の表示システム。
  6. 仮想現実空間を表示するための基本データを記憶するとともに、前記仮想現実空間にオブジェクトを表示するためのオブジェクトデータを記憶する記憶装置と、
    前記基本データと前記オブジェクトデータとを合成する合成処理を行うことにより、前記オブジェクトが配置された前記仮想現実空間を表示するための表示データを生成する画像形成装置と、
    前記画像形成装置から送信される前記表示データを受信し、前記表示データに基づく前記仮想現実空間を表示する表示装置と、を備え、
    前記画像形成装置は、前記表示データを部分的に順次生成していく処理を前記合成処理として行い、前記表示データのうち生成が完了したデータ部分から段階的に前記表示装置に送信することにより、前記仮想現実空間のうち前記表示データの生成が完了している部分から段階的に表示する処理を前記表示装置に行わせることを特徴とする表示システム。
  7. 前記表示装置は、前記仮想現実空間のうち前記表示データの生成が完了していない部分にダミー情報を表示することを特徴とする請求項6に記載の表示システム。
JP2016207146A 2016-10-21 2016-10-21 表示システム Active JP6662264B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016207146A JP6662264B2 (ja) 2016-10-21 2016-10-21 表示システム
US15/788,342 US10084936B2 (en) 2016-10-21 2017-10-19 Display system including an image forming apparatus and a display apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016207146A JP6662264B2 (ja) 2016-10-21 2016-10-21 表示システム

Publications (2)

Publication Number Publication Date
JP2018067261A true JP2018067261A (ja) 2018-04-26
JP6662264B2 JP6662264B2 (ja) 2020-03-11

Family

ID=61970472

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016207146A Active JP6662264B2 (ja) 2016-10-21 2016-10-21 表示システム

Country Status (2)

Country Link
US (1) US10084936B2 (ja)
JP (1) JP6662264B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020261955A1 (ja) * 2019-06-24 2020-12-30 ソニー株式会社 診断支援プログラム、診断支援システム及び診断支援方法
JP7138375B1 (ja) 2021-10-22 2022-09-16 クラスター株式会社 端末装置、仮想現実空間編集システム、プログラムおよび仮想現実空間編集方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7077595B2 (ja) * 2017-12-11 2022-05-31 富士フイルムビジネスイノベーション株式会社 情報処理装置及び情報処理プログラム
JP6434666B1 (ja) * 2018-02-26 2018-12-05 京セラ株式会社 電子機器、制御方法およびプログラム
US11119713B2 (en) 2019-10-29 2021-09-14 Kyocera Document Solutions Inc. Systems, processes, and computer program products for delivery of printed paper by robot

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1139511A (ja) * 1997-07-23 1999-02-12 Internatl Business Mach Corp <Ibm> 三次元形状モデル送信方法及び装置、三次元形状モデル圧縮方法及び装置、三次元形状モデル表示方法及び装置
JP2006155230A (ja) * 2004-11-29 2006-06-15 Kokuyo Co Ltd 展示会システム、プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005116939A1 (en) * 2004-05-27 2005-12-08 Canon Kabushiki Kaisha Information processing method, information processing apparatus, and image sensing apparatus
EP3193261B1 (en) * 2014-03-18 2020-11-04 smartwork solutions GmbH Method and system for editing virtual documents
US10222953B2 (en) * 2014-04-30 2019-03-05 Disney Enterprises, Inc. Systems and methods for editing virtual content of a virtual space
JP2016081313A (ja) 2014-10-17 2016-05-16 コニカミノルタ株式会社 画像処理システム、および仮想現実表示方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1139511A (ja) * 1997-07-23 1999-02-12 Internatl Business Mach Corp <Ibm> 三次元形状モデル送信方法及び装置、三次元形状モデル圧縮方法及び装置、三次元形状モデル表示方法及び装置
JP2006155230A (ja) * 2004-11-29 2006-06-15 Kokuyo Co Ltd 展示会システム、プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020261955A1 (ja) * 2019-06-24 2020-12-30 ソニー株式会社 診断支援プログラム、診断支援システム及び診断支援方法
JP7138375B1 (ja) 2021-10-22 2022-09-16 クラスター株式会社 端末装置、仮想現実空間編集システム、プログラムおよび仮想現実空間編集方法
JP2023062739A (ja) * 2021-10-22 2023-05-09 クラスター株式会社 端末装置、仮想現実空間編集システム、プログラムおよび仮想現実空間編集方法
US11710288B2 (en) 2021-10-22 2023-07-25 Cluster, Inc. Editing a virtual reality space

Also Published As

Publication number Publication date
JP6662264B2 (ja) 2020-03-11
US10084936B2 (en) 2018-09-25
US20180115681A1 (en) 2018-04-26

Similar Documents

Publication Publication Date Title
JP6662264B2 (ja) 表示システム
JP5696908B2 (ja) 操作表示システム
CN102193771B (zh) 会议系统、信息处理装置以及显示方法
JP6354653B2 (ja) 拡張現実操作システムおよび拡張現実操作プログラム
US10460421B2 (en) Image processing apparatus and storage medium
CN103377013B (zh) 信息处理装置及控制方法
JP6887816B2 (ja) 画像処理装置、制御方法、及びプログラム
CN107037939B (zh) 电子黑板和图像处理方法
WO2019012940A1 (ja) 表示装置および表示システム
JP2013255014A (ja) 画像処理システム、撮像装置、およびサーバ装置
JP6582466B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2017175580A (ja) 情報表示システム及び情報提供端末
JP2018160120A (ja) 表示装置および表示システム
JP2018049450A (ja) 表示制御方法及び表示装置
CN102970453B (zh) 能够显示实际尺寸预览的图像形成设备及其控制方法
JP6486077B2 (ja) 表示装置、サーバ装置、表示システム及びその制御方法、並びに制御プログラム、記憶媒体
JP6256430B2 (ja) コンテンツ提供サーバ、コンテンツ提供方法、およびコンピュータプログラム
JP2013115447A (ja) 写真撮影遊戯装置、画像データ提供装置、画像データ提供システム、画像データ生成方法、及び画像データ生成プログラム
JP6977384B2 (ja) 情報処理装置、プログラムおよび画像出力システム
US9538024B2 (en) Portable terminal and recording medium that handles target image data and scanned image data as single data
JP2020170273A (ja) 文字認識システム、文字認識サーバープログラム及び文字認識クライアントプログラム
US20240176565A1 (en) Printing system, printing method, and storage medium
US20240111463A1 (en) Information processing apparatus and method, and storage medium storing program
US20240007513A1 (en) Scan apparatus, image processing method, and storage medium
TWM547794U (zh) 影像列印終端裝置及管理伺服器

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180731

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190917

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200127

R150 Certificate of patent or registration of utility model

Ref document number: 6662264

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150