DE112017006836T5 - Informationsverarbeitungsgerät, informationsverarbeitungsverfahren und programm - Google Patents

Informationsverarbeitungsgerät, informationsverarbeitungsverfahren und programm Download PDF

Info

Publication number
DE112017006836T5
DE112017006836T5 DE112017006836.3T DE112017006836T DE112017006836T5 DE 112017006836 T5 DE112017006836 T5 DE 112017006836T5 DE 112017006836 T DE112017006836 T DE 112017006836T DE 112017006836 T5 DE112017006836 T5 DE 112017006836T5
Authority
DE
Germany
Prior art keywords
video
display
real space
moving picture
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112017006836.3T
Other languages
English (en)
Inventor
Mitsuru NISHIBE
Hiroyuki Aga
Koichi Kawasaki
Atsushi Ishihara
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of DE112017006836T5 publication Critical patent/DE112017006836T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control

Abstract

[Aufgabe] Das Vorschlagen eines Informationsverarbeitungsgeräts, eines Informationsverarbeitungsverfahrens und eines Programms, mit denen ein Video basierend auf erfassten dreidimensionalen Informationen adaptiv in einem Raum zum Anzeigen eines Videos angezeigt werden kann. [Lösung] Bereitgestellt wird ein Informationsverarbeitungsgerät, das eine Bestimmungseinheit umfasst, die eine Einstellung bezüglich der Anzeige eines Videos, das ersten dreidimensionalen Informationen, die in einem ersten wirklichen Raum erfasst wurden, entspricht, basierend auf einem Erfassungsergebnis in einem zweiten wirklichen Raum bestimmt, wobei die Einstellung für den Fall bestimmt wird, dass das Video im zweiten wirklichen Raum angezeigt wird.

Description

  • GEBIET DER TECHNIK
  • Die vorliegende Offenbarung betrifft eine Informationsverarbeitungsvorrichtung, ein Informationsverarbeitungsverfahren und ein Programm.
  • STAND DER TECHNIK
  • Bislang wurden verschiedene Technologien zum Anzeigen von Bildern, die in der Vergangenheit in Verbindung mit der realen Welt fotografiert wurden, wie zum Beispiel Augmented Reality (AR) entwickelt.
  • Die nachfolgend genannte Patentschrift 1 offenbart zum Beispiel eine Technologie, bei der ein Head Mounted Display (HMD) ein Titelbild eines Bewegtbilds anzeigt, falls angenommen wird, dass das an einer momentanen Position des HMD fotografierte Bewegtbild existiert.
  • LISTE DER ANFÜHRUNGEN
  • PATENTSCHRIFT
  • Patentschrift 1: Offengelegte japanische Patentanmeldung Nr. 2014-90386
  • KURZFASSUNG DER ERFINDUNG
  • TECHNISCHE AUFGABE
  • Die in der Patentschrift 1 offenbarte Technologie berücksichtigt jedoch nicht das Anzeigen eines Videos, das mit dreidimensionalen Informationen, die im realen Raum erfasst wurden, korrespondiert.
  • Folglich werden in der vorliegenden Offenbarung eine neue und verbesserte Informationsverarbeitungsvorrichtung, die dazu fähig ist, adaptiv ein Video anzuzeigen, das mit erfassten dreidimensionalen Informationen in einem Raum, in dem das Video angezeigt wird, korrespondiert, ein Informationsverarbeitungsverfahren und ein Programm vorgeschlagen.
  • TECHNISCHE LÖSUNG
  • Gemäß der vorliegenden Offenbarung wird eine Informationsverarbeitungsvorrichtung bereitgestellt, die eine Bestimmungseinheit enthält, die eine Einstellung bezüglich der Anzeige eines Videos, wenn das Video, das mit ersten dreidimensionalen Informationen, die in einem ersten realen Raum erfasst wurden, korrespondiert, in einem zweiten realen Raum angezeigt wird, basierend auf einem Erfassungsergebnis im zweiten realen Raum bestimmt.
  • Des Weiteren wird gemäß der vorliegenden Offenbarung ein Informationsverarbeitungsverfahren bereitgestellt, das enthält, dass durch einen Prozessor eine Einstellung bezüglich der Anzeige eines Videos, wenn das Video, das mit ersten dreidimensionalen Informationen, die in einem ersten realen Raum erfasst wurden, korrespondiert, in einem zweiten realen Raum angezeigt wird, basierend auf einem Erfassungsergebnis im zweiten realen Raum bestimmt wird.
  • Des Weiteren wird gemäß der vorliegenden Offenbarung ein Programm bereitgestellt, um auszulösen, dass ein Computer als eine Bestimmungseinheit fungiert, die eine Einstellung bezüglich der Anzeige eines Videos, wenn das Video, das mit ersten dreidimensionalen Informationen, die in einem ersten realen Raum erfasst wurden, korrespondiert, in einem zweiten realen Raum angezeigt wird, basierend auf einem Erfassungsergebnis im zweiten realen Raum bestimmt.
  • WIRKUNGEN DER ERFINDUNG
  • Wie oben beschrieben, ist es gemäß der vorliegenden Offenbarung möglich, adaptiv ein Video anzuzeigen, das mit erfassten dreidimensionalen Informationen in einem Raum, in dem das Video angezeigt wird, korrespondiert. Es wird darauf hingewiesen, dass die hierin beschriebenen Wirkungen nicht zwangsläufig begrenzt sind, und es können jegliche der Wirkungen, die in der vorliegenden Offenbarung beschrieben werden, zum Einsatz kommen.
  • Figurenliste
    • 1 ist ein erläuterndes Schaubild, das ein Beispiel für eine Konfiguration eines Informationsverarbeitungssystems gemäß einer Ausführungsform der vorliegenden Offenbarung zeigt.
    • 2 ist ein Funktionsblockschaltbild, das ein Beispiel für eine Konfiguration eines Wiedergabegeräts 30 gemäß derselben Ausführungsform zeigt.
    • 3 ist ein Funktionsblockschaltbild, das ein Beispiel für eine Konfiguration eines Servers 10 gemäß derselben Ausführungsform zeigt.
    • 4 ist ein erläuterndes Schaubild, das ein Beispiel für eine Konfiguration einer Bewegtbild-DB 124 gemäß derselben Ausführungsform zeigt.
    • 5 ist ein erläuterndes Schaubild, das ein Beispiel für eine Konfiguration von Metainformationen 1248 gemäß derselben Ausführungsform zeigt.
    • 6 ist ein Schaubild, das ein Beispiel für die Anzeige einer grafischen Benutzeroberfläche (GUI) zum Festlegen eines Anzeigebereichs eines wiederzugebenden Videos gemäß derselben Ausführungsform zeigt.
    • 7 ist ein Schaubild, das ein weiteres Beispiel für die Anzeige einer GUI zum Festlegen eines Anzeigebereichs eines wiederzugebenden Videos gemäß derselben Ausführungsform zeigt.
    • 8 ist ein Schaubild, das ein Beispiel für die Anzeige eines in Frage kommenden Anzeigebereichs eines wiederzugebenden Videos gemäß derselben Ausführungsform zeigt.
    • 9 ist ein Schaubild, das ein weiteres Beispiel für die Anzeige eines in Frage kommenden Anzeigebereichs eines wiederzugebenden Videos gemäß derselben Ausführungsform zeigt.
    • 10 ist ein Schaubild, das ein Beispiel für die Anzeige eines Vorschauvideos bezüglich eines wiederzugebenden Videos gemäß derselben Ausführungsform zeigt.
    • 11 ist ein Schaubild, das ein Beispiel für die Festlegung eines Vordergrundabschnitts durch einen Benutzer auf einem Bedienbildschirm zum Festlegen des Vordergrundabschnitts gemäß derselben Ausführungsform zeigt.
    • 12 ist ein Ablaufschema, das einen Ablauf einer Farbkonvertierungsverarbeitung für ein wiederzugebendes Bewegtbild gemäß derselben Ausführungsform zeigt.
    • 13 ist ein Schaubild, das ein Beispiel für die Anzeige eines Videos, wenn ein Raum-Fixmodus eingestellt ist, gemäß derselben Ausführungsform zeigt.
    • 14 ist ein Schaubild, das ein Beispiel für die Anzeige eines Videos, wenn ein Fixmodus für sich bewegende Körper eingestellt ist, gemäß derselben Ausführungsform zeigt.
    • 15 ist ein Sequenzdiagramm, das einen Teil eines Ablaufs einer Verarbeitung gemäß derselben Ausführungsform zeigt.
    • 16 ist ein Sequenzdiagramm, das einen Teil eines Ablaufs einer Verarbeitung gemäß derselben Ausführungsform zeigt.
    • 17 ist ein erläuterndes Schaubild, das ein Beispiel für eine Hardwarekonfiguration des Servers 10 gemäß derselben Ausführungsform zeigt.
  • AUSFÜHRUNGSFORM DER ERFINDUNG
  • Unten werden bevorzugte Ausführungsformen der vorliegenden Offenbarung unter Bezug auf die beiliegenden Zeichnungen ausführlich beschrieben. Es wird darauf hingewiesen, dass in der vorliegenden Beschreibung und den Zeichnungen einzelne Elemente, die im Wesentlichen die gleiche funktionale Konfiguration aufweisen, mit denselben Bezugszeichen versehen sind und von wiederholten Erläuterungen abgesehen wird.
  • Des Weiteren wird in dieser Beschreibung und den Zeichnungen zwischen einer Vielzahl einzelner Elemente, die im Wesentlichen die gleiche funktionale Konfiguration aufweisen, möglicherweise dadurch unterschieden, dass an selbe Bezugszeichen jeweils unterschiedliche Buchstaben angefügt werden. Zum Beispiel wird zwischen einer Vielzahl von Konfigurationen, die im Wesentlichen die gleiche funktionale Konfiguration aufweisen, dadurch unterschieden, dass, sofern notwendig, ein Server 10a und ein Server 10b aufgeführt werden. Ist es hingegen nicht notwendig, zwischen allen von einer Vielzahl von Elementen, die im Wesentlichen die gleiche funktionale Konfiguration aufweisen, ausdrücklich zu unterscheiden, werden lediglich dieselben Bezugszeichen dahintergesetzt. Wenn zum Beispiel nicht ausdrücklich zwischen dem Server 10a und dem Server 10b unterschieden werden muss, ist nur von einem Server 10 die Rede.
  • Des Weiteren wird die „Ausführungsform der Erfindung“ in der Reihenfolge der nachstehend aufgeführten Punkte beschrieben.
    1. 1. Konfiguration des Informationsverarbeitungssystems
    2. 2. Ausführliche Beschreibung der Ausführungsform
    3. 3. Hardwarekonfiguration
    4. 4. Abwandlung
  • «1. Konfiguration des Informationsverarbeitungssystems»
  • Zunächst wird ein Beispiel für eine Konfiguration eines Informationsverarbeitungssystems gemäß einer Ausführungsform der vorliegenden Offenbarung unter Bezug auf 1 beschrieben. Wie in 1 gezeigt, weist das Informationsverarbeitungssystem gemäß der vorliegenden Ausführungsform einen Server 10, ein Aufzeichnungsgerät 20, ein Wiedergabegerät 30 und ein Kommunikationsnetz 32 auf.
  • <Aufzeichnungsgerät 20>
  • Das Aufzeichnungsgerät 20 ist ein Gerät zum Aufzeichnen von Tiefeninformationen und Bewegtbildern eines realen Raums. Das Aufzeichnungsgerät 20 kann eine Kamera (RGB-Kamera) enthalten. Dann kann das Aufzeichnungsgerät 20 ein Bewegtbild zum Beispiel basierend auf einer Bedienung eines Benutzers oder dergleichen aufnehmen. Das Aufzeichnungsgerät 20 nimmt zum Beispiel ein Bewegtbild auf, indem es Licht über eine in einer Kamera enthaltene Linse auf ein in der Kamera enthaltenes Abbildungselement fokussiert.
  • Des Weiteren enthält das Aufzeichnungsgerät 20 möglicherweise einen Tiefensensor, eine Stereokamera, einen Entfernungsmesser oder dergleichen. Dann kann das Aufzeichnungsgerät 20 ein Tiefenbild (Tiefeninformationen) vor dem Aufzeichnungsgerät 20 zum Beispiel in vorher bestimmten Zeitintervallen sequenziell aufzeichnen.
  • Des Weiteren enthält das Aufzeichnungsgerät 20 möglicherweise eine Positionsinformationsaufnahmeeinheit (nicht gezeigt). Die Positionsinformationsaufnahmeeinheit kann einen Empfänger enthalten, der ein Ortungssignal von einem Ortungssatelliten zum Beispiel über das Global Positioning System (GPS), das Global Navigation Satellite System (GLONASS), Galileo, BeiDou oder Michibiki empfängt. Es wird darauf hingewiesen, dass die Positionsinformationsaufnahmeeinheit ein Ortungssignal auch von nur einem Satelliten empfangen kann oder ein Ortungssignal auch von einer Vielzahl von verschiedenen Satelliten empfangen und die empfangenen Signale zur Bestimmung der momentanen Position kombinieren kann.
  • Des Weiteren enthält die Positionsinformationsaufnahmeeinheit zum Beispiel möglicherweise eine Kommunikationsantenne, eine Netzkarte oder dergleichen. In diesem Fall kann die Positionsinformationsaufnahmeeinheit die Informationen zur momentanen Position durch Empfangen von Positionsinformationen zum Beispiel von einem Zugangspunkt für Bluetooth (eingetragene Marke), einem Zugangspunkt für Wi-Fi (eingetragene Marke), einem RFID-Transponder oder dergleichen aufnehmen. Alternativ kann die Positionsinformationsaufnahmeeinheit die Informationen zur momentanen Position aufnehmen, indem sie IDs dieser Geräte empfängt, dann Positionsinformationen, die mit den IDs für ein vorher bestimmtes Gerät (nicht gezeigt) korrespondieren, abfragt und die Positionsinformationen aus dem vorher bestimmten Gerät aufnimmt.
  • Des Weiteren kann das Aufzeichnungsgerät 20 ferner die eigene Position des Aufzeichnungsgeräts 20 zum Beispiel mittels einer Technik wie Simultaneous Localization and Mapping (SLAM) schätzen. Das Aufzeichnungsgerät 20 erkennt zum Beispiel ein spezielles Objekt im Umfeld des Aufzeichnungsgeräts 20 basierend auf einem durch die Kamera des Aufzeichnungsgeräts 20 oder dergleichen fotografierten Bild und nimmt dann die Positionsinformationen des Objekts zum Beispiel aus einem vorher bestimmten Gerät auf, um die eigene Position des Aufzeichnungsgeräts 20 zu schätzen.
  • Hier werden Tiefeninformationen und ein Verfahren zum Aufzeichnen eines Bewegtbilds durch das Aufzeichnungsgerät 20 ausführlicher beschrieben. Das Aufzeichnungsgerät 20 zeichnet zum Beispiel ein Bewegtbild und ein Tiefenbild gleichzeitig auf und zeichnet die Positionsinformationen zur Zeit der Aufzeichnung in Assoziierung mit dem Bewegtbild auf. Darüber hinaus kann das Aufzeichnungsgerät 20 Metainformationen in Assoziierung mit dem Bewegtbild und dem Tiefenbild aufzeichnen. Beispielsweise fasst das Aufzeichnungsgerät 20 das aufgenommene Bewegtbild, das erfasste Tiefenbild und die Metainformationen in einer Datei zusammen. Hierbei enthalten die Metainformationen zum Beispiel eine ID des Bewegtbilds, einen Titel, eine Miniaturansicht, den Namen einer aufzeichnenden Person, das Datum und die Uhrzeit der Aufzeichnung, Positionsinformationen zur Zeit der Aufzeichnung, Lage-Informationen des Aufzeichnungsgeräts 20 zur Zeit der Aufzeichnung oder dergleichen.
  • Des Weiteren hat das Aufzeichnungsgerät 20 möglicherweise die Funktion, dass es über drahtgebundene oder drahtlose Kommunikation mit einem anderen Gerät kommuniziert. Das Aufzeichnungsgerät 20 überträgt zum Beispiel das aufgenommene Bewegtbild, das Tiefenbild und die Metainformationen, die mit dem Bewegtbild assoziiert sind, über das Kommunikationsnetz 32, wie später noch beschrieben, basierend auf der Bedienung des Benutzers an den Server 10.
  • <Server 10>
  • Der Server 10 ist ein Beispiel für eine Informationsverarbeitungsvorrichtung gemäß der vorliegenden Offenbarung. Der Server 10 ist eine Einrichtung zum Verwalten von Informationen, etwa eines durch das Aufzeichnungsgerät 20 aufgezeichneten Bewegtbilds. Der Server 10 assoziiert und verwaltet zum Beispiel das empfangene Bewegtbild, das empfangene Tiefenbild und die empfangenen Metainformationen.
  • Des Weiteren hat der Server 10 zum Beispiel möglicherweise die Funktion, dass er über das Kommunikationsnetz 32 mit einem anderen Gerät kommuniziert. Der Server 10 überträgt zum Beispiel ein Bewegtbild und ein Tiefenbild, die mit einer Aufnahmeanforderung korrespondieren, basierend auf einer Bewegtbildaufnahmeanforderung, die vom Wiedergabegerät 30 empfangen wird, wie später noch beschrieben, an das Wiedergabegerät 30.
  • <Wiedergabegerät 30>
  • Das Wiedergabegerät 30 ist ein Gerät zum Anzeigen eines Videos, das mit einem Bewegtbild und einem Tiefenbild, die durch das Aufzeichnungsgerät 20 aufgezeichnet wurden, korrespondiert. Zum Beispiel fordert das Wiedergabegerät 30 an, dass der Server 10 ein Bewegtbild und ein Tiefenbild, die in der Nähe der Informationen (des Wiedergabegeräts 30) zur momentanen Position aufgezeichnet wurden, bereitstellt. Dann zeigt das Wiedergabegerät 30 das Video an, das mit dem Bewegtbild und dem Tiefenbild, die vom Server 10 empfangen wurden, korrespondiert.
  • Das Wiedergabegerät 30 ist zum Beispiel möglicherweise ein Datenhelm wie ein HMD. Es wird darauf hingewiesen, dass es sich beim HMD um ein optisches Durchsichtgerät oder ein Videoübertragungsgerät handeln kann. Im letzteren Fall weist das Wiedergabegerät 30 eine Kamera zum Aufnehmen eines Videos vor dem Wiedergabegerät 30 auf und kann dann durch die Kamera aufgenommene Videos auf einer Anzeigeeinheit 326 sequenziell anzeigen, wie später noch beschrieben. Infolgedessen kann der Benutzer die Szene vor dem Benutzer über das auf der Anzeigeeinheit 326 angezeigte Video sehen.
  • Es wird darauf hingewiesen, dass die vorliegende Erfindung nicht auf ein derartiges Beispiel begrenzt ist und das Wiedergabegerät 30 zum Beispiel auch ein vorher bestimmtes tragbares Gerät mit einer Anzeige wie einem LCD-Display oder einem OLED-Display sein kann. Das vorher bestimmte tragbare Gerät ist zum Beispiel möglicherweise ein Mobiltelefon, etwa ein Smartphone, ein tabletartiges Endgerät oder ein tragbarer Musikplayer.
  • <Kommunikationsnetz 32>
  • Das Kommunikationsnetz 32 ist ein drahtgebundener oder drahtloser Weg zur Übertragung von Informationen, die von einem mit dem Kommunikationsnetz 32 verbundenen Gerät übertragen werden. Das Kommunikationsnetz 32 enthält zum Beispiel möglicherweise ein öffentliches Netz wie ein Telefonnetz, das Internet oder ein Satellitenkommunikationsnetz, verschiedene lokale Netze (LANs), einschließlich Ethernet (eingetragene Marke), ein Weitverkehrsnetz (WAN) oder dergleichen. Des Weiteren kann das Kommunikationsnetz 32 ein dediziertes Netz wie ein Internet Protocol-Virtual Private Network (IP-VPN) enthalten.
  • <Zusammenfassung der Aufgaben>
  • Oben wurde die Konfiguration des Informationsverarbeitungssystems gemäß der vorliegenden Ausführungsform beschrieben. Im Übrigen wurden bislang verschiedene auf Virtual Reality (VR) bezogene Techniken entwickelt. Gemäß dieser Technik ist es dadurch, dass einem Zuschauer/Zuhörer das Ansehen eines Videos eines virtuellen Raums gestattet wird, möglich, dem Zuschauer/Zuhörer das Gefühl zu vermitteln, dass er hierbei in den virtuellen Raum eintritt.
  • Jedoch ist es mit der herkömmlichen Technologie nicht möglich, das aufgenommene Bewegtbild oder dergleichen im Raum, in dem sich der Zuschauer/Zuhörer befindet, einzublenden. Folglich verspürt der Zuschauer/Zuhörer gemäß der herkömmlichen Technologie kaum ein Gefühl von Realität, was zum Beispiel damit zu tun hat, dass der Körper des Zuschauers/Zuhörers nicht angezeigt wird.
  • Angesichts der obigen Umstände wurde folglich der Server 10 gemäß der vorliegenden Ausführungsform geschaffen. Der Server 10 gemäß der vorliegenden Ausführungsform bestimmt die Einstellung bezüglich der Anzeige des Videos, wenn das Video, das mit dem Bewegtbild und dem Tiefenbild, die durch das Aufzeichnungsgerät 20 erfasst werden, korrespondiert, durch das Wiedergabegerät 30 angezeigt wird, basierend auf dem Erfassungsergebnis in dem Raum, in dem sich das Wiedergabegerät 30 befindet. Folglich kann der Server 10 zum Beispiel auslösen, dass das Wiedergabegerät 30 das Video anzeigt, das für den Raum, in dem sich das Wiedergabegerät 30 befindet, optimiert ist.
  • <<Ausführliche Beschreibung der Ausführungsform >>
  • <Konfiguration: Wiedergabegerät 30>
  • Als Nächstes wird die Konfiguration des Wiedergabegeräts 30 gemäß der vorliegenden Ausführungsform ausführlich beschrieben. 2 ist ein Funktionsblockschaltbild, das ein Beispiel für eine Konfiguration des Wiedergabegeräts 30 gemäß der vorliegenden Ausführungsform zeigt. Wie in 2 gezeigt, weist das Wiedergabegerät 30 eine Steuereinheit 300, eine Kommunikationseinheit 320, eine Positionsinformationsempfangseinheit 322, eine Sensoreinheit 324, eine Anzeigeeinheit 326 und eine Speichereinheit 328 auf.
  • {Steuereinheit 300}
  • Die Steuereinheit 300 kann zum Beispiel eine Verarbeitungsschaltung wie einen Zentralprozessor (CPU) oder einen Grafikprozessor (GPU) enthalten. Die Steuereinheit 300 steuert umfassend den Betrieb des Wiedergabegeräts 30. Des Weiteren weist die Steuereinheit 300, wie in 2 gezeigt, eine Positionsinformationsaufnahmeeinheit 302, eine Detektionsergebnisaufnahmeeinheit 304, eine Erkennungseinheit 306, eine Bewegtbildaufnahmeeinheit 308 und eine Anzeigesteuereinheit 310 auf.
  • {Positionsinformationsaufnahmeeinheit 302}
  • Die Positionsinformationsaufnahmeeinheit 302 nimmt die Informationen des Wiedergabegeräts 30 zur momentanen Position basierend auf dem Messungsergebnis der Positionsinformationsempfangseinheit 322, wie später noch beschrieben, und dem Erfassungsergebnis der Sensoreinheit 324, wie später noch beschrieben, auf. Die Positionsinformationsaufnahmeeinheit 302 gibt zum Beispiel die Informationen zur momentanen Position basierend auf dem durch die Positionsinformationsempfangseinheit 322 empfangenen Ortungssignal von nur einem Satelliten vor. Alternativ kann die Positionsinformationsaufnahmeeinheit 302 die Informationen zur momentanen Position basierend auf einer Kombination von Ortungssignalen, die von einer Vielzahl von verschiedenen Satelliten empfangen wurden, vorgeben.
  • Des Weiteren kann die Positionsinformationsaufnahmeeinheit 302, falls durch die Positionsinformationsempfangseinheit 322 eine Sender-ID empfangen wird, die Positionsinformationen, die mit der Sender-ID zum Beispiel für ein vorher bestimmtes Gerät korrespondieren, abfragen und die Positionsinformationen aufnehmen, um die Informationen zur momentanen Position aufzunehmen.
  • Des Weiteren kann die Positionsinformationsaufnahmeeinheit 302 auch die eigene Position des Wiedergabegeräts 30 unter Nutzung des Erfassungsergebnisses der Sensoreinheit 324 und mittels einer Technik wie zum Beispiel SLAM schätzen. Zum Beispiel erkennt die Positionsinformationsaufnahmeeinheit 302 zunächst ein spezielles Objekt im Umfeld des Wiedergabegeräts 30 basierend auf einem durch die Sensoreinheit 324 fotografierten Bild, einem erfassten Tiefenbild oder dergleichen. Dann nimmt die Positionsinformationsaufnahmeeinheit 302 die Positionsinformationen des Objekts zum Beispiel aus einem vorher bestimmten Gerät auf, um die eigene Position des Wiedergabegeräts 30 zu schätzen.
  • {Detektionsergebnisaufnahmeeinheit 304}
  • Die Detektionsergebnisaufnahmeeinheit 304 nimmt das Erfassungsergebnis der Sensoreinheit 324 auf. Die Detektionsergebnisaufnahmeeinheit 304 nimmt zum Beispiel das durch die Sensoreinheit 324 fotografierte Bild, das erfasste Tiefenbild und die erfasste Lage, die erfasste Beschleunigung oder dergleichen (des Wiedergabegeräts 30) auf.
  • {Erkennungseinheit 306}
  • Die Erkennungseinheit 306 führt verschiedene Typen einer Erkennungsverarbeitung basierend auf dem durch die Detektionsergebnisaufnahmeeinheit 304 aufgenommenen Erfassungsergebnis durch. Die Erkennungseinheit 306 erkennt zum Beispiel sequenziell die Sichtlinienrichtung des Benutzers basierend auf dem Bild vom Auge eines das Wiedergabegerät 30 nutzenden Benutzers (nachstehend in manchen Fällen als Zuschauer/Zuhörer bezeichnet), das durch die Sensoreinheit 324 fotografiert wird. Des Weiteren erkennt die Detektionsergebnisaufnahmeeinheit 304 über Schall die durch die Sensoreinheit 324 registrierte Äußerung des Zuschauers/Zuhörers und analysiert dann die Bedeutung des Erkennungsergebnisses.
  • {Bewegtbildaufnahmeeinheit 308}
  • Die Bewegtbildaufnahmeeinheit 308 nimmt ein Bewegtbild und ein Tiefenbild, die mit den durch die Positionsinformationsaufnahmeeinheit 302 aufgenommenen Positionsinformationen korrespondieren, vom Server 10 auf. Die Bewegtbildaufnahmeeinheit 308 löst zum Beispiel aus, dass die Kommunikationseinheit 320 eine Bewegtbildaufnahmeanforderung, die die aufgenommenen Positionsinformationen enthält, an den Server 10 überträgt, um das mit den Positionsinformationen korrespondierende Bewegtbild und das mit dem Bewegtbild assoziierte Tiefenbild vom Server 10 aufzunehmen. Hierbei kann die Bewegtbildaufnahmeanforderung ferner Informationen hinsichtlich der Lage des Wiedergabegeräts 30, die durch die Detektionsergebnisaufnahmeeinheit 304 aufgenommen wurden, ein Erkennungsergebnis der Erkennungseinheit 306 oder dergleichen enthalten.
  • {Anzeigesteuereinheit 310}
  • Die Anzeigesteuereinheit 310 löst aus, dass die Anzeigeeinheit 326 das durch die Bewegtbildaufnahmeeinheit aufgenommene Bewegtbild 308 und das mit dem Tiefenbild korrespondierende Video anzeigt. Die Anzeigesteuereinheit 310 erstellt zum Beispiel zunächst dreidimensionale Daten basierend auf dem aufgenommenen Bewegtbild und dem aufgenommenen Tiefenbild. Dann bestimmt die Anzeigesteuereinheit 310 das auf der Anzeigeeinheit 326 anzuzeigende Video basierend auf den dreidimensionalen Daten, den Positionsinformationen und den Lage-Informationen der Anzeigeeinheit 326 und löst aus, dass die Anzeigeeinheit 326 das Video anzeigt.
  • {Kommunikationseinheit 320}
  • Die Kommunikationseinheit 320 enthält zum Beispiel möglicherweise eine Kommunikationsantenne, eine Netzkarte oder dergleichen. Die Kommunikationseinheit 320 überträgt Informationen an andere Geräte und empfängt Informationen von anderen Geräten. Zum Beispiel überträgt die Kommunikationseinheit 320 eine Bewegtbildaufnahmeanforderung an den Server 10 und wird dabei von der Bewegtbildaufnahmeeinheit 308 gesteuert. Des Weiteren empfängt die Kommunikationseinheit 320 das Bewegtbild und das Tiefenbild vom Server 10.
  • {Positionsinformationsempfangseinheit 322}
  • Die Positionsinformationsempfangseinheit 322 kann einen Empfänger enthalten, der Ortungssignale von Ortungssatelliten zum Beispiel über GPS, GLONASS, Galileo, BeiDou oder Michibiki empfängt. Es wird darauf hingewiesen, dass die Positionsinformationsempfangseinheit 322 ein Ortungssignal auch von nur einem Satelliten empfangen kann oder ein Ortungssignal auch von einer Vielzahl von verschiedenen Satelliten empfangen und die empfangenen Signale zur Bestimmung der momentanen Position kombinieren kann.
  • Des Weiteren enthält die Positionsinformationsempfangseinheit 322 zum Beispiel möglicherweise eine Kommunikationsantenne, eine Netzkarte oder dergleichen. Zum Beispiel kann die Positionsinformationsempfangseinheit 322 die Informationen zur momentanen Position durch Empfangen von Positionsinformationen zum Beispiel von einem Bluetooth-Zugangspunkt, einem Wi-Fi-Zugangspunkt oder einem RFID-Transponder aufnehmen. Alternativ kann die Positionsinformationsempfangseinheit 322 die Informationen zur momentanen Position aufnehmen, indem sie IDs dieser Geräte (Sender) empfängt, Positionsinformationen, die mit den IDs für ein vorher bestimmtes Gerät (nicht gezeigt) korrespondieren, abfragt und die Positionsinformationen vom vorher bestimmten Gerät aufnimmt.
  • {Sensoreinheit 324}
  • Die Sensoreinheit 324 enthält zum Beispiel möglicherweise eine Kamera (Bildsensor), einen Tiefensensor, ein Mikrofon, einen Beschleunigungssensor, ein Gyroskop, einen geomagnetischen Sensor oder dergleichen. Die Sensoreinheit 324 fotografiert zum Beispiel ein Bild von einer externen Umgebung (zum Beispiel vor dem Wiedergabegerät 30 oder dergleichen) und erfasst ein Tiefenbild. Des Weiteren registriert die Sensoreinheit 324 Schall in der externen Umgebung. Des Weiteren erfasst die Sensoreinheit 324 die Lage, eine Beschleunigung oder Ähnliches des Wiedergabegeräts 30.
  • {Anzeigeeinheit 326}
  • Die Anzeigeeinheit 326 zeigt ein Video an und wird dabei von der Anzeigesteuereinheit 310 gesteuert. Die Anzeigeeinheit 326 kann zum Beispiel einen Bildprojektor aufweisen, und das Wiedergabegerät 30 kann ein linkes Okular und ein rechtes Okular (oder ein brillenartiges Okular) aufweisen. In diesem Fall projiziert der Bildprojektor ein Video mit mindestens einem Teilbereich sowohl des linken als auch des rechten Okulars (bzw. des brillenartigen Okulars) als Projektionsebene. Es wird darauf hingewiesen, dass das linke Okular und das rechte Okular (bzw. das brillenartige Okular) zum Beispiel aus einem durchsichtigen Material wie Harz oder Glas gebildet sein können.
  • Alternativ kann die Anzeigeeinheit 326 einen Flüssigkristallbildschirm aufweisen, und die Lichtdurchlässigkeit des Flüssigkristallbildschirms ist regelbar. Infolgedessen kann die Anzeigeeinheit 326 so kann eingestellt werden, dass sie in einem durchscheinenden oder lichtdurchlässigen Zustand ist.
  • Alternativ kann die Anzeigeeinheit 326 als ein nicht lichtdurchlässiges Anzeigegerät konfiguriert sein und kann durch die Sensoreinheit 324 aufgenommene Videos in der Sichtlinienrichtung des Benutzers sequenziell anzeigen. Die Anzeigeeinheit 326 enthält zum Beispiel möglicherweise ein LCD-Display oder ein OLED-Display.
  • {Speichereinheit 328}
  • Die Speichereinheit 328 speichert verschiedene Elemente von Daten und Software von verschiedenen Typen.
  • <Konfiguration: Server 10>
  • Als Nächstes wird die Konfiguration des Servers 10 gemäß der vorliegenden Ausführungsform ausführlich beschrieben. 3 ist ein Funktionsblockschaltbild, das ein Beispiel für eine Konfiguration des Servers 10 gemäß der vorliegenden Ausführungsform zeigt. Wie in 3 gezeigt, enthält der Server 10 eine Steuereinheit 100, eine Kommunikationseinheit 120 und eine Speichereinheit 122.
  • {Steuereinheit 100}
  • Die Steuereinheit 100 kann eine Verarbeitungsschaltung wie zum Beispiel eine CPU 150 oder eine GPU, wie später noch beschrieben, enthalten. Die Steuereinheit 100 steuert umfassend den Betrieb des Servers 10. Des Weiteren enthält die Steuereinheit 100, wie in 3 gezeigt, eine Registrierungseinheit 102, eine Auswahleinheit 104, eine Bestimmungseinheit 106 und eine Anzeigesteuereinheit 108.
  • {Registrierungseinheit 102}
  • Die Registrierungseinheit 102 registriert ein Bewegtbild, ein Tiefenbild, Metainformationen und ähnliche Informationen, die vom Aufzeichnungsgerät 20 empfangen werden, in einer Bewegtbild-DB 124. Zum Beispiel registriert die Registrierungseinheit 102 jedes Mal, wenn ein Bewegtbild oder ein Tiefenbild aus dem Aufzeichnungsgerät 20 aufgenommen wird, das Bewegtbild und das Tiefenbild sequenziell in der Bewegtbild-DB 124.
  • (Bewegtbild-DB 124)
  • 4 ist ein erläuterndes Schaubild, das ein Beispiel für eine Konfiguration der Bewegtbild-DB 124 zeigt. Wie in 4 gezeigt, sind zum Beispiel Positionsinformationen 1240, Metainformationen 1248, Bewegtbilddaten 1250 und ein Tiefenbild 1252 mit der Bewegtbild-DB 124 assoziiert. Hierbei werden die Positionsinformationen, in denen das korrespondierende Bewegtbild und das Tiefenbild aufgezeichnet sind, in den Positionsinformationen 1240 gespeichert. Des Weiteren enthalten die Positionsinformationen 1240, wie in 4 gezeigt, zum Beispiel eine Breite 1242, eine Länge 1244, eine Fläche 1246 oder dergleichen. Die Breite 1242 und die Länge 1244 speichern die Breite und die Länge, in denen das korrespondierende Bewegtbild bzw. das Tiefenbild aufgezeichnet ist. Des Weiteren ist in einer Fläche 1246 zum Beispiel eine spezielle Position in einem Gebäude (zum Beispiel ein Stockwerk, die Nummer eines Zimmers oder dergleichen in einem Gebäude), in der das korrespondierende Bewegtbild und das Tiefenbild aufgezeichnet sind, gespeichert.
  • Des Weiteren speichern die Metainformationen 1248 Metainformationen, die mit dem korrespondierenden Bewegtbild assoziiert sind. Es wird darauf hingewiesen, dass die Metainformationen 1248 später noch ausführlicher beschrieben werden. Des Weiteren speichern die Bewegtbilddaten 1250 Daten (Datei) des korrespondierenden Bewegtbilds. Des Weiteren wird ein Tiefenbild, das in Assoziierung mit dem korrespondierenden Bewegtbild erfasst wird, im Tiefenbild 1252 gespeichert.
  • Hier werden unter Bezugnahme auf 5 die Metainformationen 1248 ausführlicher beschrieben. Wie in 5 gezeigt, enthalten die Metainformationen 1248 zum Beispiel eine Bewegtbild-ID 1260, eine Geräte-ID 1262, einen Titel 1264, eine Miniaturansicht 1266, eine aufzeichnende Person 1268, ein Fotografierdatum und eine Fotografieruhrzeit 1270, eine Fotografierposition und eine Fotografierlage 1272 sowie ein synchron fotografiertes Bewegtbild 1274. Hierbei speichert die Bewegtbild-ID 1260 die dem korrespondierenden Bewegtbild zugewiesene ID. Des Weiteren speichert die Geräte-ID 1262 Identifizierungsinformationen des Aufzeichnungsgeräts 20, das das korrespondierende Bewegtbild fotografiert hat. Des Weiteren speichert der Titel 1264 einen Titel, der dem korrespondierenden Bewegtbild zum Beispiel von einer aufzeichnenden Person gegeben wurde. Des Weiteren speichert die Miniaturansicht 1266 eine Miniaturansicht des korrespondierenden Bewegtbilds. Des Weiteren speichert die aufzeichnende Person 1268 Identifizierungsinformationen (etwa den Namen) einer Person, die das korrespondierende Bewegtbild aufgezeichnet hat. Des Weiteren speichern das Fotografierdatum und die Fotografieruhrzeit 1270 das Fotografierdatum und die Fotografieruhrzeit des korrespondierenden Bewegtbilds. Des Weiteren speichern die Fotografierposition und die Fotografierlage 1272 Positionsinformationen und Lage-Informationen zur Zeit des Fotografierens des korrespondierenden Bewegtbilds. Des Weiteren speichert das synchron fotografierte Bewegtbild 1274 das Vorliegen bzw. Nichtvorliegen eines weiteren Bewegtbilds, das synchron zum korrespondierenden Bewegtbild fotografiert wurde, eine ID des weiteren Bewegtbilds (sofern ein weiteres Bewegtbild vorhanden ist) oder dergleichen.
  • {Auswahleinheit 104}
  • (Auswahl basierend auf Positionsinformationen)
  • - Auswahlbeispiel 1
  • Die Auswahleinheit 104 wählt aus der Bewegtbild-DB 124 ein wiederzugebendes Bewegtbild basierend auf der vom Wiedergabegerät 30 empfangenen Bewegtbildaufnahmeanforderung aus. Die Auswahleinheit 104 wählt aus der Bewegtbild-DB 124 zum Beispiel ein wiederzugebendes Bewegtbild basierend auf den empfangenen, in der Bewegtbildaufnahmeanforderung enthaltenen Positionsinformationen und Lage-Informationen aus. Die Auswahleinheit 104 kann als das wiederzugebende Bewegtbild beispielsweise ein Bewegtbild, das am nächsten bei den Positionsinformationen, die in der empfangenen Aufnahmeanforderung enthalten sind, fotografiert wurde, aus der Vielzahl von in der Bewegtbild-DB 124 gespeicherten Bewegtbildern auswählen. Alternativ kann die Auswahleinheit 104 in der Bewegtbild-DB 124 nach einem Bild suchen, das die kleinste Kombination der Differenz zwischen den Positionsinformationen, die in der empfangenen Aufnahmeanforderung enthalten sind, und den Positionsinformationen zur Zeit der Bildaufnahme und der Differenz zwischen den Lage-Informationen, die in der Aufnahmeanforderung enthalten sind, und den Lage-Informationen zur Zeit des Fotografierens, die in der empfangenen Aufnahmeanforderung enthalten sind, aufweist, und das vorgegebene Bewegtbild als das wiederzugebende Bewegtbild auswählen.
  • - Auswahlbeispiel 2
  • Alternativ kann die Auswahleinheit 104 ein vom Zuschauer/Zuhörer festgelegtes Bewegtbild aus einer Vielzahl von Bewegtbildern, die mit Positionsinformationen innerhalb einer vorher bestimmten Entfernung zu den Positionsinformationen, die in der empfangenen Bewegtbildaufnahmeanforderung enthalten sind, assoziiert sind, als das wiederzugebende Bewegtbild auswählen. Die Auswahleinheit 104 wählt zum Beispiel zunächst alle Bewegtbilder, die mit Positionsinformationen innerhalb einer vorher bestimmten Entfernung zu den empfangenen Positionsinformationen assoziiert sind, aus der Bewegtbild-DB 124 als für das wiederzugebende Bild in Frage kommend aus. Anschließend löst die Auswahleinheit 104 aus, dass die Kommunikationseinheit 120 die Metainformationen jedes ausgewählten, in Frage kommenden, wiederzugebenden Bewegtbilds an das Wiedergabegerät 30 überträgt.
  • In diesem Fall kann das Wiedergabegerät 30 mit Bezug zu jedem in Frage kommenden, wiederzugebenden Bewegtbild zum Beispiel den Titel, eine Miniaturansicht und ähnliche Informationen des Bewegtbilds auf der Anzeigeeinheit 326 in Assoziierung mit den Positionsinformationen, in denen das Bewegtbild fotografiert ist, anzeigen. Wenn zum Beispiel detektiert wird, dass sich das Wiedergabegerät 30 dem Ort angenähert hat, der durch eine beliebige der Positionsinformationen, die mit jedem in Frage kommenden, wiederzugebenden Bewegtbild assoziiert sind, angegeben wird, kann die Auswahleinheit 104 dann ein mit den Positionsinformationen korrespondierendes Bewegtbild als das wiederzugebende Bewegtbild auswählen. Wenn sich Elemente von Positionsinformationen, die mit jedem in Frage kommenden, wiederzugebenden Bewegtbild assoziiert sind, innerhalb eines vorher bestimmten Bereichs befinden (die also nah beieinander erfasst werden) und erkannt wird, dass das Wiedergabegerät 30 sich in den vorher bestimmten Bereich hineinbewegt hat, kann die Auswahleinheit 104 alternativ ein Bewegtbild, das mit der detektierten Anweisung des Benutzers (zum Beispiel einer Handgeste, einem Sprachbefehl oder dergleichen) korrespondiert, aus den in Frage kommenden, wiederzugebenden Bewegtbildern als das wiederzugebende Bewegtbild auswählen. Es wird darauf hingewiesen, dass in einer Abwandlung die Auswahleinheit 104 in diesem Fall auch alle in Frage kommenden, wiederzugebenden Bewegtbilder als die wiederzugebenden Bewegtbilder auswählen kann.
  • (Auswahl basierend auf anderen Informationen)
  • Wenn in der empfangenen Bewegtbildaufnahmeanforderung Festlegungsinformationen (zum Beispiel ein Suchschlüsselwort eines Bewegtbilds oder dergleichen) des Benutzers enthalten sind, wählt die Auswahleinheit 104 alternativ ein mit den Festlegungsinformationen korrespondierendes Bewegtbild als das wiederzugebende Bewegtbild aus der Bewegtbild-DB 124 aus. Es wird darauf hingewiesen, dass die Auswahleinheit 104, wenn eine Vielzahl von mit den Festlegungsinformationen korrespondierenden Bewegtbildern vorliegt, ein beliebiges der Vielzahl von Bewegtbildern als das wiederzugebende Bewegtbild oder auch alle der Vielzahl von Bewegtbildern (die gleichzeitig wiedergegeben werden) als die wiederzugebenden Bewegtbilder auswählen kann.
  • (Dynamische Ersetzung)
  • - Ersetzungsbeispiel 1
  • Des Weiteren kann die Auswahleinheit 104 das durch das Wiedergabegerät 30 wiedergegebene Bewegtbild dynamisch durch ein anderes Bewegtbild ersetzen. Die Auswahleinheit 104 wählt zum Beispiel dynamisch ein Bewegtbild, bei dem es sich nicht um das wiedergegebene Bewegtbild handelt, als das wiederzugebende Bewegtbild basierend auf der Änderung in den durch das Wiedergabegerät 30 erfassten Positionsinformationen aus.
  • Die Auswahleinheit 104 kalkuliert zum Beispiel jedes Mal, wenn das Erfassungsergebnis der Positionsinformationen und der Lage-Informationen des Wiedergabegeräts 30 aufgenommen werden, sequenziell einen Beurteilungswert (der angibt, inwieweit das korrespondierende Bewegtbild in einer zweckmäßigen Weise angezeigt wird) für jedes der Vielzahl von Bewegtbildern, die mit der Nähe der Positionsinformationen assoziiert sind. Wenn der Beurteilungswert irgendeines anderen Bewegtbilds größer ist als derjenige des momentan wiedergegebenen Bewegtbilds, ersetzt die Auswahleinheit 104 das wiedergegebene Bewegtbild dann dynamisch durch ein anderes Bewegtbild, welches den Beurteilungshöchstwert aufweist.
  • Hierbei kann der Beurteilungswert jedes Bewegtbilds zum Beispiel so kalkuliert werden, dass, je geringer die Differenz zwischen der Kombination der Positionsinformationen und der Lage-Informationen des Wiedergabegeräts 30 und der Kombination der Positionsinformationen und der Lage-Informationen zur Zeit des Fotografierens des Bewegtbilds ist, desto größer der Beurteilungswert ist. Des Weiteren kann der Beurteilungswert jedes Bewegtbilds abhängig vom Abstand zwischen dem fotografierten Objekt und dem Aufzeichnungsgerät 20 variieren. Selbst wenn zum Beispiel die Entfernung zwischen der Position zur Zeit des Fotografierens und der Position zur Zeit der Wiedergabe gleich ist, ist der kalkulierte Beurteilungswert dann kleiner, weil das Bewegtbild einen größeren Abstand zwischen der Position zur Zeit des Fotografierens und dem Objekt (also zur Zeit des Fotografierens einer entfernten Szene) aufweist. Es wird darauf hingewiesen, dass allgemein, wenn sich das Wiedergabegerät 30 in der Fotografierrichtung bewegt, die Abweichung zwischen dem fotografierten Bewegtbild und dem fotografierten Bild vor dem Wiedergabegerät 30 durch die Kamera gewöhnlich gering ist. Folglich kann der elliptische Bereich, der sich in der Fotografierrichtung von der Position des Aufzeichnungsgeräts 20 zur Zeit des Fotografierens des Bewegtbilds erstreckt, mit Bezug zu jedem Bewegtbild so kalkuliert werden, dass er einen Beurteilungswert aufweist, der höher ist als derjenige der anderen Bereiche.
  • - Ersetzungsbeispiel 2
  • Es wird darauf hingewiesen, dass, wenn sich das wiederzugebende Bewegtbild häufig ändert, der Zuschauer/Zuhörer es als unnatürlich empfinden kann. Folglich kann die Auswahleinheit 104 eine Hysterese aufweisen und das wiedergegebene Bewegtbild durch ein anderes Bewegtbild ersetzen. Zum Beispiel ersetzt die Auswahleinheit 104 das wiedergegebene Bewegtbild durch ein anderes Bewegtbild mit dem Beurteilungshöchstwert möglicherweise nur dann, wenn die Dauer des Zustands, in dem der kalkulierte Beurteilungswert irgendeines anderen Bewegtbilds, länger ist als diejenige des momentan wiedergegebenen Bewegtbilds.
  • {Bestimmungseinheit 106}
  • Die Bestimmungseinheit 106 bestimmt die Einstellung bezüglich der Anzeige des Videos, wenn das Video, das mit dem wiederzugebenden, durch die Auswahleinheit 104 ausgewählten Bewegtbild korrespondiert, durch das Wiedergabegerät 30 angezeigt wird, basierend auf einem vorher bestimmten Kriterium. Die Bestimmungseinheit 106 bestimmt zum Beispiel die Einstellung bezüglich der Anzeige des Videos basierend auf der empfangenen Bewegtbildaufnahmeanforderung.
  • (Ausrichtung)
  • Hier kann der Anzeigezustand eine Anzeigeposition und eine Anzeigeorientierung bei der Anzeige des wiederzugebenden Bewegtbilds durch das Wiedergabegerät 30 enthalten. Die Bestimmungseinheit 106 bestimmt zum Beispiel die Position und die Orientierung für die Anzeige des wiederzugebenden Bewegtbilds basierend auf einem Vergleich zwischen dem in der Aufnahmeanforderung enthaltenen Tiefenbild und dem Tiefenbild, das mit dem wiederzugebenden Bewegtbild assoziiert ist. Beispielsweise passt die Bestimmungseinheit 106 die Anzeigeposition und die Anzeigeorientierung des Bewegtbilds so an, dass die gemeinsamen Ebenen, die aus dem in der Aufnahmeanforderung enthaltenen Tiefenbild und dem mit dem Bewegtbild assoziierten Tiefenbild vorgegeben werden, zusammenfallen, um die Anzeige des wiederzugebenden Bewegtbilds zu bestimmen. Des Weiteren passt die Bestimmungseinheit 106 die Anzeigeposition und die Anzeigeorientierung des Bewegtbilds so an, dass ein Teil einer Vielzahl von Merkmalspunkten, die aus dem in der Aufnahmeanforderung enthaltenen Tiefenbild vorgegeben werden, und ein Teil einer Vielzahl von Merkmalspunkten, die aus dem mit dem Bewegtbild assoziierten Tiefenbild vorgegeben werden, zusammenfallen, um die Anzeige des wiederzugebenden Bewegtbilds zu bestimmen.
  • (Bestimmung des Anzeigebereichs)
  • Des Weiteren kann der oben beschriebene Anzeigezustand einen Anzeigebereich enthalten, in dem das korrespondierende Bewegtbild in dem realen Raum, in dem sich das Wiedergabegerät 30 befindet, angezeigt wird. In diesem Fall kann die Bestimmungseinheit 106 den Anzeigebereich basierend auf dem in der Aufnahmeanforderung enthaltenen Tiefenbild bestimmen.
  • - (a) Nutzung des Ebenendetektionsergebnisses
  • Die Bestimmungseinheit 106 bestimmt zum Beispiel den Anzeigebereich des korrespondierenden Bewegtbilds basierend auf der Ebene, die aus dem in der Aufnahmeanforderung enthaltenen Tiefenbild vorgegeben wird. Darüber hinaus kann die Bestimmungseinheit 106 den Anzeigebereich des korrespondierenden Bewegtbilds basierend auf der vertikalen Richtung (Schwerkraftrichtung), die aus dem in der Aufnahmeanforderung enthaltenen Tiefenbild vorgegeben wird, bestimmen. Zum Beispiel bestimmt die Bestimmungseinheit 106 einen vorher bestimmten dreidimensionalen Raum basierend auf einer beliebigen Ebene, die aus dem in der Aufnahmeanforderung enthaltenen Tiefenbild vorgegeben wird, und der vertikalen Richtung, die aus dem Tiefenbild vorgegeben wird, als den Anzeigebereich des korrespondierenden Bewegtbilds.
  • Insbesondere kalkuliert die Bestimmungseinheit 106 zunächst eine Punktwolke basierend auf dem in der Aufnahmeanforderung enthaltenen Tiefenbild und nutzt dann einen Algorithmus wie zum Beispiel RANSAC zum Kalkulieren aller geschlossenen Ebenen basierend auf der Punktwolke. Es wird darauf hingewiesen, dass die Bestimmungseinheit 106 zu diesem Zeitpunkt das Rauschen in der Zeitrichtung (mit Bezug zum korrespondierenden Bewegtbild) unter Nutzung eines Zeitreihenfilters beseitigen kann. Des Weiteren kann die Bestimmungseinheit 106 statt der Ebene den dreidimensionalen Raum detektieren.
  • Anschließend bestimmt die Bestimmungseinheit 106 beliebige der detektierten ganz geschlossenen Ebenen als den Anzeigebereich des korrespondierenden Bewegtbilds basierend auf einem vorher bestimmten Index (zum Beispiel der Größe, der Form, der Position, dem Abstand zum Zuschauer/Zuhörer oder dergleichen). Zum Beispiel bestimmt die Bestimmungseinheit 106 zum Beispiel die geschlossene Ebene, die eine oder mehrere Bedingungen erfüllt, etwa dass die geschlossene Ebene eine vorher bestimmte Größe hat oder größer ist, dass der Abstand zum Zuschauer/Zuhörer ein vorher bestimmter oder noch größerer Abstand ist, dass die Blickrichtung zum Zuschauer/Zuhörer hin verläuft, dass das Bildseitenverhältnis in einem voreingestellten Bereich liegt oder dergleichen, als den Anzeigebereich des korrespondierenden Bewegtbilds.
  • - (b) Bestimmung durch eine GUI
  • Des Weiteren kann die Bestimmungseinheit 106 auch den Anzeigebereich des korrespondierenden Bewegtbilds basierend auf dem in der Aufnahmeanforderung enthaltenen Tiefenbild und dem Ergebnis einer Detektion der Zuschauer/Zuhörer-Bedienung auf der durch das Wiedergabegerät 30 angezeigten GUI bestimmen. Es wird darauf hingewiesen, dass die GUI ein Beispiel für ein Bedienungsbild gemäß der vorliegenden Offenbarung ist.
  • - Anzeigebeispiel 1
  • 6 ist ein erläuterndes Schaubild, das ein Beispiel für die Anzeige einer GUI zeigt. Es wird darauf hingewiesen, dass sich das Wiedergabegerät 30 in dem in 6 gezeigten Beispiel in einem jeweiligen Zimmer befindet und eine GUI 420, wie in 6 gezeigt, auf der Oberfläche des Tisches der Anzeigeeinheit 326 des Wiedergabegeräts 30 angezeigt wird.
  • Wie in 6 gezeigt, enthält die GUI 420 eine Griff-GUI 422. In dem in 6 gezeigten Beispiel ändert die Bestimmungseinheit 106 den momentanen Einstellungsmodus in den Größenänderungsmodus, wenn erkannt wird, dass eine Zuschauer/Zuhörer-Geste einer Hand, die die Griff-GUI 422 fasst, ausgeführt wird. In diesem Größenänderungsmodus kann der Bereich der GUI 420 basierend auf dem Ergebnis der Detektion der Änderung der Position der die Griff-GUI 422 fassenden Hand (zum Beispiel weil die Hand bewegt wird, weil sich der Abstand zwischen den Händen ändert oder aufgrund eines ähnlichen Vorgangs) parallel verschoben, skaliert oder gedreht werden. Es wird darauf hingewiesen, dass der Server 10 (die Bestimmungseinheit 106) den Kontakt zwischen der Griff-GUI 422 und der Hand des Zuschauers/Zuhörers über die Koordinaten im dreidimensionalen Raum oder über das Koordinatensystem des auf der Anzeigeeinheit 326 angezeigten Bildschirms (Bildschirmkoordinatensystem) bestimmen kann. Beim letzteren Entscheidungsverfahren kann der Zuschauer/Zuhörer die GUI 420 sogar dann einfach bedienen, wenn die Griff-GUI 422 sich weit vom Zuschauer/Zuhörer entfernt im korrespondierenden realen Raum befindet.
  • Des Weiteren beendet die Bestimmungseinheit 106 den Größenänderungsmodus zum Beispiel, wenn eine Geste, bei der eine Hand von der Griff-GUI 422 zurückgezogen wird, detektiert wird. Nach dem Beenden des Größenänderungsmodus bestimmt die Bestimmungseinheit 106 dann den Bereich der GUI 420 als den Anzeigebereich des korrespondierenden Bewegtbilds.
  • - Anzeigebeispiel 2
  • 7 ist ein erläuterndes Schaubild, das ein weiteres Beispiel für die Anzeige einer GUI zeigt. Es wird darauf hingewiesen, dass in dem in 7 gezeigten Beispiel ein Beispiel gezeigt wird, in dem ein Menü 430, über das der Zuschauer/Zuhörer den Wert des speziellen Anzeigeparameters bezüglich des korrespondierenden Bewegtbilds festlegen kann, zusammen mit der GUI 420, die in 6 gezeigt ist, auf der Anzeigeeinheit 326 angezeigt wird. Wie in 7 gezeigt, enthält das Menü 430 zum Beispiel ein Festlegungsfeld 432a zum Festlegen, ob ausgelöst werden soll, dass die Anzeigefläche des korrespondierenden Bewegtbilds auf eine Ebene in der Nähe gesnappt wird, ein Festlegungsfeld 432b zum Festlegen, ob eine Anzeige derart durchgeführt werden soll, dass die Höhenrichtung des korrespondierenden Bewegtbilds mit der Schwerkraftrichtung im realen Raum zusammenfällt, und ein Festlegungsfeld 432c zum Festlegen, ob als Anzeigegröße des korrespondierenden Bewegtbilds der Maßstab 1 : 1 eingestellt werden soll.
  • In dem in 7 gezeigten Beispiel bestimmt die Bestimmungseinheit 106, dass der Anzeigebereich des korrespondierenden Bewegtbilds auf die Ebene in der Nähe gesnappt wird, wenn detektiert wird, dass ein vorher bestimmter Sprachbefehl zum Snappen des Anzeigebereichs des korrespondierenden Bewegtbilds auf die Ebene in der Nähe ausgegeben wurde.
  • Es wird darauf hingewiesen, dass, wenn ein Kontakt zwischen der Griff-GUI 422 und der Hand des Zuschauers/Zuhörers (wie oben beschrieben) unter Nutzung des Bildschirmkoordinatensystems des auf der Anzeigeeinheit 326 angezeigten Bildschirms bestimmt wird, es nur zwei Freiheitsgrade bei der Eingabe gibt. In diesem Fall ist es folglich wünschenswert, dass das Auslösen, dass der Anzeigebereich des korrespondierenden Bewegtbilds auf die Ebene in der Nähe gesnappt wird, und das Bewirken, dass die Höhenrichtung des korrespondierenden Bewegtbilds und die Schwerkraftrichtung des realen Raums zusammenfallen, automatisch eingestellt werden. Infolgedessen kann der Zuschauer/Zuhörer die GUI 420 in der vorgesehenen Weise bedienen.
  • - (c) Zuschauer/Zuhörer-Abfrage
  • Des Weiteren kann die Bestimmungseinheit 106 eine Vielzahl von in Frage kommenden Anzeigebereichen des korrespondierenden Bewegtbilds (nachstehend je als in Frage kommender Bereich bezeichnet) basierend auf dem in der Aufnahmeanforderung enthaltenen Tiefenbild bestimmen und den Anzeigebereich des Bewegtbilds dann basierend auf dem in Frage kommenden Bereich bestimmen, der für die Auswahl durch den Zuschauer/Zuhörer aus der Vielzahl von in Frage kommenden Bereichen bestimmt wird.
  • Hier wird unter Bezugnahme auf die 8 bis 10 die oben beschriebene Arbeitsweise ausführlicher beschrieben. Zum Beispiel kalkuliert die Bestimmungseinheit 106 zunächst eine Punktwolke basierend auf dem in der Aufnahmeanforderung enthaltenen Tiefenbild, nutzt dann einen Algorithmus wie zum Beispiel RANSAC zum Kalkulieren einer Vielzahl geschlossener Ebenen basierend auf der Punktwolke und stellt die detektierten geschlossenen Ebenen als die in Frage kommenden Bereiche ein. Alternativ kann die Bestimmungseinheit 106 eine Vielzahl leerer Räume (dreidimensionaler Räume) detektieren und die detektierten leeren Räume dann als die in Frage kommenden Bereiche nutzen.
  • Anschließend extrahiert die Bestimmungseinheit 106 eine Vielzahl von in Frage kommenden Bereichen aus allen detektierten in Frage kommenden Bereichen basierend auf einem vorher bestimmten Index (zum Beispiel einer Größe, einer Form, einer Position, einem Abstand zum Benutzer oder ähnlichen Eigenschaften der in Frage kommenden Bereiche). Dann, wie später noch beschrieben, löst die Anzeigesteuereinheit 108 aus, dass die extrahierte Vielzahl von in Frage kommenden Bereichen 440 (bzw. in Frage kommenden Bereichen 442) auf dem Wiedergabegerät 30 (dessen Anzeigeeinheit 326) angezeigt wird, wie zum Beispiel in 8 oder 9 gezeigt.
  • Anschließend werden von der Bestimmungseinheit 106 beliebige aus der Vielzahl von in Frage kommenden Bereichen basierend auf dem Ergebnis der Detektion der Sichtlinienrichtung des Benutzers oder der Blickrichtung mit Bezug zur Anzeigeeinheit 326, dem Ergebnis der Detektion einer Geste (zum Beispiel dem Zeigen mit einem Finger oder dergleichen) oder einem Ergebnis einer Detektion dessen, dass ein vorher bestimmter Sprachbefehl (zum Beispiel „auf den Tisch einstellen!“, „auf den rechten Seitenbereich einstellen!“ oder dergleichen) ausgegeben wurde, vorgegeben. Dann hebt die Anzeigesteuereinheit 108, wie später noch beschrieben, den vorgegebenen in Frage kommenden Bereich auf dem Wiedergabegerät 30 hervor und zeigt ihn darauf an. Die Anzeigesteuereinheit 108, wie in 10 gezeigt, löst zum Beispiel möglicherweise aus, dass das Wiedergabegerät 30 ein Vorschauvideo 444 vom korrespondierenden Bewegtbild, das vom Server 10 empfangen wurde, in dem korrespondierenden in Frage kommenden Bereich (dem in Frage kommenden Bereich 440c in 10) anzeigt. Hierbei handelt es sich bei dem Vorschauvideo 444, wie in 10 gezeigt, um ein Video, das in einem anderen Anzeigemodus angezeigt wird als das Video zur Zeit der normalen Wiedergabe (zum Beispiel wird es in Schwarzweiß oder durchscheinender angezeigt etc.). Infolgedessen kann der Benutzer verstehen, dass es sich bei dem angezeigten Video um ein Vorschauvideo handelt.
  • Danach bestimmt die Bestimmungseinheit 106 den korrespondierenden in Frage kommenden Bereich als den Anzeigebereich des Bewegtbilds, wenn eine vorher bestimmte Geste zum Bestimmen des Anzeigebereichs detektiert wird oder die Ausgabe eines vorher bestimmten Sprachbefehls (zum Beispiel „da!“ oder dergleichen) zum Bestimmen des Anzeigebereichs detektiert wird.
  • - (d) Bestimmung einer Vielzahl von Anzeigebereichen
  • Wenn eine Vielzahl von Bewegtbildern (zum Beispiel basierend auf einer Benutzerfestlegung oder dergleichen) gleichzeitig wiedergegeben wird, kann die Bestimmungseinheit 106 des Weiteren jeden Anzeigebereich der Vielzahl von Bewegtbildern so bestimmen, dass die Vielzahl von Bewegtbildern in einer vorher bestimmten Positionsbeziehung ausgerichtet wird. Die Bestimmungseinheit 106 bestimmt zum Beispiel den Anzeigebereich der Vielzahl von Bewegtbildern so, dass die Mittelpositionen einer Vielzahl wiederzugebender Bewegtbilder in regelmäßigen Abständen angeordnet werden, basierend auf dem Ergebnis einer Detektion der Bedienung auf der GUI, die auf der Anzeigeeinheit 326 angezeigt wird, dem Ergebnis einer Detektion des Sprachbefehls oder dergleichen. Alternativ kann die Bestimmungseinheit 106 den Anzeigebereich der Vielzahl von Bewegtbildern so bestimmen, dass die Mittelpositionen der Vielzahl von Bewegtbildern zusammenfallen oder eine spezielle Strahlrichtung mit den Mittelpositionen der Vielzahl von Bewegtbildern zusammenfällt. Alternativ bestimmt die Bestimmungseinheit 106 den Anzeigebereich der Vielzahl von Bewegtbildern so, dass die vertikalen Richtungen (Schwerkraftrichtungen) der Vielzahl von Bewegtbildern zusammenfallen.
  • Hierbei handelt es sich bei der Mittelposition möglicherweise um einen Ausgangspunkt, der für jedes in der Bewegtbild-DB 124 gespeicherte Bewegtbild voreingestellt ist. Alternativ handelt es sich bei der Mittelposition, wenn der Ausgangspunkt nicht vorab eingestellt wird, möglicherweise je um einen Ausgangspunkt, wenn die Punktwolken, die mit der Vielzahl wiederzugebender Bewegtbilder korrespondieren, so ausgerichtet sind, dass sie einander überdecken. Alternativ ist als Mittelposition möglicherweise eine Position eingestellt, die mit einem vorher bestimmten Muster oder einer vorher bestimmten Form (zum Beispiel mit einem vorher bestimmten Schild, einer vorher bestimmten Markierung oder dergleichen) korrespondiert.
  • Wenn eine Vielzahl wiederzugebender Bewegtbilder Bewegtbilder im selben Stadium sind, kann zum Beispiel der Offset-Betrag der Position und der Lage, die mit jedem der Vielzahl von Bewegtbildern korrespondieren, im Voraus erhalten werden, sodass die Anzeigepositionen der Verfolgungen in jedem Bewegtbild zur Zeit der Anzeige der Vielzahl von Bewegtbildern zusammenfallen.
  • Es wird darauf hingewiesen, dass, wenn eine Vielzahl von Bewegtbildern gleichzeitig wiedergegeben wird, eine Vielzahl von Bewegtbildern so angezeigt werden kann, dass diese einander überdecken, sodass die Bewegtbilder vermutlich schlecht zu erkennen sind. Folglich kann die Anzeigesteuereinheit 108, wie später noch beschrieben, den Anzeigemodus zum Beispiel basierend auf dem Ergebnis der Detektion der Sichtlinienrichtung des Zuschauers/Zuhörers oder dergleichen so ändern, dass die Erkennbarkeit für das Bewegtbild, welches als das die Aufmerksamkeit des Zuschauers/Zuhörers nicht erregende Bild bestimmt wird, verringert wird. Die Anzeigesteuereinheit 108 kann zum Beispiel das korrespondierende Bewegtbild lichtdurchlässig anzeigen oder die Anzeigefarbe des korrespondierenden Bewegtbilds in eine andere Farbe für die Anzeige ändern.
  • (Bestimmung eines Anzeigeabschnitts im Bewegtbild)
  • Des Weiteren kann die Bestimmungseinheit 106 basierend auf vorher bestimmten Kriterien bestimmen, dass nur ein Teil des wiederzugebenden Bewegtbilds auf dem Wiedergabegerät 30 angezeigt wird. Die Bestimmungseinheit 106 bestimmt zum Beispiel möglicherweise, dass nur der Bereich des Vordergrundabschnitts im wiederzugebenden Bewegtbild, der basierend auf den vorher bestimmten Kriterien bestimmt wird, auf dem Wiedergabegerät 30 angezeigt wird.
  • - (a) Benutzerfestlegung
  • - Anweisungen für virtuelles Objekt
  • Hierbei kann der mit dem Vordergrundabschnitt korrespondierende Raum für jedes Bewegtbild vom Fotografen des Bewegtbilds voreingestellt werden. Zum Beispiel kann der mit dem Vordergrundabschnitt korrespondierende Raum basierend auf der Anweisung des Fotografen (oder der Person, die das Bewegtbild veröffentlicht) mit Bezug zum virtuellen Objekt eingestellt werden. Beispielsweise kann ein mit dem Vordergrundabschnitt korrespondierender Raum basierend auf der Eingabe des Fotografen mit Bezug zum vorher bestimmten Bedienbildschirm eingestellt werden. Hierbei kann auf dem Bedienbildschirm ein Video, das auf dem durch das Aufzeichnungsgerät 20 erfassten Tiefenbild basiert, angezeigt werden. Zum Beispiel kann, wie in 11 gezeigt, wenn vom Benutzer ein vorher bestimmtes Objekt (zum Beispiel ein Würfel, eine Kugel, ein Gitter oder dergleichen) im auf dem Bedienbildschirm angezeigten Video angeordnet wird, der mit dem Objekt korrespondierende Raum als Vordergrund eingestellt werden. Des Weiteren kann, wenn vom Benutzer eine Vielzahl von Objekten angeordnet wird, ein mit der Synthese (zum Beispiel einer Summe, einem Produkt oder dergleichen) der Vielzahl von Objekten korrespondierender Raum als Vordergrundabschnitt eingestellt werden. Es wird darauf hingewiesen, dass der Vordergrundabschnitt pro Wiedergabezeit des Bewegtbilds gesondert eingestellt werden kann.
  • - Festlegung im realen Raum
  • Alternativ kann der mit dem Vordergrundabschnitt korrespondierende Raum basierend auf dem Ergebnis einer Detektion des Wegs, den der Fotograf im realen Raum zurückgelegt hat, eingestellt werden. Zum Beispiel wird zunächst ein Weg, den der Fotograf im realen Raum zurückgelegt hat, erfasst, woraufhin eine mit dem Weg korrespondierende geschlossene Ebene (geschlossener Bereich) vorgegeben werden kann. Dann kann der Raum, der mit der vorgegebenen geschlossenen Ebene, der Schwerkraftrichtung, dem eingestellten Wert der Höhe (zum Beispiel der vom Boden bis zur Decke reichenden Höhe, dem voreingestellten oberen Grenzwert bzw. dem voreingestellten unteren Grenzwert oder dergleichen) korrespondiert, als mit dem Vordergrundabschnitt korrespondierender Raum eingestellt werden. Es wird darauf hingewiesen, dass in diesem Fall die Anzeige, die den Bereich des eingestellten Raums angibt, von der Anzeigeeinheit (nicht gezeigt) im realen Raum, in dem sich der Fotograf befindet, angezeigt werden kann. Hierbei ist die Anzeigeeinheit möglicherweise ein von einem Fotografen getragenes HMD oder ein Projektor oder dergleichen. Es wird darauf hingewiesen, dass das Aufzeichnungsgerät 20 die Anzeigeeinheit enthalten kann.
  • Wenn eine vorher bestimmte Geste zum Ändern des Vordergrundabschnitts (zum Beispiel eine nach vorn bewegte Handfläche oder dergleichen) detektiert wird, kann des Weiteren der eingestellte Vordergrundabschnitt basierend auf dem Detektionsergebnis geändert werden. Wenn zum Beispiel eine Geste, bei der eine Handfläche nach vorn bewegt wird, detektiert wird, kann der mit dem Vordergrundabschnitt korrespondierende Raum in einen Raum geändert werden, der mit einer Synthese (Summe, Produkt oder dergleichen) des Raums, der mit dem eingestellten Vordergrundabschnitt korrespondiert, und des Raums, der mit der Geste korrespondiert (zum Beispiel einer Ebene, die durch Ausstrecken der Handfläche erhalten wird, eines Raums, der mit einem kugelförmigen Bereich um die Handfläche herum korrespondiert, oder dergleichen), korrespondiert. Es wird darauf hingewiesen, dass zu diesem Zeitpunkt eine Anzeige, die den Bereich des mit der Geste korrespondierenden Raums (bzw. des mit dem Vordergrundabschnitt nach der Änderung korrespondierenden Raums) angibt, ferner auf der oben beschriebenen Anzeigeeinheit angezeigt werden kann.
  • - (b) Objekterkennungsergebnis
  • Alternativ kann der mit dem Vordergrundabschnitt korrespondierende Raum für jedes Bewegtbild gemäß einem Ergebnis der Objekterkennung, das auf dem Bewegtbild oder dem mit dem Bewegtbild assoziierten Tiefenbild basiert, eingestellt werden.
  • Zum Beispiel führt die Steuereinheit 100 des Servers 10 zunächst eine Objekterkennung basierend auf den Farbinformationen des Bewegtbilds, den aus dem Bewegtbild detektierten Merkmalspunkten und/oder dem mit dem Bewegtbild assoziierten Tiefenbild durch und stellt dann den mit dem erkannten Objekt korrespondierenden Raum als einen Raum ein, der mit dem Vordergrundabschnitt korrespondiert. Hierbei kann der Bereich des mit dem Objekt korrespondierenden Raums vom Benutzer festgelegt oder gemäß dem erkannten Objekt bestimmt werden. Wenn zum Beispiel das Gesicht eines Menschen erkannt wird, stellt die Steuereinheit 100 einen mit dem Vordergrundabschnitt korrespondierenden Raum basierend auf dem Bereich des Raums ein (zum Beispiel einem Abstand von höchstens 1 m nach vorn, hinten, links und rechts mit dem Gesicht in der Mitte, einem Abstand von höchstens 1 m nach oben, einem Abstand von höchstens 2 m nach unten oder dergleichen), welcher zuvor in Assoziierung mit dem Gesicht eingestellt wurde. Wenn der ganze Körper des Menschen erkannt wird, stellt die Steuereinheit 100 des Weiteren den ganzen Körper als mit dem Vordergrundabschnitt korrespondierenden Raum ein. Wenn eine vorher bestimmte Markierung erkannt wird, stellt die Steuereinheit 100 des Weiteren zum Beispiel einen Raum in einem Radius von 5 m um die Markierung als mit dem Vordergrundabschnitt korrespondierenden Raum ein. Wenn ein Blatt mit einer vorher bestimmten Farbe oder einem vorher bestimmten Muster erkannt wird, werden des Weiteren das Blatt, die eine Richtung, in die das Blatt zeigt (zum Beispiel die Richtung des Blatts nach oben oder dergleichen) und der Raum, der durch den vorher bestimmten Abstand bestimmt wird, als mit dem Vordergrundabschnitt korrespondierender Raum eingestellt.
  • Es wird darauf hingewiesen, dass es zur Zeit der Übertragung des Bewegtbilds und des Tiefenbilds an das Wiedergabegerät 30 möglich ist, dass die Steuereinheit 100 eine Maskierungsverarbeitung auch an anderen Bereichen als nur am (eingestellten) Vordergrundabschnitt mit Bezug sowohl zum Bewegtbild als auch zum Tiefenbild durchführt und daraufhin keine Codierung durchführt sowie keine Übertragung für den maskierten Bereich durchführt. Infolgedessen kann das Übertragungsband abgespeichert werden. Des Weiteren kann die Anzeigesteuereinheit 108 des Servers 10 in einer Abwandlung auslösen, dass die Kommunikationseinheit 120 Daten, die einen Zielbereich der Maske angeben (nachstehend als Maskendaten bezeichnet), zusammen mit dem Bewegtbild und dem Tiefenbild an das Wiedergabegerät 30 überträgt. In diesem Fall ist es möglich, dass die Anzeigesteuereinheit 310 des Wiedergabegeräts 30 zunächst eine Verarbeitung einer Ausschneidung des durch die empfangenen Maskendaten angegebenen Bereichs sowohl für das empfangene Bewegtbild als auch für das empfangene Tiefenbild durchführt und dann auslöst, dass die Anzeigeeinheit 326 ein Video, das mit dem verarbeiteten Bewegtbild und dem verarbeiteten Tiefenbild korrespondiert, anzeigt.
  • - (c) Ergebnis der Detektion einer Zeitreihenänderung dreidimensionaler Informationen
  • Alternativ kann der mit dem Vordergrundabschnitt korrespondierende Raum für jedes Bewegtbild gemäß einem Objektbewegungserkennungsergebnis basierend auf dem Bewegtbild oder dem mit dem Bewegtbild assoziierten Tiefenbild eingestellt werden. Zum Beispiel kann ein Bewegungsvektor basierend auf einer aus dem Tiefenbild generierten Punktwolke erkannt werden, und ein mit dem erkannten Bewegungsvektor korrespondierender Raum kann als ein mit dem Vordergrundabschnitt korrespondierender Raum eingestellt werden.
  • Beispielsweise gibt die Steuereinheit 100 des Servers 10 zunächst eine Punktwolke basierend auf einem Tiefenbild vor, das mit jedem Bewegtbild mit Bezug zu einer Vielzahl von Bewegtbildern assoziiert ist (zum Beispiel befinden sich Elemente von Positionsinformationen von Beidem zur Zeit der Aufzeichnung nah beieinander), und es werden Punktwolken über einem vorher bestimmten Voxel eingeblendet. Anschließend gibt die Steuereinheit 100 in dem vorher bestimmten Voxel das Element des Voxels vor, das mit einer Wahrscheinlichkeit, die mindestens gleich dem vorher bestimmten Wert ist, weiterhin (über einen vorher bestimmten Zeitraum durchgehend) vorhanden sein wird (also das Element, in dem das Objekt, das sich innerhalb des Elements befindet, schätzungsgemäß stationär sein wird), und stellt den Raum, der mit dem vorgegebenen Element korrespondiert, als den mit dem Hintergrundabschnitt korrespondierenden Raum ein. Es wird darauf hingewiesen, dass die Steuereinheit 100 zu diesem Zeitpunkt auch den mit dem Hintergrundabschnitt korrespondierenden Raum mittels des Verfahrens zur Einstellung des mit dem Vordergrundabschnitt korrespondierenden Raums basierend auf dem Objekterkennungsergebnis, wie oben beschrieben, einstellen kann. Wenn zum Beispiel der Raum, der mit dem Element korrespondiert, einen mit dem Vordergrundabschnitt korrespondierenden Raum enthält (nachstehend als Raum A bezeichnet), der basierend auf dem erkannten Objekt und dem oben beschriebenen Einstellungsverfahren vorgegeben wird, kann die Steuereinheit 100 den Raum, aus dem der Raum A ausgeschlossen ist, mittels des Raums, der mit dem Element korrespondiert, als den mit dem Hintergrundabschnitt korrespondierenden Raum einstellen.
  • Anschließend stellt die Steuereinheit 100 anstelle des mit dem Hintergrundabschnitt korrespondierenden Raums einen anderen Raum als mit dem Vordergrundabschnitt korrespondierenden Raum ein. Es wird darauf hingewiesen, dass es zur Zeit der Übertragung des Bewegtbilds und des Tiefenbilds an das Wiedergabegerät 30 möglich ist, dass die Steuereinheit 100 eine Maskierungsverarbeitung an den Bereichen des (eingestellten) Hintergrundabschnitts mit Bezug sowohl zum Bewegtbild als auch zum Tiefenbild durchführt sowie keine Übertragung für den maskierten Bereich durchführt. Alternativ kann die Anzeigesteuereinheit 108 (wie oben beschrieben) auslösen, dass die Kommunikationseinheit 120 die Maskendaten, die den Zielbereich der Maske angeben, zusammen mit dem Bewegtbild und dem Tiefenbild an das Wiedergabegerät 30 überträgt.
  • - (d) Ergebnis eines Vergleichs zwischen dreidimensionalen Informationen zur Zeit des Fotografierens und dreidimensionalen Informationen zur Zeit der Wiedergabe
  • Alternativ kann der mit dem Vordergrundabschnitt korrespondierende Raum basierend auf einem Ergebnis eines Vergleichs zwischen dreidimensionalen Informationen zur Zeit des Fotografierens eines wiederzugebenden Bewegtbilds und dreidimensionalen Informationen zur Zeit der Wiedergabe des Bewegtbilds eingestellt werden.
  • Zum Beispiel kalkuliert die Steuereinheit 100 des Servers 10 zunächst die Transformationsmatrix für die Einblendung der Punktwolke, die basierend auf dem Tiefenbild, das in der vom Wiedergabegerät 30 empfangenen Bewegtbildaufnahmeanforderung enthalten ist, vorgegeben wird, und einer Punktwolke, die basierend auf dem Tiefenbild, das mit dem wiederzugebenden Bewegtbild assoziiert ist, vorgegeben wird, mittels eines Algorithmus wie zum Beispiel des Merkmalspunkt-Basisalgorithmus oder des Iterative-Closest-Point(ICP)-Algorithmus. Anschließend generiert die Steuereinheit 100 Hintergrundvoxel aus jeder der zwei Punktwolken. Dann stellt die Steuereinheit 100 das Produkt der zwei generierten Hintergrundvoxel als das (endgültige) Hintergrundvoxel ein. Dann stellt die Steuereinheit 100 statt des im Hintergrundvoxel enthaltenen Raums zum Beispiel einen anderen Raum als mit dem Vordergrundabschnitt korrespondierenden Raum ein.
  • Es wird darauf hingewiesen, dass es zur Zeit der Übertragung des Bewegtbilds und des Tiefenbilds an das Wiedergabegerät 30 möglich ist, dass die Steuereinheit 100 eine Maskierungsverarbeitung an den Bereichen, aus denen der (eingestellte) Vordergrundabschnitt ausgeschlossen ist, mit Bezug sowohl zum Bewegtbild als auch zum Tiefenbild durchführt sowie keine Übertragung für den maskierten Bereich durchführt. Alternativ kann die Anzeigesteuereinheit 108 (wie oben beschrieben) auslösen, dass die Kommunikationseinheit 120 die Maskendaten, die den Zielbereich der Maske angeben, zusammen mit dem Bewegtbild und dem Tiefenbild an das Wiedergabegerät 30 überträgt.
  • (Farbkonvertierung)
  • - Anpassung der Farbtemperatur
  • Es wird darauf hingewiesen, dass, wenn die Belichtungsbedingungen oder dergleichen beim Fotografieren und die Belichtungsbedingungen oder dergleichen bei der Wiedergabe sehr unterschiedlich sind (zum Beispiel wenn ein bei Nacht fotografiertes Bild bei Tag wiedergegeben wird oder dergleichen), falls das wiederzugebende Bewegtbild in der ursprünglichen Version in der Umgebung zur Zeit der Wiedergabe angezeigt wird, der Farbton ganz anders ausfällt, sodass der Zuschauer/Zuhörer das Bewegtbild als unnatürlich empfinden kann. Folglich kann die Bestimmungseinheit 106 eine Verarbeitung der Maskierung des Hintergrundabschnitts des wiederzugebenden Bewegtbilds oder eine Farbkonvertierung am wiederzugebenden Bewegtbild basierend auf dem durch die Kamera des Wiedergabegeräts 30 fotografierten Bild durchführen.
  • Hierbei wird unter Bezugnahme auf 12 der Ablauf der oben beschriebenen Verarbeitung beschrieben. Wie in 12 gezeigt, kalkuliert die Steuereinheit 100 des Servers 10 zum Beispiel zunächst die Belichtung und den Weißabgleich basierend auf dem wiederzugebenden Bewegtbild (S101). Als Nächstes kalkuliert die Steuereinheit 100 die Belichtung und den Weißabgleich basierend auf dem durch das Wiedergabegerät 30 fotografierten Bild (S103). Dann vergleicht die Steuereinheit 100 sie (S105).
  • Wenn das Vergleichsergebnis außerhalb des vorher bestimmten Bereichs liegt (S107: nein), löst die Steuereinheit 100 aus, dass das Wiedergabegerät 30 (dessen Anzeigeeinheit 326) die Warnmeldung anzeigt (S109). Wenn eingegeben wird, dass eine Anzeige akzeptiert wird (S111: ja), führt die Steuereinheit 100 danach eine Verarbeitung der Maskierung des Hintergrundabschnitts des wiederzugebenden Bewegtbilds und des mit dem Bewegtbild assoziierten Tiefenbilds durch (S113). Dann zeigt das Wiedergabegerät 30 (dessen Anzeigeeinheit 326) das Video an, das mit dem Bewegtbild nach der Maskierung und mit dem Tiefenbild nach der Maskierung korrespondiert. Danach endet der Prozess.
  • Wenn hingegen eingegeben wird, dass eine Anzeige nicht akzeptiert wird (S111: nein), bestimmt die Steuereinheit 100, dass die Anzeige des wiederzugebenden Bewegtbilds zu beenden ist (S115). Es wird darauf hingewiesen, dass statt S109 bis S115 die Steuereinheit 100 des Servers 10 in einer Abwandlung auch ein anderes Bewegtbild als wiederzugebendes Bewegtbild neu auswählen kann und auslöst, dass das Wiedergabegerät 30 (dessen Anzeigeeinheit 326) eine Anzeige, bei der dem Zuschauer/Zuhörer die Wiedergabe des ausgewählten Bewegtbilds empfohlen wird, durchführt.
  • Wenn hingegen das Vergleichsergebnis innerhalb des vorher bestimmten Bereichs liegt (S107: ja), führt die Steuereinheit 100 eine Farbkonvertierung am wiederzugebenden Bewegtbild basierend auf dem durch die Kamera des Wiedergabegeräts 30 fotografierten Bild durch. Insbesondere kalkuliert die Steuereinheit 100 zunächst die Differenz zwischen der Belichtung, die basierend auf dem wiederzugebenden Bewegtbild kalkuliert wird, und der Belichtung, die basierend auf dem durch das Wiedergabegerät 30 fotografierten Bild kalkuliert wird, um eine Matrix A zum Korrigieren des wiederzugebenden Bewegtbilds zu kalkulieren. Anschließend kalkuliert die Steuereinheit 100 die Differenz zwischen dem Weißabgleich, der basierend auf dem wiederzugebenden Bewegtbild kalkuliert wird, und dem Weißabgleich, der basierend auf dem durch das Wiedergabegerät 30 fotografierten Bild kalkuliert wird, um eine Matrix B zum Korrigieren des wiederzugebenden Bewegtbilds zu kalkulieren (S117).
  • Anschließend kalkuliert die Steuereinheit 100 einen Eigenwert des Produkts aus der Matrix A und der inversen Matrix der Matrix B. Wenn der Eigenwert innerhalb des vorher bestimmten Bereichs liegt, multipliziert die Steuereinheit 100 dann das Produkt aus der Matrix A und der inversen Matrix der Matrix B für jedes Pixel, das im wiederzugebenden Bewegtbild enthalten ist, und korrigiert dadurch die Belichtung und den Weißabgleich (S119). Es wird darauf hingewiesen, dass die Steuereinheit 100, wenn der Eigenwert außerhalb des vorher bestimmten Bereichs liegt, möglicherweise bestimmt, dass die Korrektur unmöglich ist, und eine Verarbeitung der Maskierung des Hintergrundabschnitts des wiederzugebenden Bewegtbilds durchführt.
  • - Anpassung der Auflösung
  • Wenn das Wiedergabegerät 30 ein nicht lichtdurchlässiges HMD ist und die Auflösung des durch die Kamera des Wiedergabegeräts 30 fotografierten Bilds eine andere ist als die Auflösung des korrespondierenden Bewegtbilds, kann die Bestimmungseinheit 106 des Weiteren eine Verarbeitung einer Verringerung einer Auflösung zu einer anderen Auflösung, die geringer ist, durchführen.
  • (Ladezustand)
  • - Änderung des Video-Anzeigemodus
  • Des Weiteren kann die Bestimmungseinheit 106 ferner die Anzeigegröße des korrespondierenden Bewegtbilds basierend auf den Daten, die den Ladezustand des Zuschauers/Zuhörers angeben, oder den Daten, die eine Berechtigung des Zuschauers/Zuhörers angeben, bestimmen. Hierbei können die Daten, die den Ladezustand des Zuschauers/Zuhörers angeben, oder die Daten, die eine Berechtigung des Zuschauers/Zuhörers angeben, in der Benutzer-DB 126 gespeichert sein. Hierbei ist die Benutzer-DB 126 eine Datenbank, die Informationen, die mit jedem Benutzer (Fotograf, Zuschauer/Zuhörer oder dergleichen) assoziiert sind, speichert.
  • Die Bestimmungseinheit 106 vergrößert zum Beispiel den Bereich des angezeigten Raums in den Bewegtbildern, wenn der Zuschauer/Zuhörer einen höheren Betrag gezahlt hat. Wenn sich der gezahlte Betrag beispielsweise auf „0 Yen“ beläuft (also keine Kosten anfallen), stellt die Bestimmungseinheit 106 den Bereich des korrespondierenden Raums auf „1,0 m × 1,0 m × 1,0 m“ ein. Wenn sich der gezahlte Betrag auf „100 Yen“ beläuft, stellt die Bestimmungseinheit 106 den Bereich des korrespondierenden Raums des Weiteren auf „1,5 m × 1,5 m × 1,5 m“ ein. Wenn sich der gezahlte Betrag auf „200 Yen“ beläuft, stellt die Bestimmungseinheit 106 den Bereich des korrespondierenden Raums des Weiteren auf „2,0 m × 2,0 m × 2,0 m“ ein. Wenn sich der gezahlte Betrag auf über „200 Yen“ beläuft, stellt die Bestimmungseinheit 106 den Bereich des korrespondierenden Raums des Weiteren auf den gesamten fotografierten Raum ein. Alternativ kann die Bestimmungseinheit 106 den Bereich der Höhe und der Tiefe des angezeigten Raums im korrespondierenden Bewegtbild abhängig von dem vom Zuschauer/Zuhörer gezahlten Betrag ändern.
  • Wenn sich der gezahlte Betrag auf „0 Yen“ beläuft (also keine Kosten anfallen), überträgt die Bestimmungseinheit 106 alternativ nur das Video an das Wiedergabegerät 30 und bestimmt, dass das Tiefenbild nicht an das Wiedergabegerät 30 übertragen wird. Das heißt, das zweidimensionale Video wird auf dem Wiedergabegerät 30 (dessen Anzeigeeinheit 326) angezeigt. Wenn sich der gezahlte Betrag auf über „0 Yen“ beläuft und höchstens gleich dem vorher bestimmten Betrag ist, bestimmt die Bestimmungseinheit 106 des Weiteren, dass die Anzeigegröße des korrespondierenden Bewegtbilds eine „verkleinerte Größe“ sein soll. Wenn der gezahlte Betrag über den vorher bestimmten Betrag hinausgeht, bestimmt die Bestimmungseinheit 106 des Weiteren, dass das korrespondierende Bewegtbild im Maßstab 1 : 1 angezeigt werden soll.
  • Wenn sich der gezahlte Betrag auf „0 Yen“ beläuft und vom Zuschauer/Zuhörer festgelegt wird, dass das wiederzugebende Bewegtbild im Maßstab 1 : 1 angezeigt werden soll, kann die Bestimmungseinheit 106 alternativ bestimmen, dass das vorher bestimmte Werbeanzeigenobjekt automatisch eingeblendet und im korrespondierenden Bewegtbild angezeigt wird.
  • Alternativ kann die Bestimmungseinheit 106 die Komprimierungsrate des korrespondierenden Bewegtbilds und/oder des Tiefenbilds, das mit dem korrespondierenden Bewegtbild assoziiert ist, abhängig von dem vom Zuschauer/Zuhörer gezahlten Betrag ändern. Wenn sich der gezahlte Betrag zum Beispiel auf „0 Yen“ beläuft (also keine Kosten anfallen), reduziert die Bestimmungseinheit 106 möglicherweise teilweise die Farbinformationen (ohne eine Änderung des Tiefenbilds), indem sie zum Beispiel die Auflösung des korrespondierenden Bewegtbilds verringert. Alternativ reduziert die Bestimmungseinheit 106 in diesem Fall möglicherweise einen Teil der Datenmenge des Tiefenbilds (dessen Auflösung oder dergleichen), sodass von jedem Objekt zum Beispiel nur die grobe Form zu sehen ist.
  • - Verarbeitungsverfügbarkeit für Video
  • Des Weiteren kann die Bestimmungseinheit 106 die Verfügbarkeit der Verarbeitung durch den Zuschauer/Zuhörer für das korrespondierende Bewegtbild abhängig von dem vom Zuschauer/Zuhörer gezahlten Betrag einstellen. Wenn der gezahlte Betrag mindestens gleich dem vorher bestimmten Betrag ist, kann die Bestimmungseinheit 106 zum Beispiel eine Einstellung vornehmen, nach der der Zuschauer/Zuhörer ein vorher bestimmtes virtuelles Objekt (zum Beispiel Neuartigkeit einer Werbeanzeige oder dergleichen) zum korrespondierenden Bewegtbild hinzufügen kann. Es wird darauf hingewiesen, dass nach der Hinzufügung des virtuellen Objekts, selbst wenn das korrespondierende Bewegtbild von einem anderen Zuschauer/Zuhörer wiedergegeben wird, das korrespondierende Bewegtbild mit dem hinzugefügten virtuellen Objekt wiedergegeben werden kann.
  • Wenn der gezahlte Betrag mindestens gleich dem vorher bestimmten Betrag ist, kann die Bestimmungseinheit 106 des Weiteren eine Einstellung vornehmen, nach der der Zuschauer/Zuhörer die erfassten dreidimensionalen Informationen (zum Beispiel eine Punktwolke oder dergleichen) zum korrespondierenden Bewegtbild hinzufügen kann. Hierbei sind die dreidimensionalen Informationen möglicherweise dreidimensionale Informationen (Punktwolke oder dergleichen), die mit dem Erfassungsergebnis des Wiedergabegeräts 30 oder eines anderen 3D-Sensors (eines Tiefensensors oder dergleichen), der im Umfeld des Zuschauers/Zuhörers angeordnet ist, korrespondieren. Die dreidimensionalen Informationen sind zum Beispiel möglicherweise dreidimensionale Informationen eines den Körper des Zuschauers/Zuhörers ganz oder teilweise enthaltenden Raums.
  • Wenn der gezahlte Betrag mindestens gleich dem vorher bestimmten Betrag ist, kann die Bestimmungseinheit 106 es dem Zuschauer/Zuhörer des Weiteren ermöglichen, dass dieser ein vorher bestimmtes virtuelles Objekt zum korrespondierenden Bewegtbild hinzufügt, und kann auch bewirken, dass die Position und die Lage des korrespondierenden virtuellen Objekts gemäß dem Erfassungsergebnis des tragbaren Geräts, das vom Zuschauer/Zuhörer genutzt wird, veränderbar ist (zum Beispiel gemäß dem Ergebnis der Erfassung der Positionsinformationen und der Lage-Informationen des tragbaren Geräts oder dergleichen). Es wird darauf hingewiesen, dass das virtuelle Objekt zum Beispiel ein Objekt von einem „chemischen, leichten“ Typ oder dergleichen sein kann. Gemäß diesen Beispielen für die Steuerung kann der Zuschauer/Zuhörer den Zuschauer/Zuhörer selbst, die Bewegung des tragbaren Geräts oder dergleichen frei auf das korrespondierende Bewegtbild reflektieren und von den reflektierten Informationen dann gemeinsam mit anderen Zuschauern/Zuhörern Gebrauch machen.
  • (Anzeigemodus)
  • Des Weiteren kann die Bestimmungseinheit 106 den Anzeigemodus des korrespondierenden Bewegtbilds basierend auf vorher bestimmten Kriterien bestimmen. Zum Beispiel werden vorab möglicherweise zwei verschiedene Anzeigemodi eingerichtet, nämlich ein Raum-Fixmodus und ein Fixmodus für sich bewegende Körper. In diesem Fall bestimmt die Bestimmungseinheit 106 möglicherweise einen beliebigen dieser zwei Anzeigemodi als den Anzeigemodus basierend auf der Benutzerfestlegung. Alternativ bestimmt die Bestimmungseinheit 106 möglicherweise automatisch einen beliebigen dieser zwei Anzeigemodi als einen Anzeigemodus basierend auf dem bestimmten Anzeigebereich (zum Beispiel der Größe des Anzeigebereichs oder dergleichen).
  • Hierbei ist der Raum-Fixmodus ein Modus, in dem der ganze fotografierte Raum durchgehend angezeigt wird. 13 ist eine erläuternde Ansicht, die ein Beispiel für die Anzeige eines Videos zur Zeit der Einstellung des Raum-Fixmodus zeigt. In dem in 13 gezeigten Beispiel wird das Video 446, das mit dem Bewegtbild der gesamten Eiskunstlaufszene korrespondiert, in dem bestimmten Anzeigebereich 440b durchgehend angezeigt.
  • Des Weiteren ist der Fixmodus für sich bewegende Körper ein Modus, in dem ein spezielles sich bewegendes Objekt (zum Beispiel ein Mensch, ein Gesicht, ein Fahrzeug, ein Roboter oder dergleichen) innerhalb des fotografierten Raums durchgehend angezeigt wird. Im Fixmodus für sich bewegende Körper wird zum Beispiel das sich bewegende Objekt, das vom Benutzer festgelegt wurde, im wiederzugebenden Bewegtbild verfolgt, sodass der sich bewegende Körper in dem bestimmten Anzeigebereich durchgehend angezeigt werden kann. Beispielsweise können Begrenzungen wie ein Höchst- und ein Mindestwert mit Bezug zum Wert in jeder Achsenrichtung und zum Bereich des Drehwinkels eingestellt sein. Dann kann in einem Rahmen, in dem vorgegeben ist, dass die Begrenzung überschritten wird, basierend auf den vorab für den Benutzer eingestellten Informationen ein Bereich eines Teils des Rahmens geclippt, die Bewegung des sich bewegenden Körpers wiederholt oder die Position des sich bewegenden Körpers nach hinten geklappt und angezeigt werden.
  • 14 ist ein erläuterndes Schaubild, das ein Beispiel für die Anzeige eines Videos zur Zeit der Einstellung des Fixmodus für sich bewegende Körper zeigt. In dem in 14 gezeigten Beispiel ist zum Beispiel ein Eiskunstläufer in einem Bewegtbild, in dem eine Eiskunstlaufszene (ganz oder teilweise) fotografiert ist, als sich bewegendes Objekt eingestellt, und das Video 448, das den Bildbereich des Eiskunstläufers in dem Bewegtbild enthält, wird in dem bestimmten Anzeigebereich 440c durchgehend angezeigt.
  • (Wiedergabestartzeit)
  • Des Weiteren kann die Bestimmungseinheit 106 auch die Wiedergabestartzeit, zu der die Anzeige des durch das Wiedergabegerät 30 wiederzugebenden Bewegtbilds gestartet wird, basierend auf den vorher bestimmten Kriterien bestimmen. Die Bestimmungseinheit 106 bestimmt zum Beispiel die Wiedergabestartzeit basierend auf einem Erfassungsergebnis (zum Beispiel einem fotografierten Bild oder dergleichen) des Wiedergabegeräts 30. Wenn das korrespondierende Bewegtbild beispielsweise ein Video eines Origami-Vortrags enthält und das Bild, in dem die Hand des Zuschauers/Zuhörers nach vorn bewegt wird, durch die Kamera des Wiedergabegeräts 30 fotografiert wird, kann die Anzeigesteuereinheit 108 die Startzeit des Vortrags im Bewegtbild als die Wiedergabestartzeit bestimmen.
  • {Anzeigesteuereinheit 108}
  • (Anzeige einer Bewegtbild-Site)
  • Die Anzeigesteuereinheit 108 steuert die Anzeige der verschiedenartigen Informationen mit Bezug zum Wiedergabegerät 30. Die Anzeigesteuereinheit 108 kann zum Beispiel auslösen, dass das Wiedergabegerät 30 einen Bildschirm anzeigt, der eine Liste von Bewegtbildern, die mit der Aufnahmeanforderung korrespondieren, basierend auf der vom Wiedergabegerät 30 empfangenen Bewegtbildaufnahmeanforderung zeigt. Beispielsweise führt die Anzeigesteuereinheit 108 eine Suche in der Bewegtbild-DB 124 durch, nutzt hierzu in der empfangenen Aufnahmeanforderung enthaltene Positionsinformationen, Schlüsselwörter oder ähnliche Informationen als Suchschlüssel und löst dann aus, dass das Wiedergabegerät 30 einen Bildschirm anzeigt, der eine Liste von gesuchten Bewegtbildern (zum Beispiel einen Titel, eine Miniaturansicht, Positionsinformationen zur Zeit der Aufzeichnung oder dergleichen für jedes Bewegtbild) zeigt.
  • (Videowiedergabe)
  • Des Weiteren löst die Anzeigesteuereinheit 108 aus, dass das Wiedergabegerät 30 das Video, das mit dem wiederzugebenden Bewegtbild und dem mit dem Bewegtbild assoziierten Tiefenbild korrespondiert, basierend auf der durch die Bestimmungseinheit 106 bestimmten Einstellung bezüglich der Anzeige des Videos anzeigt. Die Anzeigesteuereinheit 108 generiert zum Beispiel zunächst Steuerinformationen zum Anzeigen des Videos im durch die Bestimmungseinheit 106 bestimmten Anzeigebereich des Videos in der bestimmten Anzeigegröße. Dann löst die Anzeigesteuereinheit 108 aus, dass die Kommunikationseinheit 120 das wiederzugebende Bewegtbild, das mit dem Bewegtbild assoziierte Tiefenbild und die Steuerinformationen an das Wiedergabegerät 30 überträgt.
  • (Anpassung der Wiedergabegeschwindigkeit und des Maßstabs)
  • Des Weiteren kann die Anzeigesteuereinheit 108 die Wiedergabegeschwindigkeit und die Wiedergabeposition des korrespondierenden Videos basierend auf den die Situation zur Zeit der Wiedergabe angebenden Daten ändern. Wenn zum Beispiel ein Bild von einer Hand im korrespondierenden Bewegtbild enthalten ist, kann die Anzeigesteuereinheit 108 den Maßstab des korrespondierenden Videos so ändern (Anzeigevergrößerung), dass die Größe der Hand des Zuschauers/Zuhörers, die basierend auf dem durch die Kamera des Wiedergabegeräts 30 fotografierten Bild erkannt wird, und die Größe des Bilds von der Hand im Bewegtbild übereinstimmen. Infolgedessen kann der Zuschauer/Zuhörer die Bewegung der Hand im korrespondierenden Video einfacher verstehen.
  • Darüber hinaus kann die Anzeigesteuereinheit 108 die Wiedergabegeschwindigkeit des Videos basierend auf einem Vergleich zwischen dem im Bild von der Hand erkannten Knochen der Hand und dem Knochen der Hand des Zuschauers/Zuhörers, der durch das Wiedergabegerät 30 basierend auf dem fotografierten Bild erkannt wird, sequenziell so ändern, dass das Ergebnis der Erkennung der Handbewegung des Zuschauers/Zuhörers und die Handbewegung im korrespondierenden Video so weit wie möglich übereinstimmen. Infolgedessen kann zum Beispiel zur Zeit der Wiedergabe des Bewegtbilds, bei der eine Szene, in der eine Reihe von Tätigkeiten unter Nutzung einer Hand durchgeführt werden, immer wenn der Zuschauer/Zuhörer eine Tätigkeit durchführt, das Video, das die Inhalte der nächsten Tätigkeit in der Reihe von Tätigkeiten angibt, sequenziell angezeigt werden.
  • Des Weiteren kann die Anzeigesteuereinheit, wenn das korrespondierende Video ein Video enthält, in dem der Benutzer an einem vorher bestimmten Objekt wie einem Origami-Objekt arbeitet, den Maßstab des korrespondierenden Videos 108 zum Beispiel so ändern, dass das Objekt an der Hand des Zuschauers/Zuhörers (zum Beispiel das in der Hand gehaltene Objekt oder dergleichen), das basierend auf dem durch die Kamera des Wiedergabegeräts 30 fotografierten Bild erkannt wird, und das vorher bestimmte Objekt im korrespondierenden Video gleich groß sind. Infolgedessen kann der Zuschauer/Zuhörer die Situation des Arbeitens an dem vorher bestimmten Objekt einfacher verstehen.
  • (Orientierungsanzeige)
  • Es wird darauf hingewiesen, dass in einer Abwandlung, wenn zum Beispiel die Position und die Lage des Wiedergabegeräts 30 großteils von der Position und der Lage des Aufzeichnungsgeräts 20 zur Zeit des Fotografierens des wiederzugebenden Bewegtbilds abweichen, die Anzeigesteuereinheit 108 zum Beispiel eine Orientierungsanzeige (zum Beispiel ein Pfeilsymbol oder dergleichen) oder einen Hinweis, der die Position oder die Richtung angibt, sodass das Video ein zweckmäßigeres Aussehen hat, im Video einblenden kann und auslöst, dass das Wiedergabegerät 30 das eingeblendete Video anzeigt. Hierbei kann die Orientierungsanzeige eine dem Zuschauer/Zuhörer zur Orientierung dienende Anzeige sein, damit die Position und die Lage des Wiedergabegeräts 30 und die Position und die Lage des Aufzeichnungsgeräts 20 zur Zeit des Fotografierens des Bewegtbilds nah beieinander liegen.
  • (Anzeige von Werbeanzeigen und Kommentaren)
  • Des Weiteren kann die Anzeigesteuereinheit 108 auslösen, dass ein virtuelles Objekt wie eine Werbeanzeige, ein Kommentar, eine Bildunterschrift oder dergleichen zum Beispiel im korrespondierenden Video eingeblendet und auf dem Wiedergabegerät 30 angezeigt wird. Eine Werbeanzeige kann zum Beispiel in einer vorher bestimmten Datenbank (nicht gezeigt) in Assoziierung mit einer Fläche (Wand, Straße oder dergleichen) im realen Raum, in der Luft, einem vorher bestimmten Markierungsdatensatz im realen Raum oder dergleichen im Voraus registriert werden. In diesem Fall extrahiert die Anzeigesteuereinheit 108 zum Beispiel möglicherweise eine Werbeanzeige, die mit den Positionsinformationen und den Lage-Informationen, die vom Wiedergabegerät 30 empfangen werden, korrespondiert, aus der Datenbank, blendet die extrahierte Werbeanzeige dann im korrespondierenden Video ein und löst aus, dass das Wiedergabegerät 30 (dessen Anzeigeeinheit 326) das eingeblendete Video anzeigt. Darüber hinaus kann der Server 10 (dessen Steuereinheit 100) bestimmen, dass die Werbeanzeige, die mit dem Raum assoziiert ist, der mit dem Ergebnis der Detektion der Richtung, in die der Zuschauer/Zuhörer sieht, oder der Sichtlinienrichtung des Zuschauers/Zuhörers korrespondiert, angesehen wird, um die Hitrate, die Hitanzahl oder dergleichen für jede Werbeanzeige zu kalkulieren. Infolgedessen kann das Werbeunternehmen die Werbeanzeigengebühr entsprechend der kalkulierten Hitrate bzw. der kalkulierten Hitanzahl an den Fotografen des korrespondierenden Bewegtbilds oder die Person, die das korrespondierende Bewegtbild veröffentlicht, zahlen.
  • Es wird darauf hingewiesen, dass die Anzeigesteuereinheit 108 in einem abgewandelten Beispiel, wenn vom Benutzer eine beliebige auf der Anzeigeeinheit 326 des Wiedergabegeräts 30 angezeigte Werbeanzeige zum Beispiel basierend auf einer Handgeste, einem Sprachbefehl oder dergleichen ausgewählt wird, möglicherweise auslöst, dass das Wiedergabegerät 30 die Webseite der Website (zum Beispiel die EC-Site oder dergleichen) anzeigt. Infolgedessen kann der Zuschauer/Zuhörer auf die Werbeanzeige bezogene Waren und Dienstleistungen erwerben.
  • Des Weiteren kann der vom Zuschauer/Zuhörer veröffentlichte (gesprochene) Kommentar mit Informationen zur Position des Zuschauers/Zuhörers zur Zeit der Veröffentlichung oder mit dem Raum (bzw. dem Objekt) in der Sichtlinie des Zuschauers/Zuhörers zur Zeit der Veröffentlichung assoziiert und in einer vorher bestimmten Datenbank (nicht gezeigt) registriert werden. In diesem Fall kann die Anzeigesteuereinheit 108 zum Beispiel zum Beispiel den Kommentar, der mit der Richtung, in die der Zuschauer/Zuhörer sieht, oder der Sichtlinienrichtung des Zuschauers/Zuhörers assoziiert ist, vorgeben, den vorgegebenen Kommentar dann im korrespondierenden Video einblenden und auslösen, dass das Wiedergabegerät 30 das eingeblendete Video anzeigt.
  • {Kommunikationseinheit 120}
  • Die Kommunikationseinheit 120 enthält zum Beispiel möglicherweise ein Kommunikationselement 162, wie später noch beschrieben. Die Kommunikationseinheit 120 überträgt und empfängt Informationen mit anderen Geräten. Die Kommunikationseinheit 120 empfängt zum Beispiel das Bewegtbild, das Tiefenbild und die Metainformationen vom Aufzeichnungsgerät 20. Des Weiteren empfängt die Kommunikationseinheit 120 eine Bewegtbildaufnahmeanforderung vom Wiedergabegerät 30. Des Weiteren überträgt die Kommunikationseinheit 120 das Bewegtbild, das Tiefenbild und die Steuerinformationen an das Wiedergabegerät 30 und wird dabei von der Anzeigesteuereinheit 108 gesteuert.
  • {Speichereinheit 122}
  • Die Speichereinheit 122 enthält zum Beispiel möglicherweise ein Speicherelement 160, wie später noch beschrieben. Die Speichereinheit 122 speichert Daten von verschiedenen Typen und Software von verschiedenen Typen. Die Speichereinheit 122 speichert zum Beispiel, wie in 3 gezeigt, die Bewegtbild-DB 124 und die Benutzer-DB 126.
  • Es wird darauf hingewiesen, dass die Konfiguration des Servers 10 gemäß der vorliegenden Ausführungsform nicht auf das oben beschriebene Beispiel begrenzt ist. Zum Beispiel können/kann die Bewegtbild-DB 124 und/oder die Benutzer-DB 126 statt in der Speichereinheit 122 auch in einem anderen, mit dem Kommunikationsnetz 32 verbundenen Gerät (nicht gezeigt) gespeichert sein.
  • <Prozessablauf>
  • Oben wurde die Konfiguration der vorliegenden Ausführungsform beschrieben. Als Nächstes wird unter Bezug auf die 15 und 16 ein beispielhafter Prozessablauf gemäß der vorliegenden Ausführungsform beschrieben. Es wird darauf hingewiesen, dass hier ein beispielhafter Ablauf eines Prozesses in einer Szene beschrieben wird, in der ein Benutzer, der das Wiedergabegerät 30 nutzt, ein im Server 10 registriertes Bewegtbild ansehen möchte.
  • Wie in 15 gezeigt, nimmt die Positionsinformationsaufnahmeeinheit 302 des Wiedergabegeräts 30 zunächst die Informationen zur momentanen Position basierend auf den durch die Positionsinformationsempfangseinheit 322 empfangenen Informationen auf. Des Weiteren nimmt die Detektionsergebnisaufnahmeeinheit 304 die Lage-Informationen des Wiedergabegeräts 30 basierend auf dem Erfassungsergebnis der Sensoreinheit 324 auf (S201).
  • Anschließend nimmt die Detektionsergebnisaufnahmeeinheit 304 das durch die Sensoreinheit 324 erfasste Tiefenbild auf (S203).
  • Wenn zum Beispiel eine Anweisung vom Benutzer erkannt wird, generiert die Bewegtbildaufnahmeeinheit 308 danach eine Bewegtbildaufnahmeanforderung, die die bei S201 aufgenommenen Positionsinformationen und Lage-Informationen und das bei S203 aufgenommene Tiefenbild enthält. Dann überträgt die Kommunikationseinheit 320 die Aufnahmeanforderung an den Server 10 und wird dabei von der Bewegtbildaufnahmeeinheit 308 gesteuert (S205).
  • Danach sucht die Auswahleinheit 104 des Servers 10 ein wiederzugebendes Bewegtbild in der Bewegtbild-DB 124 basierend auf den Positionsinformationen und den Lage-Informationen, die in der bei S205 empfangenen Aufnahmeanforderung enthalten sind (S207). Dann überträgt die Kommunikationseinheit 120 die Liste von Suchergebnissen an das Wiedergabegerät 30 und wird dabei von der Auswahleinheit 104 gesteuert (S209).
  • Danach zeigt die Anzeigeeinheit 326 des Wiedergabegeräts 30 eine Liste der empfangenen Suchergebnisse an und wird dabei von der Anzeigesteuereinheit 310 gesteuert. Die Anzeigeeinheit 326 zeigt zum Beispiel für jedes in der Liste enthaltene Bewegtbild Informationen wie einen Titel und eine Miniaturansicht des Bewegtbilds in Assoziierung mit Positionsinformationen zur Zeit der Aufzeichnung des Bewegtbilds an (S211).
  • Sobald vom Zuschauer/Zuhörer beliebige der Bewegtbilder aus der bei S211 angezeigten Liste ausgewählt worden sind (S213), überträgt die Kommunikationseinheit 320 die Identifizierungsinformationen des ausgewählten Bewegtbilds dann an den Server 10 und wird dabei von der Steuereinheit 300 gesteuert (S215).
  • Danach bestimmt die Auswahleinheit 104 des Servers 10 das Bewegtbild, das mit den empfangenen Identifizierungsinformationen korrespondiert, als das wiederzugebende Bewegtbild (S217).
  • Hier wird unter Bezugnahme auf 16 ein Ablauf einer auf S217 folgenden Verarbeitung beschrieben. Wie in 16 gezeigt, bestimmt die Bestimmungseinheit 106 des Servers 10 eine Vielzahl von in Frage kommenden Anzeigebereichen des Bewegtbilds basierend auf dem Tiefenbild, das in der bei S205 empfangenen Aufnahmeanforderung enthalten ist, und dem wiederzugebenden Bewegtbild, das bei S217 bestimmt wird (S221). Dann überträgt die Kommunikationseinheit 120 alle bestimmten, in Frage kommenden Anzeigebereiche an das Wiedergabegerät 30 und wird dabei von der Bestimmungseinheit 106 gesteuert (S223).
  • Danach zeigt die Anzeigeeinheit 326 des Wiedergabegeräts 30 alle empfangenen, in Frage kommenden Anzeigebereiche an und wird dabei von der Anzeigesteuereinheit 310 gesteuert (S225).
  • Wenn erkannt wird, dass vom Zuschauer/Zuhörer ein beliebiger von allen angezeigten, in Frage kommenden Anzeigebereichen ausgewählt worden ist (S227), überträgt die Kommunikationseinheit 320 die Identifizierungsinformationen des ausgewählten, in Frage kommenden Anzeigebereichs dann an den Server 10 und wird dabei von der Steuereinheit 300 gesteuert (S229).
  • Danach bestimmt die Bestimmungseinheit 106 des Servers 10 den in Frage kommenden Anzeigebereich, der mit den empfangenen Identifizierungsinformationen korrespondiert, als den Anzeigebereich des korrespondierenden Videos (S231). Anschließend bestimmt die Bestimmungseinheit 106 die Anzeigegröße des korrespondierenden Videos gemäß dem bestimmten Anzeigebereich (S233).
  • Anschließend generiert die Anzeigesteuereinheit 108 Steuerinformationen zum Anzeigen des korrespondierenden Videos in der bei S233 bestimmten Anzeigegröße im bei S231 bestimmten Anzeigebereich. Dann überträgt die Kommunikationseinheit 120 das Bewegtbild, das mit dem Bewegtbild assoziierte Tiefenbild und die generierten Steuerinformationen an das Wiedergabegerät 30 (S235).
  • Danach generiert die Anzeigesteuereinheit 310 des Wiedergabegeräts 30 ein Video gemäß dem empfangenen Bewegtbild und dem empfangenen Tiefenbild basierend auf den empfangenen Steuerinformationen und löst dann aus, dass die Anzeigeeinheit 326 das korrespondierende Video anzeigt (S237).
  • <Wirkungen>
  • {Wirkung 1}
  • Wie oben beschrieben, bestimmt der Server 10 gemäß der vorliegenden Ausführungsform die Einstellung bezüglich der Anzeige des Videos, wenn das Video, das mit dem durch das Aufzeichnungsgerät 20 erfassten Tiefenbild korrespondiert, durch das Wiedergabegerät 30 angezeigt wird, basierend auf dem Erfassungsergebnis in dem Raum, in dem sich das Wiedergabegerät 30 befindet. Folglich kann der Server 10 zum Beispiel auslösen, dass das Wiedergabegerät 30 das Video anzeigt, das für den Raum, in dem sich das Wiedergabegerät 30 befindet, optimiert ist.
  • {Wirkung 2}
  • Des Weiteren kann der Zuschauer/Zuhörer gemäß der vorliegenden Ausführungsform frei auswählen, ob er das im Server 10 registrierte Bewegtbild als ein normales 2D-Bewegtbild ansehen, das Bewegtbild als AR erleben oder das Bewegtbild als VR erleben möchte.
  • {Wirkung 3}
  • Des Weiteren kann der Zuschauer/Zuhörer gemäß der vorliegenden Ausführungsform auswählen, ob er die Situation zur Zeit des Fotografierens an dem Ort, an dem das Bewegtbild fotografiert wurde, in einer Wiederholung erleben oder das Bewegtbild statt am fotografierten Ort an einem anderen Ort ansehen möchte. Wenn der Zuschauer/Zuhörer das Erleben in einer Wiederholung ausgewählt hat, kann der Server 10 des Weiteren die Wiedergabegeschwindigkeit und den Maßstab des korrespondierenden Videos in Echtzeit gemäß der Bedienung des Zuschauers/Zuhörers ändern. Folglich kann der Zuschauer/Zuhörer zum Beispiel das im Video enthaltene Bewegtbild noch direkter und detaillierter ansehen.
  • {Wirkung 4}
  • Des Weiteren ist es gemäß der vorliegenden Ausführungsform möglich, ein dreidimensionales Video durch eine Bedienungsprozedur mit Ähnlichkeit zum herkömmlichen Fotografieren von zweidimensionalen Bewegtbildern aufzuzeichnen und wiederzugeben. Des Weiteren ist zum Beispiel eine besondere Umgebung wie eine Punktwolkenregistrierung unnötig.
  • <Anwendungsbeispiele>
  • Als Nächstes werden Anwendungsbeispiele für die vorliegende Ausführungsform in „2-5-1. Anwendungsbeispiel 1“ und „2-5-2. Anwendungsbeispiel 2“ beschrieben.
  • {Anwendungsbeispiel 1}
  • Zunächst wird ein Anwendungsbeispiel 1 für die vorliegende Ausführungsform beschrieben. Dieses Anwendungsbeispiel 1 ist ein Anwendungsbeispiel für eine Szene, in der ein Zuschauer/Zuhörer (Benutzer A) ein Bewegtbild ansieht, das in einem Zustand, in dem auf der Straße am selben Ort Skateboard gefahren wird, fotografiert wird.
  • Zunächst wird davon ausgegangen, dass Benutzer A zum Beispiel eine durch den Server 10 verwaltete Bewegtbild-Site durchsucht, das Bewegtbild auf der Bewegtbild-Site findet und das Bewegtbild dann ansehen möchte. Dann möchte Benutzer A das Bewegtbild mit einem verstärkten Gefühl von Realität ansehen, begibt sich an den Ort, an dem das Bewegtbild fotografiert wurde, setzt das Wiedergabegerät 30 (bei dem es sich um ein lichtdurchlässiges Wearable handelt) dann auf und gibt eine Anweisung zum Wiedergeben des Bewegtbilds.
  • In diesem Fall nimmt die Positionsinformationsaufnahmeeinheit 302 des Wiedergabegeräts 30 die Informationen zur momentanen Position auf. Dann überträgt die Kommunikationseinheit 320 die Bewegtbildaufnahmeanforderung, die die Positionsinformationen enthält, an den Server 10 und wird dabei von der Anzeigesteuereinheit 310 gesteuert.
  • Danach wählt die Auswahleinheit 104 des Servers 10 das Bewegtbild, das mit der empfangenen Aufnahmeanforderung korrespondiert, als das wiederzugebende Bewegtbild aus. Anschließend führt die Anzeigesteuereinheit 108 einen Abgleich zwischen dem Merkmalspunkt, der aus dem durch die Kamera des Wiedergabegeräts 30 fotografierten Bild vorgegeben wird, und dem Merkmalspunkt, der aus dem wiederzugebenden Bewegtbild vorgegeben wird, durch und gibt dann eine empfohlene Wiedergabestelle vor, an der das korrespondierende Bewegtbild in einer zweckmäßigen Weise wiedergegeben wird. Dann löst die Anzeigesteuereinheit 108 aus, dass die Anzeigeeinheit 326 des Wiedergabegeräts 30 eine Markierung, die die Position der vorgegebenen empfohlenen Wiedergabestelle angibt, anzeigt. Es wird darauf hingewiesen, dass in diesem Beispiel davon ausgegangen wird, dass noch ein oder mehrere weitere Bewegtbilder, die gleichzeitig mit dem korrespondierenden Bewegtbild fotografiert wurden, vorhanden sind.
  • Hierbei ist die empfohlene Wiedergabestelle möglicherweise ein Raum, in dem der Beurteilungswert, der angibt, inwieweit das korrespondierende Bewegtbild in einer zweckmäßigen Weise (in dem Raum, in dem sich das Wiedergabegerät 30 befindet) angezeigt wird, mindestens gleich einem jeweiligen Wert ist. Es wird darauf hingewiesen, dass das Beurteilungswertkalkulationsverfahren dem Kalkulationsverfahren zu dem Zeitpunkt, wenn entschieden wird, dass der Datenstrom von der Auswahleinheit 104 ersetzt werden soll (in Abschnitt 2-2 beschrieben), ähnlich sein kann.
  • Danach wollte Benutzer A das Bewegtbild an der empfohlenen Wiedergabestelle, an der die Treppe gut überschaubar ist, ansehen und begab sich dann an die empfohlene Wiedergabestelle. In diesem Fall löst die Anzeigesteuereinheit 108 des Servers 10 aus, dass die Anzeigeeinheit 326 des Wiedergabegeräts 30 eine Orientierungsanzeige, die die bei der Wiedergabe des Bewegtbilds empfohlene Orientierung des Wiedergabegeräts 30 angibt, anzeigt. Wenn Benutzer A die Lage gemäß der Orientierungsanzeige ändert, führt die Anzeigesteuereinheit 108 dann eine Kalibrierung des Bewegtbilds basierend auf dem empfangenen Ergebnis der Detektion der Änderung der Lage des Wiedergabegeräts 30 durch und löst danach aus, dass das Wiedergabegerät 30 das Video, das mit dem Bewegtbild und dem mit dem Bewegtbild assoziierten Tiefenbild korrespondiert, anzeigt.
  • Danach empfand Benutzer A das Ansehen als schwierig, als das Video des Hintergrundabschnitts angezeigt wird, da das Video des Hintergrundabschnitts sich mit der realen Umgebung überdeckt, und Benutzer A legte den Hintergrundabschnitt, der nicht angezeigt werden sollte, zum Beispiel durch einen Sprachbefehl fest. In diesem Fall löst die Anzeigesteuereinheit 108 des Servers 10 aus, dass das Wiedergabegerät 30 basierend auf dem Ergebnis der Objekterkennung, das auf dem durch die Kamera des Wiedergabegeräts 30 fotografierten Bild und dem durch das Wiedergabegerät 30 erfassten Tiefenbild basiert, das Video nur von dem Bereich des Vordergrundabschnitts (also des Skateboardfahrers) auf dem Wiedergabegerät 30 anzeigt.
  • Wenn sich Benutzer A während der Wiedergabe des Videos bewegt, wählt die Auswahleinheit 104 des Servers 10 dann ein anderes, geeigneteres Bewegtbild basierend auf den Positionsinformationen des Wiedergabegeräts 30 nach der Bewegung aus und ersetzt das wiedergegebene Bewegtbild dann durch das andere Bewegtbild. Wenn sich Benutzer A während der Durchführung von Vorgängen wie einer Wiedergabeunterbrechung und einer Einzelbildwiedergabe bewegt, kann Benutzer A des Weiteren die Form des Skateboardfahrers oder dergleichen im Detail prüfen.
  • Es wird darauf hingewiesen, dass in der obigen Beschreibung ein Beispiel beschrieben wird, in dem Benutzer A das Bewegtbild mit nur einer Person ansieht. Die vorliegende Erfindung ist jedoch nicht auf dieses Beispiel begrenzt. Es ist zum Beispiel auch möglich, dass zwei oder mehr Benutzer gleichzeitig das Bewegtbild zusammen zum Beispiel am selben Ort ansehen.
  • {Anwendungsbeispiel 2}
  • Als Nächstes wird ein Anwendungsbeispiel 2 für die vorliegende Ausführungsform beschrieben. Dieses Anwendungsbeispiel 2 ist ein Anwendungsbeispiel für Szenen, in denen ein Benutzer (Benutzer A) ein Bewegtbild von seinem Tanz fotografiert und das Bewegtbild dann auf den Server 10 hochlädt.
  • Zunächst richtet Benutzer A die Kamera des Smartphones (des Aufzeichnungsgeräts 20a) im vorher bestimmten Zimmer auf Benutzer A. Dann fotografiert das Aufzeichnungsgerät 20a das Video von Benutzer A. Des Weiteren fotografierte ein weiterer Benutzer (Benutzer B), der sich im Zimmer befand, Benutzer A durch das übermittelnde Aufzeichnungsgerät 20b, das näher bei Benutzer A war als das Aufzeichnungsgerät 20a. Es wird darauf hingewiesen, dass davon ausgegangen wird, dass das Aufzeichnungsgerät 20b so eingestellt ist, dass es ein Video synchron mit dem Aufzeichnungsgerät 20a fotografiert. Des Weiteren stellt Benutzer A ein, dass das durch das Aufzeichnungsgerät 20a fotografierte Bewegtbild kostenlos und das durch das Aufzeichnungsgerät 20b fotografierte Bewegtbild kostenpflichtig angesehen werden kann.
  • Was die durch das Aufzeichnungsgerät 20a und das Aufzeichnungsgerät 20b fotografierten Bewegtbilder betrifft, stellt Benutzer A des Weiteren nur eine 1 m x 2 m große Fläche auf dem Boden, auf dem Benutzer A tanzt, als Vordergrundraum ein und stellt außerdem ein, dass Videos von anderen Bereichen, die außerhalb des Raums des Vordergrunds liegen, nicht verteilt werden.
  • Danach fand ein weiterer Benutzer C ein durch das Aufzeichnungsgerät 20a fotografiertes Bewegtbild auf der durch den Server 10 verwalteten Bewegtbild-Site, möchte das Bewegtbild kostenlos ansehen und legt dann als Anzeigebereich des Bewegtbilds einen Bereich auf dem Schreibtisch des eigenen Zimmers fest. In diesem Fall bestimmt die Bestimmungseinheit 106 des Servers 10 einen Bereich auf dem Schreibtisch im Zimmer von Benutzer C als den Anzeigebereich des Bewegtbilds basierend auf der Festlegung von Benutzer C und bestimmt dann, dass die Anzeigegröße des Bewegtbilds eine „verkleinerte Größe“ ist. Anschließend löst die Anzeigesteuereinheit 108 aus, dass das von Benutzer C getragene Wiedergabegerät 30a das Video nur vom Vordergrundabschnitt, das aus dem Bewegtbild und dem mit dem Bewegtbild assoziierten Tiefenbild generiert wurde, im Anzeigebereich in der bestimmten Anzeigegröße anzeigt.
  • Des Weiteren löst die Anzeigesteuereinheit 108 aus, dass das Wiedergabegerät 30a ferner Avatare anderer Zuschauer/Zuhörer, die das korrespondierende Video zur selben Zeit ansehen, anzeigt. Infolgedessen kann ein noch stärkeres Gefühl von Realität vermittelt werden. Des Weiteren kann die Anzeigesteuereinheit 108 auslösen, dass das Wiedergabegerät 30a (dessen Anzeigeeinheit 326) die veröffentlichten Informationen ferner immer dann anzeigt, wenn Informationen wie zum Beispiel Audioinformationen, Kommentare oder dergleichen von dem anderen Zuschauer/Zuhörer veröffentlicht werden.
  • Des Weiteren fand noch ein weiterer Benutzer D das durch das Aufzeichnungsgerät 20a fotografierte Video auf der Bewegtbild-Site, möchte das Bewegtbild ansehen und legt dann den Boden seines eigenen Zimmers (dessen Fläche größer als 1 m x 2 m ist) als den Anzeigebereich fest. Des Weiteren möchte Benutzer D das Bewegtbild im Maßstab 1 : 1 wiedergeben und hat einen vorher bestimmten Betrag dafür gezahlt.
  • In diesem Fall bestimmt die Bestimmungseinheit 106 des Servers 10 eine Vielzahl von in Frage kommenden Anzeigebereichen, in denen das Bewegtbild im Maßstab 1 : 1 angezeigt werden kann, basierend auf dem im Zimmer von Benutzer D erfassten Tiefenbild und löst dann aus, dass das im Kopf von Benutzer D getragene Wiedergabegerät 30b (die Anzeigeeinheit 326) die Vielzahl von in Frage kommenden Anzeigebereichen anzeigt. Wenn detektiert wird, dass sich Benutzer D zu irgendeiner Position der Vielzahl von in Frage kommenden Anzeigebereichen hin bewegt hat, bestimmt die Bestimmungseinheit 106 des Servers 10 danach den in Frage kommenden Anzeigebereich, der mit der korrespondierenden Position korrespondiert, als den Anzeigebereich des korrespondierenden Bewegtbilds. Dann löst die Anzeigesteuereinheit 108 aus, dass das Wiedergabegerät 30b (dessen Anzeigeeinheit 326) das Video, das mit dem korrespondierenden Bewegtbild und dem mit dem Bewegtbild assoziierten Tiefenbild korrespondiert, in dem bestimmten Anzeigebereich im Maßstab 1 : 1 anzeigt. Infolgedessen kann Benutzer D das Video mit einem verstärkten Gefühl von Realität ansehen.
  • <<Hardwarekonfiguration >>
  • Oben wurden die Anwendungsbeispiele für diese Ausführungsform beschrieben. Als Nächstes wird die Hardwarekonfiguration des Servers 10 gemäß der vorliegenden Ausführungsform unter Bezug auf 17 beschrieben. Wie in 17 gezeigt, enthält der Server 10 eine CPU 150, einen Festwertspeicher (ROM) 152, einen Arbeitsspeicher (RAM) 154, einen Bus 156, eine Schnittstelle 158, ein Speicherelement 160 und ein Kommunikationselement 162.
  • Die CPU 150 fungiert als Ablaufverarbeitungseinheit und als Steuereinrichtung und steuert im Allgemeinen die Abläufe im Server 10 nach verschiedenen Programmen. Des Weiteren realisiert die CPU 150 die Funktion der Steuereinheit 100 im Server 10. Es wird darauf hingewiesen, dass die CPU 150 einen Prozessor, etwa einen Mikroprozessor, enthält.
  • Der Festwertspeicher 152 speichert Steuerdaten wie Programm- oder Betriebsparameter, die von der CPU 150 genutzt werden, oder dergleichen.
  • Der Arbeitsspeicher 154 speichert temporär zum Beispiel ein von der CPU 150 ausgeführtes Programm, Daten, die gerade verwendet werden, oder dergleichen.
  • Der Bus 156 enthält einen CPU-Bus oder dergleichen. Der Bus 156 verbindet die CPU 150, den Festwertspeicher 152 und den Arbeitsspeicher 154 untereinander.
  • Die Schnittstelle 158 verbindet das Speicherelement 160 und das Kommunikationselement 162 mit dem Bus 156.
  • Das Speicherelement 160 ist ein Element zum Speichern von Daten, das als die Speichereinheit 122 fungiert. Das Speicherelement 160 enthält zum Beispiel ein Speichermedium, ein Aufzeichnungselement, das Daten im Speichermedium aufzeichnet, ein Leseelement, das Daten aus dem Speichermedium ausliest, ein Löschelement, das im Speichermedium aufgezeichnete Daten löscht, oder dergleichen.
  • Das Kommunikationselement 162 ist eine Kommunikationsschnittstelle, die ein Kommunikationselement (zum Beispiel eine Netzkarte oder dergleichen) oder dergleichen zum Beispiel zur Verbindung mit dem Kommunikationsnetz 32 oder dergleichen enthält. Das Kommunikationselement 162 ist des Weiteren möglicherweise ein WLAN-kompatibles Kommunikationselement, ein LTE-kompatibles Kommunikationselement (LTE = Long Term Evolution) oder ein Drahtkommunikationselement, das drahtgebundene Kommunikation durchführt. Das Kommunikationselement 162 fungiert als die Kommunikationseinheit 120.
  • <<Abwandlung>>
  • Obgleich eine bevorzugte Ausführungsform der vorliegenden Offenbarung ausführlich unter Bezug auf die beiliegenden Zeichnungen beschrieben wurde, ist die Offenbarung nicht auf derartige Beispiele begrenzt. Es ist ersichtlich, dass verschiedene Variationen und Abwandlungen im Schutzbereich des in den Ansprüchen beschriebenen Erfindungsgedankens vom Durchschnittsfachmann auf dem Gebiet der Technik, zu dem die vorliegende Offenbarung gehört, erarbeitet werden können, und es versteht sich natürlich, dass diese Variationen und Abwandlungen zum technischen Schutzbereich der vorliegenden Offenbarung gehören.
  • <Abwandlung 1>
  • Wenn zum Beispiel eine Vielzahl von synchron fotografierten Bewegtbildern in der Bewegtbild-DB 124 registriert ist, kann der Server 10 (dessen Auswahleinheit 104) die Vielzahl von Bewegtbildern zusammen als wiederzugebende Bewegtbilder auswählen, und die Anzeigesteuereinheit 108 kann auslösen, dass das Wiedergabegerät 30 (dessen Anzeigeeinheit 326) die Vielzahl von Bewegtbildern gleichzeitig anzeigt. Alternativ kann die Anzeigesteuereinheit 108 auslösen, dass das Wiedergabegerät 30 dreidimensionale Informationen (zum Beispiel Tiefendaten, Punktwolke, Gitter oder dergleichen), die basierend auf der korrespondierenden Vielzahl von Bewegtbildern (statt der Vielzahl von Bewegtbildern) generiert wurden, anzeigt. Bei dieser Abwandlung kann zum Beispiel sogar dann, wenn zur Zeit des Fotografierens des Bewegtbilds die Position und die Lage des Wiedergabegeräts 30 stark von der Position und der Lage des Aufzeichnungsgeräts 20 abweichen, der Bruch in der Zeichnung gering gehalten werden.
  • <Abwandlung 2>
  • Des Weiteren kann der Server 10 (dessen Anzeigesteuereinheit 108) eine Vielzahl von Wiedergabestartzeiten für das (einzelne) Bewegtbild, das als das wiederzugebende Bewegtbild ausgewählt wird, zum Beispiel basierend auf einer Benutzeranweisung einstellen. Dann kann die Anzeigesteuereinheit 108 auslösen, dass die Anzeigeeinheit 326 des Wiedergabegeräts 30 das Bewegtbild zu den Wiedergabestartzeiten gleichzeitig in unterschiedlichen Anzeigebereichen mit Bezug zu jeder der Vielzahl von Wiedergabestartzeiten anzeigt. Das heißt, ein einzelnes Bewegtbild kann mit einer der Vielzahl von Wiedergabestartzeiten entsprechenden Häufigkeit zur selben Zeit wiedergegeben werden. Infolgedessen kann der Zuschauer/Zuhörer die Änderungen oder dergleichen in der Bewegung im Bewegtbild im Detail prüfen, vor allem in der Szene, in der die Form des Athleten geprüft wird, in der Szene, in der das durch die Überwachungskamera fotografierte Bewegtbild geprüft wird, oder dergleichen.
  • <Abwandlung 3>
  • In der oben beschriebenen Ausführungsform wurde des Weiteren ein Beispiel beschrieben, in dem der Server 10 das wiederzugebende Bewegtbild auswählt oder den Anzeigebereich des Bewegtbilds bestimmt, jedoch ist die vorliegende Erfindung nicht auf ein derartiges Beispiel begrenzt. Zum Beispiel kann auch das Wiedergabegerät 30 das wiederzugebende Bewegtbild auswählen oder kann den Anzeigebereich des Bewegtbilds bestimmen. Das heißt, alle oder ein Teil der Funktionen der Auswahleinheit 104, der Bestimmungseinheit 106 und der Anzeigesteuereinheit 108, die oben beschrieben werden, können statt im Server 10 auch im Wiedergabegerät 30 enthalten sein. Des Weiteren kann in diesem Fall das Informationsverarbeitungsgerät gemäß der vorliegenden Offenbarung das Wiedergabegerät 30 sein.
  • Das Wiedergabegerät 30 empfängt beispielsweise zunächst eine Liste von Bewegtbildern, die innerhalb einer vorher bestimmten Entfernung zu den durch die Positionsinformationsaufnahmeeinheit 302 aufgenommenen Positionsinformationen fotografiert wurden, vom Server 10. Wenn zum Beispiel detektiert wird, dass sich das Wiedergabegerät 30 irgendeiner Position der Positionsinformationen, die mit jedem der in der Liste von Bewegtbildern enthaltenen Bewegtbilder assoziiert sind, annähert, kann das Wiedergabegerät 30 das mit den Positionsinformationen assoziierte Bewegtbild dann als das wiederzugebende Bewegtbild bestimmen. Des Weiteren identifiziert das Wiedergabegerät 30 zum Beispiel möglicherweise eine Ebene, einen Merkmalspunkt oder dergleichen im realen Raum, in dem sich das Wiedergabegerät 30 befindet, basierend auf dem durch die Sensoreinheit 324 erfassten Tiefenbild, um den Anzeigebereich des wiederzugebenden Bewegtbilds und die Anzeigegröße des Bewegtbilds zu bestimmen. Dann kann das Wiedergabegerät 30 auslösen, dass die Anzeigeeinheit 326 das Video, das mit dem Bewegtbild und dem mit dem Bewegtbild assoziierten Tiefenbild korrespondiert, in dem bestimmten Anzeigebereich in der bestimmten Anzeigegröße anzeigt.
  • <Abwandlung 4>
  • Des Weiteren ist die Konfiguration des Informationsverarbeitungssystems gemäß der oben beschriebenen Ausführungsform nicht auf das in 1 gezeigte Beispiel begrenzt. In 1 ist zwar nur ein Server 10 gezeigt, jedoch handelt es sich dabei um ein nicht einschränkendes Beispiel, es kann zum Beispiel auch eine Vielzahl von Computern zusammenarbeiten, um die Funktionen des Servers 10 gemäß der vorliegenden Ausführungsform zu realisieren.
  • In der oben beschriebenen Ausführungsform wurde des Weiteren ein Beispiel beschrieben, in dem die Informationsverarbeitungsvorrichtung gemäß der vorliegenden Offenbarung der Server 10 ist, jedoch ist die vorliegende Erfindung nicht auf ein derartiges Beispiel begrenzt. Die Informationsverarbeitungsvorrichtung kann zum Beispiel ein Universal-PC, ein Tablet-Endgerät, ein Spielgerät, ein Mobiltelefon, etwa ein Smartphone, ein tragbarer Musikplayer, ein Roboter oder dergleichen sein.
  • <Abwandlung 5>
  • Des Weiteren müssen die Schritte im Ablauf der Verarbeitung der oben beschriebenen Ausführungsform nicht alle unbedingt in der beschriebenen Reihenfolge verarbeitet werden. Zum Beispiel können alle Schritte auch in einer zweckmäßig abgeänderten Reihenfolge verarbeitet werden. Statt in chronologischer Reihenfolge können alle Schritte außerdem auch zum Teil parallel oder einzeln verarbeitet werden. Des Weiteren können manche der beschriebenen Schritte auch entfallen, oder weitere Schritte können hinzukommen.
  • Des Weiteren ist es gemäß der oben beschriebenen Ausführungsform auch möglich, ein Computerprogramm bereitzustellen, um auszulösen, dass Hardware wie die CPU 150, der Festwertspeicher 152, der Arbeitsspeicher 154 oder dergleichen dieselben Funktionen aufweist wie jede Konfiguration des Servers 10 gemäß der oben beschriebenen Ausführungsform. Des Weiteren wird auch ein Aufzeichnungsmedium, in dem das Computerprogramm aufgezeichnet ist, bereitgestellt.
  • Des Weiteren sind die in dieser Patentschrift beschriebenen Wirkungen rein beispielhaft bzw. exemplarisch und nicht einschränkend. Die Technologie gemäß der vorliegenden Offenbarung kann also noch andere Wirkungen, die für den Fachmann anhand der Beschreibung der vorliegenden Patentschrift ersichtlich sind, zusätzlich zu den oben beschriebenen Wirkungen oder anstelle der oben beschriebenen Wirkungen aufweisen.
  • Es wird darauf hingewiesen, dass die folgende Konfiguration ebenfalls im technischen Schutzbereich der vorliegenden Offenbarung liegt.
    1. (1) Informationsverarbeitungsvorrichtung, enthaltend eine Bestimmungseinheit, die eine Einstellung bezüglich der Anzeige eines Videos, wenn das Video, das mit ersten dreidimensionalen Informationen, die in einem ersten realen Raum erfasst wurden, korrespondiert, in einem zweiten realen Raum angezeigt wird, basierend auf einem Erfassungsergebnis im zweiten realen Raum bestimmt.
    2. (2) Informationsverarbeitungsvorrichtung nach dem oben beschriebenen Abschnitt (1), wobei das Video gemäß einem Bewegtbild, das im ersten realen Raum in Assoziierung mit dem Erfassen der ersten dreidimensionalen Informationen fotografiert wird, und den ersten dreidimensionalen Informationen generiert wird.
    3. (3) Informationsverarbeitungsvorrichtung nach dem oben beschriebenen Abschnitt (2), wobei die Einstellung bezüglich der Anzeige des Videos eine Einstellung bezüglich eines Anzeigebereichs, in dem das Video im zweiten realen Raum angezeigt wird, enthält, die Bestimmungseinheit den Anzeigebereich des Videos basierend auf dem Erfassungsergebnis im zweiten realen Raum bestimmt und eine Anzeigeeinheit im zweiten realen Raum das Video in Assoziierung mit dem Anzeigebereich des Videos anzeigt.
    4. (4) Informationsverarbeitungsvorrichtung nach dem oben beschriebenen Abschnitt (3), wobei das Erfassungsergebnis im zweiten realen Raum zweite dreidimensionale Informationen, die im zweiten realen Raum erfasst wurden, enthält.
    5. (5) Informationsverarbeitungsvorrichtung nach dem oben beschriebenen Abschnitt (4), wobei die Bestimmungseinheit den Anzeigebereich des Videos basierend auf einem Erfassungsergebnis einer Ebene im zweiten realen Raum und einem Erfassungsergebnis in einer vertikalen Richtung im zweiten realen Raum bestimmt.
    6. (6) Informationsverarbeitungsvorrichtung, die in einem der oben beschriebenen Abschnitte (3) bis (5) beschrieben wird, wobei die Bestimmungseinheit eine Vielzahl von in Frage kommenden Anzeigebereichen des Videos im zweiten realen Raum basierend auf dem Erfassungsergebnis im zweiten realen Raum bestimmt, die Informationsverarbeitungsvorrichtung ferner eine Anzeigesteuereinheit, die auslöst, dass die Anzeigeeinheit die Vielzahl von in Frage kommenden Anzeigebereichen des Videos anzeigt, enthält und die Bestimmungseinheit einen in Frage kommenden Anzeigebereich, der für die Auswahl durch einen Benutzer im zweiten realen Raum aus der Vielzahl von in Frage kommenden Anzeigebereichen des Videos bestimmt wird, als den Anzeigebereich des Videos bestimmt.
    7. (7) Informationsverarbeitungsvorrichtung nach einem der oben beschriebenen Abschnitte (3) bis (6), wobei die Bestimmungseinheit, wenn eine Vielzahl von Videos, die mit einer Vielzahl von Elementen dreidimensionaler Informationen, die im ersten realen Raum erfasst wurden, korrespondiert, im zweiten realen Raum angezeigt wird, ferner den Anzeigebereich jedes der Vielzahl von Videos bestimmt, sodass jedes der Vielzahl von Videos in einer vorher bestimmten Positionsbeziehung angezeigt wird.
    8. (8) Informationsverarbeitungsvorrichtung nach einem der oben beschriebenen Abschnitte (3) bis (7), wobei die Einstellung bezüglich der Anzeige des Videos ferner eine Einstellung bezüglich einer Anzeigegröße des Videos enthält.
    9. (9) Informationsverarbeitungsvorrichtung nach dem oben beschriebenen Abschnitt (8), wobei die Bestimmungseinheit die Anzeigegröße des Videos gemäß einer Größe des Anzeigebereichs des Videos bestimmt.
    10. (10) Informationsverarbeitungsvorrichtung nach dem oben beschriebenen Abschnitt (9), wobei die Einstellung bezüglich der Anzeige des Videos ferner eine Einstellung bezüglich einer Wiedergabegeschwindigkeit oder einer Wiedergabestartzeit des Videos enthält.
    11. (11) Informationsverarbeitungsvorrichtung nach einem der oben beschriebenen Abschnitte (9) und (10), wobei die Einstellung bezüglich der Anzeige des Videos ferner eine Einstellung bezüglich eines Anzeigemodus des Videos enthält und die Bestimmungseinheit einen ersten Anzeigemodus, in dem ein Video basierend auf einem vorher bestimmten Raum im ersten realen Raum durchgehend angezeigt wird, oder einen zweiten Anzeigemodus, in dem ein Video basierend auf einem vorher bestimmten sich bewegenden Körper im ersten realen Raum durchgehend angezeigt wird, als Anzeigemodus des Videos basierend auf dem Erfassungsergebnis im zweiten realen Raum bestimmt.
    12. (12) Informationsverarbeitungsvorrichtung nach einem der oben beschriebenen Abschnitte (9) bis (11), die ferner eine Anzeigesteuereinheit, die auslöst, dass die Anzeigeeinheit das Video in Assoziierung mit dem Anzeigebereich des Videos anzeigt, enthält.
    13. (13) Informationsverarbeitungsvorrichtung nach dem oben beschriebenen Abschnitt (12), wobei die Anzeigesteuereinheit auslöst, dass die Anzeigeeinheit das Video in der durch die Bestimmungseinheit bestimmten Anzeigegröße im durch die Bestimmungseinheit bestimmten Anzeigebereich des Videos anzeigt.
    14. (14) Informationsverarbeitungsvorrichtung nach dem oben beschriebenen Abschnitt (13), wobei das Video ein Video ist, das mit einem vorher bestimmten Raum im ersten realen Raum, der ein vorher bestimmtes Objekt enthält, das basierend auf den ersten dreidimensionalen Informationen oder dem Bewegtbild erkannt wird, korrespondiert.
    15. (15) Informationsverarbeitungsvorrichtung nach dem oben beschriebenen Abschnitt (13), wobei das Video ein Video ist, das mit einem vorher bestimmten, von einem Benutzer vorgegebenen Raum im ersten realen Raum korrespondiert.
    16. (16) Informationsverarbeitungsvorrichtung nach einem der oben beschriebenen Abschnitte (13) bis (15), wobei das Erfassungsergebnis im zweiten realen Raum ein im zweiten realen Raum fotografiertes Bild enthält und Farbinformationen des Bewegtbilds basierend auf einem Vergleich zwischen einer Farbtemperatur, die aus dem Bewegtbild vorgegeben wird, und einer Farbtemperatur, die aus dem gewonnenen Bild vorgegeben wird, korrigiert werden und das Video gemäß dem korrigierten Bewegtbild generiert wird.
    17. (17) Informationsverarbeitungsvorrichtung nach einem der oben beschriebenen Abschnitte (2) bis (16), wobei das Erfassungsergebnis im zweiten realen Raum ein Erfassungsergebnis von Positionsinformationen des zweiten realen Raums enthält und das Video ferner gemäß einer Positionsbeziehung zwischen dem ersten realen Raum und dem zweiten realen Raum generiert wird.
    18. (18) Informationsverarbeitungsvorrichtung nach dem oben beschriebenen Abschnitt (17), wobei der erste reale Raum ein Raum ist, der sich in einer eine vorher bestimmten Schwelle nicht überschreitenden Entfernung zum zweiten realen Raum befindet.
    19. (19) Informationsverarbeitungsverfahren, das enthält, dass durch einen Prozessor eine Einstellung bezüglich der Anzeige eines Videos, wenn das Video, das mit ersten dreidimensionalen Informationen, die in einem ersten realen Raum erfasst wurden, korrespondiert, in einem zweiten realen Raum angezeigt wird, basierend auf einem Erfassungsergebnis im zweiten realen Raum bestimmt wird.
    20. (20) Programm, um auszulösen, dass ein Computer als eine Bestimmungseinheit fungiert, die eine Einstellung bezüglich der Anzeige eines Videos, wenn das Video, das mit ersten dreidimensionalen Informationen, die in einem ersten realen Raum erfasst wurden, korrespondiert, in einem zweiten realen Raum angezeigt wird, basierend auf einem Erfassungsergebnis im zweiten realen Raum bestimmt.
  • Bezugszeichenliste
    • 10
    Server
    20
    Aufzeichnungsgerät
    30
    Wiedergabegerät
    32
    Kommunikationsnetz
    100, 300
    Steuereinheit
    102
    Registrierungseinheit
    104
    Auswahleinheit
    106
    Bestimmungsteil
    108, 310
    Anzeigesteuereinheit
    120, 320
    Kommunikationseinheit
    122, 328
    Speichereinheit
    124
    Bewegtbild-DB
    126
    Benutzer-DB
    302
    Positionsinformationsaufnahmeeinheit
    304
    Detektionsergebnisaufnahmeeinheit
    306
    Erkennungseinheit
    308
    Bewegtbildaufnahmeeinheit
    322
    Positionsinformationsempfangseinheit
    324
    Sensoreinheit
    326
    Anzeigeeinheit
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 201490386 [0004]

Claims (20)

  1. Informationsverarbeitungsvorrichtung, umfassend eine Bestimmungseinheit, die eine Einstellung bezüglich der Anzeige eines Videos, wenn das Video, das mit ersten dreidimensionalen Informationen, die in einem ersten realen Raum erfasst wurden, korrespondiert, in einem zweiten realen Raum angezeigt wird, basierend auf einem Erfassungsergebnis im zweiten realen Raum bestimmt.
  2. Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei das Video gemäß einem Bewegtbild, das im ersten realen Raum in Assoziierung mit dem Erfassen der ersten dreidimensionalen Informationen fotografiert wird, und den ersten dreidimensionalen Informationen generiert wird.
  3. Informationsverarbeitungsvorrichtung nach Anspruch 2, wobei die Einstellung bezüglich der Anzeige des Videos eine Einstellung bezüglich eines Anzeigebereichs, in dem das Video im zweiten realen Raum angezeigt wird, enthält, die Bestimmungseinheit den Anzeigebereich des Videos basierend auf dem Erfassungsergebnis im zweiten realen Raum bestimmt und eine Anzeigeeinheit im zweiten realen Raum das Video in Assoziierung mit dem Anzeigebereich des Videos anzeigt.
  4. Informationsverarbeitungsvorrichtung nach Anspruch 3, wobei das Erfassungsergebnis im zweiten realen Raum zweite dreidimensionale Informationen, die im zweiten realen Raum erfasst wurden, enthält.
  5. Informationsverarbeitungsvorrichtung nach Anspruch 4, wobei die Bestimmungseinheit den Anzeigebereich des Videos basierend auf einem Erfassungsergebnis einer Ebene im zweiten realen Raum und einem Erfassungsergebnis in einer vertikalen Richtung im zweiten realen Raum bestimmt.
  6. Informationsverarbeitungsvorrichtung nach Anspruch 3, wobei die Bestimmungseinheit eine Vielzahl von in Frage kommenden Anzeigebereichen des Videos im zweiten realen Raum basierend auf dem Erfassungsergebnis im zweiten realen Raum bestimmt, die Informationsverarbeitungsvorrichtung ferner eine Anzeigesteuereinheit, die auslöst, dass die Anzeigeeinheit die Vielzahl von in Frage kommenden Anzeigebereichen des Videos anzeigt, enthält und die Bestimmungseinheit einen in Frage kommenden Anzeigebereich, der für die Auswahl durch einen Benutzer im zweiten realen Raum aus der Vielzahl von in Frage kommenden Anzeigebereichen des Videos bestimmt wird, als den Anzeigebereich des Videos bestimmt.
  7. Informationsverarbeitungsvorrichtung nach Anspruch 3, wobei die Bestimmungseinheit, wenn eine Vielzahl von Videos, die mit einer Vielzahl von Elementen dreidimensionaler Informationen, die im ersten realen Raum erfasst wurden, korrespondiert, im zweiten realen Raum angezeigt wird, ferner den Anzeigebereich jedes der Vielzahl von Videos bestimmt, sodass jedes der Vielzahl von Videos in einer vorher bestimmten Positionsbeziehung angezeigt wird.
  8. Informationsverarbeitungsvorrichtung nach Anspruch 3, wobei die Einstellung bezüglich der Anzeige des Videos ferner eine Einstellung bezüglich einer Anzeigegröße des Videos enthält.
  9. Informationsverarbeitungsvorrichtung nach Anspruch 8, wobei die Bestimmungseinheit die Anzeigegröße des Videos gemäß einer Größe des Anzeigebereichs des Videos bestimmt.
  10. Informationsverarbeitungsvorrichtung nach Anspruch 9, wobei die Einstellung bezüglich der Anzeige des Videos ferner eine Einstellung bezüglich einer Wiedergabegeschwindigkeit oder einer Wiedergabestartzeit des Videos enthält.
  11. Informationsverarbeitungsvorrichtung nach Anspruch 9, wobei die Einstellung bezüglich der Anzeige des Videos ferner eine Einstellung bezüglich eines Anzeigemodus des Videos enthält und die Bestimmungseinheit einen ersten Anzeigemodus, in dem ein Video basierend auf einem vorher bestimmten Raum im ersten realen Raum durchgehend angezeigt wird, oder einen zweiten Anzeigemodus, in dem ein Video basierend auf einem vorher bestimmten sich bewegenden Körper im ersten realen Raum durchgehend angezeigt wird, als Anzeigemodus des Videos basierend auf dem Erfassungsergebnis im zweiten realen Raum bestimmt.
  12. Informationsverarbeitungsvorrichtung nach Anspruch 9, die ferner eine Anzeigesteuereinheit, die auslöst, dass die Anzeigeeinheit das Video in Assoziierung mit dem Anzeigebereich des Videos anzeigt, umfasst.
  13. Informationsverarbeitungsvorrichtung nach Anspruch 12, wobei die Anzeigesteuereinheit auslöst, dass die Anzeigeeinheit das Video in der durch die Bestimmungseinheit bestimmten Anzeigegröße im durch die Bestimmungseinheit bestimmten Anzeigebereich des Videos anzeigt.
  14. Informationsverarbeitungsvorrichtung nach Anspruch 13, wobei das Video ein Video ist, das mit einem vorher bestimmten Raum im ersten realen Raum, der ein vorher bestimmtes Objekt enthält, das basierend auf den ersten dreidimensionalen Informationen oder dem Bewegtbild erkannt wird, korrespondiert.
  15. Informationsverarbeitungsvorrichtung nach Anspruch 13, wobei das Video ein Video ist, das mit einem vorher bestimmten, von einem Benutzer festgelegten Raum im ersten realen Raum korrespondiert.
  16. Informationsverarbeitungsvorrichtung nach Anspruch 13, wobei das Erfassungsergebnis im zweiten realen Raum ein im zweiten realen Raum fotografiertes Bild enthält und Farbinformationen des Bewegtbilds basierend auf einem Vergleich zwischen einer Farbtemperatur, die aus dem Bewegtbild vorgegeben wird, und einer Farbtemperatur, die aus dem fotografierten Bild vorgegeben wird, korrigiert werden und das Video gemäß dem korrigierten Bewegtbild generiert wird.
  17. Informationsverarbeitungsvorrichtung nach Anspruch 2, wobei das Erfassungsergebnis im zweiten realen Raum ein Erfassungsergebnis von Positionsinformationen des zweiten realen Raums enthält und das Video ferner gemäß einer Positionsbeziehung zwischen dem ersten realen Raum und dem zweiten realen Raum generiert wird.
  18. Informationsverarbeitungsvorrichtung nach Anspruch 17, wobei der erste reale Raum ein Raum ist, der sich in einer eine vorher bestimmte Schwelle nicht überschreitenden Entfernung zum zweiten realen Raum befindet.
  19. Informationsverarbeitungsverfahren, das umfasst, dass durch einen Prozessor eine Einstellung bezüglich der Anzeige eines Videos, wenn das Video, das mit ersten dreidimensionalen Informationen, die in einem ersten realen Raum erfasst wurden, korrespondiert, in einem zweiten realen Raum angezeigt wird, basierend auf einem Erfassungsergebnis im zweiten realen Raum bestimmt wird.
  20. Programm, um auszulösen, dass ein Computer als eine Bestimmungseinheit fungiert, die eine Einstellung bezüglich der Anzeige eines Videos, wenn das Video, das mit ersten dreidimensionalen Informationen, die in einem ersten realen Raum erfasst wurden, korrespondiert, in einem zweiten realen Raum angezeigt wird, basierend auf einem Erfassungsergebnis im zweiten realen Raum bestimmt.
DE112017006836.3T 2017-01-16 2017-10-17 Informationsverarbeitungsgerät, informationsverarbeitungsverfahren und programm Pending DE112017006836T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017005077 2017-01-16
JP2017-005077 2017-01-16
PCT/JP2017/037442 WO2018131238A1 (ja) 2017-01-16 2017-10-17 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
DE112017006836T5 true DE112017006836T5 (de) 2019-09-26

Family

ID=62840130

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112017006836.3T Pending DE112017006836T5 (de) 2017-01-16 2017-10-17 Informationsverarbeitungsgerät, informationsverarbeitungsverfahren und programm

Country Status (6)

Country Link
US (1) US10868977B2 (de)
JP (1) JP6809539B2 (de)
KR (1) KR102355135B1 (de)
CN (1) CN110168615A (de)
DE (1) DE112017006836T5 (de)
WO (1) WO2018131238A1 (de)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3694208A1 (de) * 2019-02-05 2020-08-12 Jerry Nims Verfahren und system zur simulation einer dreidimensionalen bildsequenz
JP7360112B2 (ja) * 2019-09-27 2023-10-12 グリー株式会社 コンピュータプログラム、サーバ装置、端末装置、及び方法
CN111325779B (zh) * 2020-02-07 2020-12-11 贝壳找房(北京)科技有限公司 点云配准方法和装置、电子设备和存储介质
WO2021235316A1 (ja) * 2020-05-21 2021-11-25 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理プログラム
WO2022025296A1 (ja) * 2020-07-31 2022-02-03 株式会社Ｊｖｃケンウッド 表示装置、表示方法及びプログラム
US20220212349A1 (en) * 2021-01-07 2022-07-07 Ford Global Technologies, Llc Method and system for determining sensor placement for a workspace based on robot pose scenarios
CN115240820A (zh) * 2021-04-23 2022-10-25 中强光电股份有限公司 穿戴式装置及基于环境调整显示状态的方法
WO2023079853A1 (ja) * 2021-11-04 2023-05-11 ソニーグループ株式会社 情報処理装置、情報処理方法および記録媒体

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014090386A (ja) 2012-10-31 2014-05-15 Sony Corp 情報処理システム、情報処理装置、およびプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011118834A (ja) * 2009-12-07 2011-06-16 Sony Corp 情報処理装置、情報処理方法およびプログラム
KR101082285B1 (ko) * 2010-01-29 2011-11-09 주식회사 팬택 증강 현실 제공 단말기 및 방법
KR101619512B1 (ko) * 2010-06-14 2016-05-10 주식회사 비즈모델라인 증강현실 장치 간 정보 공유 방법
JP5799521B2 (ja) * 2011-02-15 2015-10-28 ソニー株式会社 情報処理装置、オーサリング方法及びプログラム
US10972680B2 (en) * 2011-03-10 2021-04-06 Microsoft Technology Licensing, Llc Theme-based augmentation of photorepresentative view
JP5594850B2 (ja) * 2012-08-17 2014-09-24 独立行政法人理化学研究所 代替現実システム制御装置、代替現実システム、代替現実システム制御方法、プログラム、および記録媒体
JP6256339B2 (ja) * 2012-09-21 2018-01-10 ソニー株式会社 制御装置および記憶媒体
JP2014149712A (ja) * 2013-02-01 2014-08-21 Sony Corp 情報処理装置、端末装置、情報処理方法及びプログラム
JP2015116336A (ja) * 2013-12-18 2015-06-25 マイクロソフト コーポレーション 複合現実感アリーナ
US10062208B2 (en) * 2015-04-09 2018-08-28 Cinemoi North America, LLC Systems and methods to provide interactive virtual environments
JP6537602B2 (ja) * 2015-05-19 2019-07-03 マクセル株式会社 ヘッドマウントディスプレイ及びヘッドアップディスプレイ

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014090386A (ja) 2012-10-31 2014-05-15 Sony Corp 情報処理システム、情報処理装置、およびプログラム

Also Published As

Publication number Publication date
WO2018131238A1 (ja) 2018-07-19
US20190364224A1 (en) 2019-11-28
KR102355135B1 (ko) 2022-01-26
KR20190107012A (ko) 2019-09-18
CN110168615A (zh) 2019-08-23
JPWO2018131238A1 (ja) 2019-12-12
JP6809539B2 (ja) 2021-01-06
US10868977B2 (en) 2020-12-15

Similar Documents

Publication Publication Date Title
DE112017006836T5 (de) Informationsverarbeitungsgerät, informationsverarbeitungsverfahren und programm
DE102009037835B4 (de) Verfahren zur Darstellung von virtueller Information in einer realen Umgebung
US10089794B2 (en) System and method for defining an augmented reality view in a specific location
EP2491530B1 (de) Bestimmung der pose einer kamera
DE102018207088A1 (de) Bildanalyse ohne marker für augmented reality
DE112018006666T5 (de) Informationsverarbeitungsgerät, informationsverarbeitungsverfahren und programm
EP3410405A1 (de) Verfahren zur darstellung von virtueller information in einer ansicht einer realen umgebung
US20220005283A1 (en) R-snap for production of augmented realities
DE102018106116A1 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm
DE112012001022T5 (de) Ausrichtungssteuerung in einem am Kopf zu tragenden Gerät mit erweiterter Realität
DE102020124815A1 (de) System und vorrichtung für benutzergesteuerte virtuelle kamera für volumetrisches video
WO2018087084A1 (de) Verfahren und vorrichtung zum überlagern eines abbilds einer realen szenerie mit virtuellen bild- und audiodaten und ein mobiles gerät
US20200257121A1 (en) Information processing method, information processing terminal, and computer-readable non-transitory storage medium storing program
JP7247260B2 (ja) データ処理プログラム、データ処理方法、および、データ処理装置
CN107155065A (zh) 一种虚拟拍照装置及方法
DE112017001660T5 (de) Datenverarbeitungseinrichtung, Datenverarbeitungsverfahren und computerlesbares Medium
DE102018106108A1 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm
DE102019107064A1 (de) Anzeigeverfahren, elektronische Vorrichtung und Speichermedium damit
US11961190B2 (en) Content distribution system, content distribution method, and content distribution program
DE112020001867T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und aufzeichnungsmedium
DE112021005303T5 (de) Informationsverarbeitungsgerät, informationsverarbeitungsverfahren und informationsverteilungssystem
JP6999538B2 (ja) 情報処理方法、情報処理プログラム、情報処理システム、および情報処理装置
WO2019157543A1 (de) System zur darstellung und identifikation von markern einer veränderbaren geometrischen abbildung
DE112022001916T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm
JP2020167661A (ja) コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム

Legal Events

Date Code Title Description
R082 Change of representative

Representative=s name: MFG PATENTANWAELTE MEYER-WILDHAGEN MEGGLE-FREU, DE