WO2015182034A1 - 画像撮影方法、画像撮影システム、サーバ、画像撮影装置及び画像撮影プログラム - Google Patents

画像撮影方法、画像撮影システム、サーバ、画像撮影装置及び画像撮影プログラム Download PDF

Info

Publication number
WO2015182034A1
WO2015182034A1 PCT/JP2015/002181 JP2015002181W WO2015182034A1 WO 2015182034 A1 WO2015182034 A1 WO 2015182034A1 JP 2015002181 W JP2015002181 W JP 2015002181W WO 2015182034 A1 WO2015182034 A1 WO 2015182034A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
image
subject
user
video
Prior art date
Application number
PCT/JP2015/002181
Other languages
English (en)
French (fr)
Inventor
陽司 柴原
敏康 杉尾
徹 松延
悠樹 丸山
西　孝啓
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2014254544A external-priority patent/JP5979396B2/ja
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2015182034A1 publication Critical patent/WO2015182034A1/ja
Priority to US15/340,204 priority Critical patent/US10356183B2/en
Priority to US16/431,017 priority patent/US10862977B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention shares a shared image, which is a plurality of images obtained by photographing the same subject with a plurality of cameras, or an image generated from the plurality of images, with a plurality of users of the plurality of cameras.
  • the present invention relates to an image shooting method.
  • Non-patent Document 1 As a method of sharing images (still images and moving images) among people who are present at a travel destination or event participation destination, the server determines that the similarity or position information of the subject is nearby, There is a method of creating a limited temporary sharing group (Patent Document 1). In addition, in an application that integrates images from a plurality of cameras, constructs a virtual reality space, or performs three-dimensional reconstruction of a subject, it is necessary to know the positional relationship between the plurality of cameras (Non-patent Document 1). Further, as a method for estimating a camera position without using a plurality of camera images, there is a method for capturing and estimating blinking of a light emitting element with a camera (Patent Document 2). Further, as a method of correcting the imaging time lag between cameras, there is a method of synchronizing a plurality of cameras based on a specific visual event such as flash illumination or a door opening / closing operation in an image (Patent Document 3).
  • an object of the present invention is to provide an image capturing method or an image capturing system that can suppress an image from being unintentionally diffused more than necessary.
  • a shared image that is a plurality of images obtained by capturing the same subject with a plurality of cameras or an image generated from the plurality of images is stored in the plurality of images.
  • An image capturing method for sharing with a plurality of users of a camera wherein a determination step of determining whether a target camera as one of the plurality of cameras has captured the subject, and the target camera capturing the subject And a permission step of permitting a user of the target camera to view the shared image according to a period during which the target camera captures the subject.
  • the present invention can provide an image capturing method or an image capturing system that can prevent an image from being unintentionally diffused more than necessary.
  • FIG. 1 is an overall configuration diagram according to Embodiment 1.
  • FIG. 3 is a sequence diagram of an image capturing method according to Embodiment 1.
  • FIG. 6 is a sequence diagram of session generation processing according to Embodiment 1.
  • FIG. 4 is a sequence diagram of session participation processing according to Embodiment 1.
  • FIG. 6 is a flowchart of a confirmation process for participation qualification according to the first embodiment. It is a figure which shows the shared image which the user which concerns on Embodiment 1 can browse. It is a figure which shows another example of the shared image which can be browsed by the user which concerns on Embodiment 1.
  • FIG. It is a figure which shows another example of the shared image which can be browsed by the user which concerns on Embodiment 1.
  • FIG. 1 is an overall configuration diagram according to Embodiment 1.
  • FIG. 3 is a sequence diagram of an image capturing method according to Embodiment 1.
  • FIG. 6 is a sequence diagram of session generation processing according to Embodiment 1.
  • FIG. 10 is a sequence diagram of camera position estimation processing for an additional user according to the second embodiment.
  • FIG. 6 is an overhead view of the entire configuration according to Embodiment 2. It is a figure which shows an example of the image image
  • FIG. 10 is a diagram showing an example of a wide-time image according to Embodiment 3. 10 is a diagram illustrating an example of an image at the time of zooming according to Embodiment 3.
  • FIG. 10 is a diagram illustrating a direction estimated from an image at the time of zooming according to a third embodiment.
  • FIG. 10 is a diagram for describing processing for estimating the position of an additional user from a plurality of images according to Embodiment 3.
  • It is a figure which shows the structure of a video information processing system.
  • It is a figure which shows an example of the notification screen displayed at the time of camera starting.
  • 1 is an overall configuration diagram of a content supply system that realizes a content distribution service.
  • 1 is an overall configuration diagram of a digital broadcasting system.
  • It is a figure which shows an example of a smart phone.
  • a process for obtaining a correspondence relationship between a plurality of camera images is performed. In that case, information on the positional relationship (camera position and posture) of the camera is required.
  • the positional relationship of this camera can be obtained by, for example, using feature points in the image, deriving corresponding points between a plurality of camera images, and estimating using the results.
  • the position may not be estimated with sufficient accuracy due to noise or the like.
  • the accuracy of camera position estimation is poor, or when the processing time is long, the accuracy of the derivation of the correspondence obtained by the processing based on the camera positional relationship information is also poor, and the processing time of the processing is also long.
  • the image capturing method and the image capturing system prevent unrestricted shooting and image diffusion by an authentication mechanism on the server side, and provide an easy-to-understand indication that shooting is being performed at the time of shooting. Prevents privacy violations of the subject. Further, the image photographing method and the image photographing system use the camera positional relationship information as a reference value (or initial value of the correspondence derivation processing) of the above-described application by using a method or means different from the conventional method. This improves the accuracy of derivation of correspondence.
  • a shared image that is a plurality of images obtained by capturing the same subject with a plurality of cameras or an image generated from the plurality of images is stored in the plurality of images.
  • An image capturing method for sharing with a plurality of users of a camera wherein a determination step of determining whether a target camera as one of the plurality of cameras has captured the subject, and the target camera capturing the subject And a permission step of permitting a user of the target camera to view the shared image according to a period during which the target camera captures the subject.
  • the image capturing method can prevent a user who has not actually captured the image from browsing the shared image, the image can be prevented from being unintentionally diffused more than necessary.
  • the period during which the target camera has captured the subject is determined, and in the permission step, the target camera is the subject of the plurality of shared images that have been captured or generated in different periods by the user of the target camera. You may permit browsing of the image image
  • the period during which the target camera captures the subject is determined, and the permission step allows the user of the target camera to view the shared image within a period during which it is determined that the target camera has captured the subject. You may allow it.
  • the determination step it may be determined whether the subject camera has photographed the subject according to position information of the subject camera and whether the subject is reflected in an image captured by the target camera.
  • the image photographing method further includes an authentication step of authenticating that a new user participates in a session for sharing the shared image, and participation in which the new user has already participated in the session.
  • An event execution step of performing an event detectable by the camera of the already-used user, and a position estimating step of estimating the position of the new user based on the position of the already-joined user and the event detected by the camera of the already-joined user And may be included.
  • the image capturing method can easily estimate a new user position.
  • the event may be that the new user's camera emits a flash.
  • the event may be that the new user performs a specific action.
  • the image capturing method further includes a session generation step in which the first camera generates a session for sharing the shared image, and the first camera transmits session information regarding the session to the server.
  • the transmission step may include a second transmission step in which the server transmits the session information to a second camera.
  • the image capturing method can notify other users that a session has been created.
  • the server may extract the second camera located in the vicinity of the first camera from a plurality of cameras.
  • the image capturing system provides a shared image that is a plurality of images obtained by capturing the same subject with a plurality of cameras, or an image generated from the plurality of images.
  • the image photographing system can prevent a user who has not actually photographed from browsing the shared image, and thus can suppress unintentionally spreading the image unnecessarily.
  • the server receives a plurality of shared images, which are a plurality of images obtained by photographing the same subject with a plurality of cameras, or an image generated from the plurality of images.
  • the server can prevent a user who has not actually taken a picture from browsing the shared image, it is possible to suppress the image from being unintentionally spread more than necessary.
  • an image capturing device provides a shared image that is a plurality of images obtained by capturing the same subject with a plurality of cameras or an image generated from the plurality of images.
  • An image capturing device included in an image capturing system for sharing among a plurality of users of a plurality of cameras, a target camera that is one of the plurality of cameras, a display unit that displays the shared image, and the sharing A storage unit that holds an image at least temporarily, and when it is determined that the target camera has captured the subject, the shared image is set according to a period during which the target camera has captured the subject. Only during the browsing permission period, the shared image is received from the outside, and the received shared image is held in the storage unit.
  • the image photographing device can prevent a user who has not actually photographed from browsing the shared image, and therefore can suppress the image from being unintentionally diffused more than necessary.
  • Embodiment 1 The present embodiment is roughly divided into a session participation method and a camera calibration method. Hereinafter, these will be described in order.
  • FIG. 1 is a diagram showing a configuration of an image photographing system according to the present embodiment.
  • An image capturing system 100 illustrated in FIG. 1 includes a camera 101 of a session creation user, a camera 102 of a user who participates in the session, and a management server 104.
  • the camera 101 and the camera 102 are not limited to a camera such as a digital still camera or a digital video camera, but may be a terminal incorporating a camera such as a smartphone or a mobile terminal.
  • the camera 101 and the camera 102 are connected to the management server 104 via a network.
  • the cameras 101 and 102 are located in the vicinity of the subject 103 and photograph the subject 103.
  • the subject 103 is not limited to a person or an object, and may be a specific scene such as an athletic meet.
  • FIG. 2 is a diagram showing an overall flow of the image photographing process according to the present embodiment.
  • the operation when the cameras 101, 102A, and 102B exist in the vicinity of the subject 103 will be described.
  • the camera 101 creates a session (S101).
  • the camera 102A participates in the created session (S102).
  • the camera 101 and the camera 102 participating in the session photograph the subject 103 and upload the obtained image (still image or moving image) to the management server 104 (S103).
  • the management server 104 estimates the position and orientation of the camera using the uploaded image and the position information transmitted from the camera (S104). For example, the management server 104 uses feature points in the image, derives corresponding points between a plurality of camera images, and estimates the position and orientation of each camera using the result.
  • the management server 104 generates a shared image using the estimated position and orientation of each camera and the uploaded image (S105).
  • the shared image is a virtual reality or a three-dimensionally reconstructed content generated using the uploaded image.
  • the shared image is not limited to an image (content) generated using the uploaded image, but may be an uploaded image (still image or moving image) itself.
  • the management server 104 distributes the generated shared image to the cameras 101 and 102A participating in the session (S106).
  • the camera 102B newly participates in the session (S107). Thereafter, in the same manner as described above, the cameras 101, 102A, and 102B capture the subject 103 and upload the obtained image to the management server 104 (S108).
  • the management server 104 estimates the position of the newly added camera 102B and the direction of the camera using the image uploaded from each camera, the position information transmitted from the camera 102B, and the like (S109). Details of this processing will be described in Embodiments 2 and 3.
  • the management server 104 generates a shared image using the estimated position and orientation of each camera and the uploaded image (S110).
  • the management server 104 distributes the generated shared image to the cameras 101, 102A, and 102B participating in the session (S111).
  • FIG. 3 is a diagram showing a flow of session creation processing according to the present embodiment.
  • the camera 101 starts the software and performs “create session” in accordance with the operation of a session creation user who is a user who wants to start a session (S201).
  • the camera 101 creates session explanation information in accordance with the operation of the session generation user.
  • the session explanation information is a character indicating what is to be photographed or a reduced image of an image in which the subject 103 is photographed.
  • the camera 101 (the software) transmits the created session explanation information to the management server 104 (S202).
  • the management server 104 detects a camera that can shoot the subject 103 and is present near the subject 103 and has the corresponding software installed, and notifies the camera that the session has been generated. (S203). Note that another user different from the session generation user is referred to as a second user.
  • the management server 104 identifies a camera (terminal) to be notified by a method exemplified below.
  • the management server 104 receives GPS (Global Positioning System) location information, 3G / LTE base station location information, or WiFi (registered trademark) access point location information from a plurality of cameras. Based on the information or the like, another camera within a predetermined distance from the position of the camera 101 is extracted, and session explanation information is transmitted to the extracted camera (participation condition 1). In addition, since another camera or the same subject may be reflected in the video captured by each of the plurality of cameras, the management server 104 performs an image such as feature point matching on the received video captured by the plurality of cameras. By performing the processing, the position information of each camera can be calculated.
  • GPS Global Positioning System
  • 3G / LTE base station location information 3G / LTE base station location information
  • WiFi registered trademark
  • the management server 104 may extract another camera within a predetermined distance from the position of the camera 101 based on the position information calculated by the image processing on the captured image. Furthermore, the management server 104 may perform this position determination using both the position information and the captured video.
  • the management server 104 is another camera that performs near field communication (NFC (Near Field Communication), BlueTooth (registered trademark), WiFi, or the like) with the camera 101, and the corresponding software is installed. Session explanation information is transmitted to the camera (participation condition 2). Specifically, the management server 104 issues a specific code for session identification and transmits the specific code to the camera 101 (software).
  • the specific code is a randomly generated code such as a character string or a numeric string, and is a unique key associated with a session.
  • the camera 101 transmits the specific code to the camera 102 using near field communication.
  • the camera 102 (software) receives the specific code and transmits the specific code to the management server 104.
  • the management server 104 determines that the camera 102 exists near the camera 101 when the session-specific specific code is received via the camera 102.
  • the camera 101 enables the WiFi access point service and notifies the management server 104 of the SSID (Service Set Identifier) of the access point detected by the camera 101.
  • the camera 102 (software) periodically transmits a list of SSIDs of access points detected by the camera 102 to the management server 104. If the SSID that matches the SSID notified from the camera 101 is included in the reception list transmitted from the camera 102, the management server 104 determines that the camera 102 exists near the camera 101, and sends it to the camera 102. Session explanation information is notified (participation condition 3).
  • the management server 104 notifies the camera 102 that there is a session by constructing a WiFi access point of an SSID including a specific character string.
  • the display device of the camera 101 displays a unique key (pass code or URL) for participation in a session using a QR code (registered trademark) or a character string.
  • a QR code registered trademark
  • a character string a unique key for participation in a session using a QR code (registered trademark) or a character string.
  • an application for session participation may be made (participation condition 4).
  • the camera 101 causes the LED for flash photography provided on the back of the camera 101 to blink in a specific pattern.
  • the camera 102 reads the blinking pattern of the LED and transmits the read pattern to the management server 104. If the management server 104 can confirm that the pattern transmitted from the camera 102 matches the blinking pattern of the LED of the camera 101, the management server 104 determines that the camera 102 exists in the vicinity of the camera 101, and stores the session explanation information in the camera 102 is notified (participation condition 5).
  • the back side of the camera means the side opposite to the side where the user is located at the time of shooting, and means the subject side (the side on which the camera lens is provided).
  • the determination of whether or not the session can be notified may be an OR condition or an AND condition obtained by combining a plurality of the determinations of the participation conditions 1 to 5 described above.
  • the session notification may be performed not only at the time of new generation but also periodically. This session notification may be periodically performed from the camera 101 or may be periodically performed from the management server 104.
  • FIG. 4 is a diagram showing a flow of session participation processing according to the present embodiment.
  • the camera 102 receives session list information from the management server 104, and displays the session list information as a list of sessions that can participate (S211).
  • the session list information is created based on session explanation information transmitted from a plurality of cameras.
  • the camera 102 When the second user wishes to participate in the session, the camera 102 performs an operation for selecting the session desired to participate. For example, the second user performs an operation such as pressing a button such as “join”.
  • the second user performs an operation such as pressing a button such as “join”.
  • a user who intends to participate in a session and has not yet participated in the session is referred to as a user who wants to participate.
  • the participation intention of the user who wants to participate is notified to the management server 104 and the camera 101 together with participant information (for example, a name or a thumbnail of a face) indicating the simple identity of the user who wants to participate (S212).
  • participant information for example, a name or a thumbnail of a face
  • the management server 104 and the session generation user determine whether to permit participation of the user who wants to participate in the session (S213 and S214). If participation of the user wishing to participate is approved, the user wishing to participate participates in the session (S215). Further, when participation of a user who wants to participate is denied, the camera 102 is notified of this.
  • Approval determination (S213) by the management server 104 is confirmation for payment in a pay billing service, login authentication in a free member service, filtering for non-service provision to a specific user based on a criminal record, etc. Etc. If the approval determination by the management server 104 is denied, the management server 104 requests that the user who wishes to participate is not qualified to participate in the session as additional information in advance when notifying the session. The user may be notified.
  • the approval determination by the session generation user is an approval that the session generation user individually determines from the name of the user who wants to participate. This approval result is performed, for example, by an operation on the camera 101 by the session generation user. Note that the session generation user may set in advance so as to approve all users who want to participate without going through the approval process by himself / herself.
  • the participant information is transmitted to the camera 101 via the management server 104, but does not have to pass through the camera 101.
  • the order of steps S213 and S214 may be any order.
  • a user who has already participated in a session including a session generation user, is called a joined user, and a camera (terminal) of the joined user is called a joined camera.
  • Session explanation information exists within a predetermined distance from the average position or the position of the center of gravity of the position information of a plurality of participating cameras, or the position of the subject 103 derived for virtual reality or three-dimensional reconstruction.
  • the camera may be notified (derivation of participation condition 1).
  • the session explanation information may be notified to a camera that is performing near field communication with any of the participating cameras.
  • the session explanation information may be notified to a camera that is performing near field communication with a plurality of cameras among the joined cameras (derivation of participation condition 2).
  • all the joined cameras notify the management server 104 of the SSID of the WiFi access point detected by themselves, and the SSID reception list transmitted from the camera 102 includes the SSIDs of a plurality of joined users.
  • the session explanation information may be notified to the second user (derivation of participation condition 3).
  • the display device of any of the joined cameras displays a unique key (pass code or URL, etc.) for session participation as a QR code (registered trademark) or a character string.
  • a unique key for session participation as a QR code (registered trademark) or a character string.
  • any camera that has participated blinks the LED for flash photography provided on the back of the camera in a specific pattern.
  • the camera 102 reads the blinking pattern of the LED and transmits the read pattern to the management server 104.
  • the management server 104 confirms that the pattern transmitted from the camera 102 matches the blinking pattern of the LED of the joined camera, the management server 104 determines that the camera 102 exists in the vicinity of the joined camera, and the session description Information may be notified to the camera 102 (derivation of participation condition 5).
  • the session description information is notified to the camera 102 not only when any of the cameras and the above conditions are satisfied, but also when a plurality of cameras and the above conditions are satisfied. May be. As a result, participation in an erroneous session due to noise or information leakage (sending of a passcode to a remote location) can be suppressed.
  • the participation intention of the user who wants to participate and the participant information may be notified not only to the session generation user but also to all the users who have already participated.
  • each camera may cause the flash LED of the camera to blink in a specific pattern during shooting. Thereby, since it can show to the circumference that the camera is photographing, it can suppress that a sneak shot etc. are performed.
  • the blinking cycle may be synchronized. Thereby, users participating in the same session can be easily identified. Note that such a state that can be identified by the user is not limited to a method using a flash LED, but may be a method used by another display device visible from the surroundings.
  • FIG. 5 is a flowchart of this determination process.
  • the management server 104 periodically determines whether the participating camera is photographing the subject 103 to be photographed in the session (S301). Specifically, the management server 104 resembles an image captured by a camera (hereinafter referred to as a target camera) of a determination target participating user (hereinafter referred to as a target user) and an image captured by another participating camera. Calculate the degree. The management server 104 determines that the target user is photographing the subject 103 when the calculated similarity is high. Alternatively, the management server 104 calculates the degree of coincidence between a model three-dimensionally reconstructed from images taken by a plurality of participating users and an image taken by the target camera. The management server 104 determines that the target user is photographing the subject 103 when the calculated degree of coincidence is high.
  • the management server 104 determines whether the target user (target camera) is located near the subject 103 (S302). Specifically, the management server 104 confirms the participation condition. Note that the management server 104 may determine whether the direction of the target camera is in the direction of the subject 103 in addition to the position of the target camera.
  • the management server 104 determines whether the target camera is (1) not shooting the subject 103 for a predetermined time, (2) not being in the vicinity of the subject 103 for a predetermined time, or (3) If the direction of the subject 103 is not turned for a predetermined time, it is determined that the target user should be removed from the session (No in S303). Then, the management server 104 notifies the target camera to that effect, and causes the target user to leave the session (S305).
  • the management server 104 When the management server 104 first determines that the target user should be left, the management server 104 notifies only the warning to the target user, and when the management server 104 determines that the target user should be left multiple times in succession, You may leave the target user.
  • the management server 104 updates the photographing result information of the target user (S304), and again performs a participation qualification confirmation process (after S301) after a certain time.
  • the imaging result information is information indicating a period (result period) in which the target user has participated in the session.
  • This condition includes, for example, leaving or shooting in another direction being less than a predetermined rate, or that the cumulative shooting period exceeds a predetermined period such as 30 minutes.
  • the participation conditions may be determined according to the shooting and derived as the actual period.
  • the target user For the target user to leave, a plurality of images taken by a plurality of participating users during the performance period in which the target user participated in the session, or a virtual reality generated using these images
  • the right to view or download the content applying space or three-dimensional reconstruction from the management server 104 is given for a certain period of time.
  • the target user is not given the right to receive content generated during a time period when the target user is not participating in the session. Thereby, the spreading
  • FIG. 6 is a diagram illustrating an example of a shared image that can be browsed by the target user and a period when the shared image can be browsed.
  • the target user participates in the session during the period from time t1 to t2 and performs shooting.
  • the management server 104 permits the target user to browse the shared image that has been shot or generated from time t1 to time t2. Further, the target user can view (download) the shared image in a period from time t1 to t2 during session participation and in a period T0 (time t2 to t3) after leaving the session.
  • the period T0 that appears to be shorter than the actual period is described, but there is no intention to limit the period T0 to a period shorter than the actual period. Rather, the period T0 is usually one week or one month, etc. Often much longer than the session itself.
  • the target user includes a plurality of images taken by a plurality of participating users only during a period in which the target user participates in the session, or an image generated using these images (virtual reality space).
  • browsing (downloading) of content that applies 3D reconstruction may be permitted.
  • the performance period exceeds the specified time, images taken outside the performance period, or all images from the start to the end of the session, corresponding to the past from the start of the session to the time before joining the session or the future after leaving the session.
  • the configuration may be such that browsing (downloading) of images during the period is permitted.
  • the target user can browse only the shared images taken or generated at that time only during participation in the session, and cannot view the shared images taken or generated in the past. That is, the configuration may be such that the target user can view only the shared image generated in real time.
  • the target user's terminal displays an image being shot by the target user and an image being shot by another user in real time by screen division or the like.
  • the management server 104 captures or generates, for the target user, during the period in which the target user participates in the session, from the time the session is created to the period in which the target user participates in the session. Allows viewing of all images that have been uploaded.
  • the target user can view images captured by other users from the time of session creation to the current time in addition to images captured by other users in real time.
  • the management server 104 periodically evaluates the participation conditions of the target user (target camera), and if the participation conditions are not satisfied for a predetermined time, the management server 104 similarly leaves the target user from the session.
  • processing for the application of virtual reality space or three-dimensional reconstruction is performed by a computer with high processing capacity, a virtual computer that operates on the computer, or a cloud computer that operates in a distributed manner by a plurality of computers.
  • the management server 104 is also realized by a similar device.
  • a part of the procedure performed by the management server 104 may be performed on the camera 101 (terminal) of the session generation user or other participating cameras.
  • the image capturing system has a shared image that is a plurality of images obtained by capturing the same subject with a plurality of cameras, or an image generated from a plurality of images. It is a system for sharing with a plurality of users of a plurality of cameras, and performs the processing shown in FIG.
  • the image capturing system determines whether the target camera, which is one of a plurality of cameras, has captured the subject 103 (S401). Specifically, the image capturing system determines whether the target camera has captured the subject 103 based on the position information of the target camera and whether the subject 103 is reflected in the image captured by the target camera. More specifically, in the image capturing system, the position of the target camera is located in the vicinity of the subject 103 or another camera participating in the session, and the subject 103 is reflected in an image captured by the target camera. In this case, it is determined that the target camera has photographed the subject 103.
  • the image capturing system permits the target camera user to view the shared image according to the period during which the target camera has captured the subject 103 ( S403).
  • the image capturing system does not permit the user of the target camera to view the shared image (S404).
  • the image capturing system determines a period during which the target camera has captured the subject 103, and the user of the target camera has a plurality of shared images captured or generated during different periods. The user is permitted to view an image captured during a period in which it is determined that the target camera has captured the subject 103 or an image generated from the image.
  • the image capturing system periodically determines whether the target camera has captured the subject, and within the period in which it is determined that the target camera has captured the subject, Allows users to view shared images.
  • the image capturing system may permit the user of the target camera to view the shared image when the period in which it is determined that the target camera has captured the subject is longer than a predetermined period. Further, when the target camera shoots the subject for a certain period (X) and then shoots again for a certain period (Y), the total period (X + Y) may be taken as the period during which the target camera shoots the subject. Good.
  • the image photographing system can suppress the image from being unintentionally diffused more than necessary.
  • the first camera 101 generates a session for sharing the shared image (S201), and the first camera 101 has session explanation information (session information) regarding the session. Is transmitted to the management server 104 (S202).
  • the management server 104 extracts the second camera 102 located in the vicinity of the first camera 101 from the plurality of cameras (S203), and transmits the session explanation information to the second camera 102.
  • the image capturing system can notify only a camera in the vicinity of the subject 103 that a session has been generated.
  • the present invention may be realized as an image capturing apparatus including a server or the camera included in the image capturing system.
  • the image capturing apparatus includes a target camera that is one of a plurality of cameras included in the image capturing system, a display unit that displays a shared image, and a memory that at least temporarily holds the shared image.
  • the shared camera receives the shared image from the outside only during the shared image browsing permission period set according to the period in which the target camera has shot the subject. The received shared image is held in the storage unit.
  • FIG. 10 is a diagram showing a flow of position estimation processing according to the present embodiment.
  • the management server 104 requests an additional user to generate a video event. For example, the management server 104 requests the additional user's camera 105 to emit a flash (S501). In response to the request, the additional user generates a video event. For example, the camera 105 blinks a flash LED provided on the back surface of the camera 105 (S502).
  • a user who has already participated in the session (referred to as an existing user) is photographing the subject 103. Therefore, the camera of the existing user captures the video event (flash light of the camera 105) of the additional user that may be somewhere around the subject 103 in some area of the captured image.
  • images captured by the existing user's camera continue to be transmitted to the management server 104.
  • the management server 104 searches for a video event (flash) from images taken in the vicinity of the timing when the video event (flash) is requested from the camera 105 (S503).
  • the management server 104 estimates the direction of the video event with respect to the position of the existing user (S504). Specifically, in the image captured by the camera of the existing user, when the flash is reflected on the right side of the screen, the management server 104 determines that the camera of the additional user exists in the right direction of the camera of the existing user. . When the flash is shown on the left side of the screen, the management server 104 determines that the camera of the additional user exists in the left direction of the camera of the existing user. When the flash is reflected on the upper side of the screen, the management server 104 determines that the camera of the additional user exists on the upper floor of the building or the like and exists above the camera of the existing user. When the flash is reflected on the lower side of the screen, it is determined that the camera of the existing user exists on the floor and the camera of the additional user exists below the camera of the existing user.
  • the management server 104 estimates the position of the additional user's camera based on the position and orientation of the camera of the existing user who captured the image and the estimation result of the direction of the video event with respect to the camera of the existing user (S505). ).
  • the above position estimation is an estimation in a rough range.
  • the management server 104 can estimate the camera position more reliably and finely by statistically processing the estimation results of a plurality of existing users (for example, average).
  • FIG. 11 is an image viewed from the zenith, and the top of the drawing is north.
  • the first existing user's camera 106A is photographing the subject 103 on the north side of the subject 103 located in the center
  • the second existing user's camera 106B is photographing the subject 103 on the east side of the subject 103.
  • the additional user's camera 105 is located on the south side of the subject 103 and blinks the flash 107 in response to a request from the management server 104.
  • FIG. 12 shows an image taken by the camera 106A of the first existing user in this case.
  • FIG. 13 shows an image taken by the camera 106B of the second existing user.
  • the subject 103 in the image taken by the camera 106A of the first existing user, the subject 103 is shown in the center of the image, and the flash 107 is located beyond that (the same position in the left-right direction). It is reflected.
  • the subject 103 in the image of the camera 106B of the second existing user, the subject 103 is shown in the center of the screen, and the flash 107 is shown on the left side of the screen.
  • the management server 104 estimates the exact position and direction of the camera 105 by performing a matching process using the rough estimation result of the position and direction of the camera 105 obtained above. Specifically, the management server 104 uses the rough estimation result obtained above as a reference value or an initial value.
  • the management server 104 performs a process of searching for a flash from an image immediately after transmitting a flash request signal to the additional user's camera 105, for example. Note that there may be a delay from the reception of the flash request signal until the flash of the camera 105 actually emits light. Therefore, when the flash is emitted, the camera 105 notifies the management server 104 of the actual light emission timing, and the management server 104 is photographed by the camera of the existing user in the time zone around the actual light emission timing. The flash light may be searched from the image.
  • the video event may be an event that can be captured by the additional user's camera or microphone.
  • the example in which the light emitting unit that emits the flash is provided on the back surface of the terminal (camera) has been described, but this light emitting unit is an antenna-like light emitting unit provided on the upper side of the terminal. There may be.
  • the light emitting unit may be a simple display device provided on the back surface of the terminal. In this case, the simple display device displays a special video pattern as a video event.
  • the additional user's camera 105 includes a main display device on the front surface, and the main display device displays a special video pattern as a video event.
  • the camera 105 may be held so that it can be seen.
  • the camera 105 (software operating on the camera 105) instructs the additional user to hold it in this way.
  • the back side of the terminal is the side opposite to the side where the user is located at the time of shooting, and means the subject side (the side on which the camera lens is provided).
  • the front surface of the terminal (camera) is the side where the user is located at the time of shooting, and is the opposite side to the subject side (the side where the camera lens is provided).
  • the additional user may perform a special action (for example, raising a hand or waving a hand) without using the light emitting unit and the display device.
  • the camera 105 (software) instructs the additional user as to what action should be taken as a video event.
  • an audio event may be used instead of a video event.
  • the additional user's camera 105 may generate a sound of a specific pattern from a speaker of the camera 105 as an audio event.
  • the cameras of a plurality of existing users collect this sound with the microphones of the cameras.
  • the management server 104 uses the triangulation method to add the camera 105 of the additional user based on the sound intensity acquired by the microphones of the cameras of the existing users. Is estimated.
  • the management server 104 estimates the direction of the sound source from the information obtained by this camera, and combines the estimation result with the sound collection result of another existing user. The position of 105 may be estimated.
  • face recognition may be used instead of a video event.
  • the management server 104 possesses an additional user's face image.
  • the additional user's camera 105 transmits the additional user's face image to the management server 104 when he / she wants to join the session.
  • the management server 104 may estimate the position of the additional user (camera 105) by performing face recognition on an image captured by an existing user's camera using the possessed face image.
  • the cameras of a plurality of existing users transmit the communication strength of near field communication (NFC, BlueTooth (registered trademark), WiFi, or the like) between the camera and the additional user's camera 105 to the management server 104, and the management server 104
  • the position of the additional user's camera 105 may be estimated by a triangulation method.
  • the camera of the existing user may measure the distance between the camera and the flash and transmit the measurement result to the management server 104.
  • the management server 104 uses the received measurement result for position estimation of the additional user.
  • the management server 104 may perform the camera position estimation process on the participating camera.
  • the image capturing system authenticates that a new user (additional user) participates in a session for sharing a shared image (S213 and S214 in FIG. 4). Further, as shown in FIG. 10, the image capturing system performs an event that a new user can detect with a joined camera already participating in a session (S502), and the position of the joined user and the joined camera. The position of a new user is estimated based on the event detected in (S503 to S505). For example, the event is that a new user's camera emits a flash. Alternatively, the event is a new user performing a specific action.
  • the image capturing system can easily estimate the position of the new user.
  • FIG. 14 shows an example of a camera image when the camera enlargement / reduction setting is wide.
  • FIG. 15 shows an example of a camera image when the camera enlargement / reduction setting is zoom.
  • the management server 104 divides an image taken by a camera into three in the horizontal direction as shown in the figure.
  • the center is a direction C region
  • the left side is a direction L region
  • the right side is a direction R region.
  • the management server 104 estimates in which direction around the camera the video event is located according to the area in the image where the video event is detected.
  • 16 and 17 are diagrams showing the relationship between the above-described areas and the corresponding directions. This correspondence changes according to enlargement / reduction, and also changes according to the device characteristics of the camera. As illustrated in FIGS. 15 and 17, when the enlargement / reduction setting is zoom, the management server 104 estimates that the video event has occurred in one of the directions relatively close to the front direction.
  • each camera transmits information indicating the enlargement / reduction setting (zoom magnification) to the management server 104 at the time of uploading the image.
  • the management server 104 determines the enlargement / reduction setting at the time of image capture using the received information.
  • FIG. 18 is a diagram illustrating an example in which the cameras 106A to 106C of three existing users are used. It is assumed that the position information (position and orientation (orientation)) of the three cameras 106A to 106C is known.
  • the management server 104 estimates that the additional user's camera is present in the area 121A in the front direction. Since the flash is detected in the left direction in the screen of the image captured by the camera 106B, the management server 104 estimates that the camera of the additional user exists in the left direction area 121B. Since the flash is detected in the center area in the left-right direction in the screen of the image captured by the camera 106C, the management server 104 estimates that the additional user's camera is present in the area 121C in the front direction. The management server 104 estimates that the camera of the additional user exists in the area 122 where the three estimated areas 121A to 121C overlap most.
  • each processing unit included in each apparatus included in the image capturing system is typically realized as an LSI that is an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them.
  • circuits are not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor.
  • An FPGA Field Programmable Gate Array
  • reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • each component may be configured by dedicated hardware or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • each device included in the image capturing system includes a processing circuit and a storage device (storage) electrically connected to the processing circuit (accessible from the processing circuit).
  • the processing circuit includes at least one of dedicated hardware and a program execution unit.
  • the storage device stores a software program executed by the program execution unit. The processing circuit executes the predicted image generation method, the encoding method, or the decoding method according to the above embodiment using the storage device.
  • the present invention may be the software program or a non-transitory computer-readable recording medium on which the program is recorded.
  • the program can be distributed via a transmission medium such as the Internet.
  • the order in which the steps included in the above-described image capturing method are executed is for illustration in order to specifically describe the present invention, and may be in an order other than the above. Also, some of the above steps may be executed simultaneously (in parallel) with other steps.
  • the prediction image generation device As described above, the prediction image generation device, the encoding device, and the decoding device according to one or more aspects of the present invention have been described based on the embodiment. However, the present invention is not limited to this embodiment. Absent. Unless it deviates from the gist of the present invention, the embodiment in which various modifications conceived by those skilled in the art have been made in the present embodiment, and forms constructed by combining components in different embodiments are also applicable to one or more of the present invention. It may be included within the scope of the embodiments.
  • a surveillance system implemented in a security camera in a store or a factory, an in-vehicle camera in a police, or Traffic information system using own camera or each on-vehicle camera or camera provided on road, (3) Environmental survey or delivery system using remote control or automatic control device such as drone, and (4) Entertainment
  • the present invention can be applied to a content transmission / reception system such as a video using an installation camera in a facility or a stadium, a mobile camera such as a drone, or a personally owned camera.
  • FIG. 19 is a diagram showing a configuration of the video information processing system ex100 in the present embodiment. In this embodiment, an example of preventing the generation of blind spots and an example of prohibiting photographing in a specific area will be described.
  • a video information processing system ex100 illustrated in FIG. 19 includes a video information processing device ex101, a plurality of cameras ex102, and a video reception device ex103. Note that the video receiving device ex103 is not necessarily included in the video information processing system ex100.
  • the video information processing apparatus ex101 includes a storage unit ex111 and an analysis unit ex112.
  • Each of the N cameras ex102 has a function of capturing video and a function of transmitting captured video data to the video information processing apparatus ex101.
  • the camera ex102 may have a function of displaying an image being shot.
  • the camera ex102 converts the captured video signal into HEVC or H.264.
  • the encoded information may be encoded using an encoding method such as H.264 and transmitted to the video information processing apparatus ex101, or unencoded video data may be transmitted to the video information processing apparatus ex101.
  • each camera ex102 is a fixed camera such as a surveillance camera, a moving camera mounted on an unmanned flight type radio control or a car, or a user camera possessed by the user.
  • the moving camera receives the instruction signal transmitted from the video information processing apparatus ex101, and changes the position or shooting direction of the moving camera itself according to the received instruction signal.
  • the time of the plurality of cameras ex102 is calibrated using the time information of the server or the reference camera, etc. before the disclosure of photographing. Further, the spatial positions of the plurality of cameras ex102 are calibrated based on how the objects in the space to be imaged are captured or relative positions from the reference camera.
  • the storage unit ex111 included in the information processing apparatus ex101 stores video data transmitted from the N cameras ex102.
  • the analysis unit ex112 detects a blind spot from the video data stored in the storage unit ex111, and transmits an instruction signal indicating an instruction to the mobile camera for preventing the generation of the blind spot to the mobile camera.
  • the moving camera moves in accordance with the instruction signal and continues shooting.
  • the analysis unit ex112 performs blind spot detection using, for example, SfM (Structure from Motion).
  • SfM is a technique for restoring the three-dimensional shape of a subject from a plurality of videos taken from different positions, and is widely known as a shape restoration technique for simultaneously estimating the subject shape and the camera position.
  • the analysis unit ex112 restores the three-dimensional shape in the facility or the stadium from the video data saved in the saving unit ex111 using SfM, and detects an area that cannot be restored as a blind spot.
  • the analysis unit ex112 may perform SfM using these known information. Further, when the position and shooting direction of the moving camera can be acquired by a GPS and an angle sensor provided in the moving camera, the moving camera transmits information on the position and shooting direction of the moving camera to the analysis unit ex112, and the analysis unit The ex 112 may perform SfM using the transmitted position and shooting direction information.
  • the method of detecting the blind spot is not limited to the method using SfM described above.
  • the analysis unit ex112 may grasp the spatial distance of the object to be imaged by using information of a depth sensor such as a laser range finder.
  • the analysis unit ex112 detects information such as a camera position, a shooting direction, and a zoom magnification from an image that includes a preset marker or a specific object in the space, or the size of the marker or the like. Also good.
  • the analysis unit ex112 performs blind spot detection using an arbitrary method capable of detecting the imaging region of each camera.
  • the analysis unit ex112 acquires information such as a mutual positional relationship for a plurality of imaging targets from video data or a proximity distance sensor, and identifies an area where a blind spot is likely to occur based on the acquired positional relationship. May be.
  • the blind spot includes not only a portion where an image does not exist in a region to be photographed, but also a portion having a poor image quality compared to other portions and a portion where a predetermined image quality is not obtained.
  • This detection target portion may be set as appropriate according to the configuration or purpose of the system. For example, the required image quality may be set high for a specific subject in the space where the image is taken. Conversely, for a specific area in the shooting space, the required image quality may be set low, or it may be set not to be determined as a blind spot even if no video is shot.
  • the above-mentioned image quality includes various information related to the video such as the area occupied by the subject to be photographed in the video (for example, the number of pixels) or whether the subject to be photographed is in focus. Whether or not it is a blind spot may be determined based on the information or the combination thereof.
  • a region that needs to be detected in order to prevent the generation of a blind spot is not limited to a region that is actually a blind spot.
  • the analysis unit ex112 detects movements of a plurality of shooting targets from, for example, shot video data and the like, and based on the detected movements of the plurality of shooting targets and position information of the camera ex102, a new blind spot and It is also possible to estimate a possible region.
  • the video information processing apparatus ex101 may transmit an instruction signal to the moving camera so as to capture an area that may become a blind spot, and prevent the generation of a blind spot.
  • the video information processing apparatus ex101 needs to select a moving camera that transmits an instruction signal in order to capture a blind spot or an area that may become a blind spot.
  • the video information processing apparatus ex101 determines which dead spots or areas that may become blind spots for each of the plurality of moving cameras. It is necessary to decide whether to shoot. For example, the video information processing apparatus ex101 selects a moving camera that is closest to the blind spot or the area that is the blind spot based on the blind spot or the area that may be the blind spot and the position of the area that each moving camera is capturing. To do. Further, the video information processing apparatus ex101 determines, for each moving camera, whether or not a blind spot is newly generated when the moving camera cannot obtain the video data currently being shot. If it is not obtained, a moving camera determined not to generate a blind spot may be selected.
  • the video information processing apparatus ex101 can prevent the generation of a blind spot by detecting a blind spot and transmitting an instruction signal to the moving camera so as to prevent the blind spot.
  • the instruction signal may be a signal for instructing the user of the user camera to move.
  • the user camera displays an instruction image that instructs the user to change the direction of the camera based on the instruction signal.
  • the user camera may display an instruction image indicating a movement route on a map as an instruction to move the user.
  • the user camera may display detailed shooting instructions such as shooting direction, angle, angle of view, image quality, and movement of the shooting area in order to improve the quality of the acquired image. If control is possible on the ex101 side, the video information processing apparatus ex101 may automatically control the feature amount of the camera ex102 regarding such shooting.
  • the user camera is, for example, a smartphone, a tablet terminal, a wearable terminal, or an HMD (Head Mounted Display) held by a spectator in the stadium or a guard in the facility.
  • HMD Head Mounted Display
  • the display terminal that displays the instruction image need not be the same as the user camera that captures the video data.
  • the user camera may transmit an instruction signal or an instruction image to a display terminal associated with the user camera in advance, and the display terminal may display the instruction image.
  • information on the display terminal corresponding to the user camera may be registered in advance in the video information processing apparatus ex101.
  • the video information processing apparatus ex101 may display the instruction image on the display terminal by directly transmitting the instruction signal to the display terminal corresponding to the user camera.
  • the analysis unit ex112 may generate a free viewpoint video (three-dimensional reconstruction data) by restoring the three-dimensional shape in the facility or the stadium from the video data stored in the storage unit ex111 using, for example, SfM. Good.
  • This free viewpoint video is stored in the storage unit ex111.
  • the video information processing apparatus ex101 reads video data corresponding to the visual field information (and / or viewpoint information) transmitted from the video reception apparatus ex103 from the storage unit ex111 and transmits the video data to the video reception apparatus ex103.
  • the video reception device ex103 may be one of the plurality of cameras 111.
  • the video information processing apparatus ex101 may detect a shooting prohibited area.
  • the analysis unit ex112 analyzes the photographed image, and transmits a photographing prohibition signal to the moving camera when the mobile camera is photographing the photographing prohibition region.
  • the mobile camera stops shooting while receiving the shooting prohibition signal.
  • the analysis unit ex112 matches the three-dimensional virtual space restored using SfM with the captured image, thereby determining whether the mobile camera set in advance in the space is capturing the prohibited image area. judge.
  • the analysis unit ex112 determines whether the moving camera is shooting the shooting prohibited area using a marker or a characteristic object arranged in the space as a trigger.
  • the photographing prohibited area is, for example, a toilet in a facility or a stadium.
  • the user camera when the user camera is shooting a shooting prohibited area, the user camera displays a message on a display or the like connected wirelessly or by wire, or outputs a sound or sound from a speaker or an earphone.
  • the user may be informed that the current location is a shooting prohibited location.
  • the shooting prohibited area and the current shooting area are shown on the displayed map.
  • the resumption of photographing is automatically performed when, for example, the photographing prohibition signal is not output.
  • photographing may be resumed when the photographing prohibition signal is not output and the user performs an operation to resume photographing.
  • calibration may be performed again.
  • notification for confirming the current position or prompting the user to move may be performed.
  • a passcode or fingerprint authentication that turns off such a function for recording may be used.
  • image processing such as mosaicing may be automatically performed when a video in the photographing prohibited area is displayed or stored outside.
  • the video information processing apparatus ex101 can determine that shooting is prohibited and notify the user to stop shooting, thereby setting a certain region to shooting prohibited.
  • the video information processing system ex100 sets an incentive for the user who transferred the shot video.
  • the video information processing apparatus ex101 delivers a video value to a user who has transferred video at a free or discounted rate, a monetary value that can be used in an online or offline store or game, a game, etc. Points that have non-monetary value such as social status in virtual space.
  • the video information processing apparatus ex101 gives a particularly high point to a user who has transferred a captured video of a valuable field of view (and / or viewpoint) such as many requests.
  • the video information processing apparatus ex101 may transmit additional information to the user camera based on the analysis result of the analysis unit ex112. In this case, the user camera superimposes additional information on the captured video and displays it on the screen.
  • the additional information is, for example, information on players such as a player name or height when a game in a stadium is being shot, and the name or face photo of the player is associated with each player in the video. Is displayed.
  • the video information processing apparatus ex101 may extract additional information by searching via the Internet based on part or all of the video data area.
  • the camera ex102 receives such additional information by short-range wireless communication including Bluetooth (registered trademark) or visible light communication from lighting such as a stadium, and maps the received additional information to video data. Also good.
  • the camera ex102 is a table in which this mapping is stored in a storage unit connected to the camera ex102 by wire or wirelessly, and shows a correspondence relationship between information obtained by visible light communication technology and additional information, etc. It may be performed based on a certain rule of the above, or may be performed using the most probable combination result by Internet search.
  • the monitoring system for example, information of a caution person is superimposed on a user camera held by a guard in the facility, so that the monitoring system can be highly accurate.
  • the analysis unit ex112 may determine which area in the facility or stadium the user camera is capturing by matching the free viewpoint image and the captured image of the user camera. Note that the imaging region determination method is not limited to this, and various imaging region determination methods or other imaging region determination methods described in the above-described embodiments may be used.
  • the video information processing apparatus ex101 transmits the past video to the user camera based on the analysis result of the analysis unit ex112.
  • the user camera displays the past video on the screen by superimposing the past video on the shot video or replacing the shot video with the past video.
  • the highlight scene of the first half is displayed as a past video. Accordingly, the user can enjoy the highlight scene of the first half as a video in the direction in which he / she is viewing during the halftime.
  • the past video is not limited to the highlight scene in the first half, but may be a highlight scene of a past game held at the stadium.
  • the timing at which the video information processing apparatus ex101 delivers the past video is not limited to half time, and may be, for example, after the match or during the match. Particularly during a game, based on the analysis result of the analysis unit ex112, the video information processing apparatus ex101 may deliver a scene that is considered important and missed by the user.
  • the video information processing apparatus ex101 may distribute the past video only when requested by the user, or may distribute a distribution permission message before the past video is distributed.
  • the video information processing apparatus ex101 may transmit advertisement information to the user camera based on the analysis result of the analysis unit ex112.
  • the user camera superimposes advertisement information on the captured video and displays it on the screen.
  • the advertisement information may be distributed immediately before the past video distribution during the half time or after the match, as shown in, for example, Modification 5. Accordingly, the distributor can obtain an advertisement fee from the advertiser, and can provide a video distribution service to the user at a low cost or free of charge.
  • the video information processing apparatus ex101 may distribute an advertisement distribution permission message immediately before distribution of the advertisement information, may provide a service for free only when the user views the advertisement, or views the advertisement. Service may be provided at a lower cost than when not.
  • the system or the staff who knows the location of the user based on some location information or the automatic delivery system of the venue will bring the ordered drink to the seat Will deliver.
  • the decision may be handed to the staff or may be made based on credit card information set in advance in the mobile terminal application or the like.
  • the advertisement may include a link to an e-commerce site, and online shopping such as normal home delivery may be possible.
  • the video receiving device ex103 may be one of the cameras ex102 (user camera).
  • the analysis unit ex112 determines which area in the facility or stadium the user camera is shooting by matching the free viewpoint video and the video shot by the user camera. Note that the method for determining the imaging region is not limited to this.
  • the user camera when the user performs a swipe operation in the direction of the arrow displayed on the screen, the user camera generates viewpoint information indicating that the viewpoint is moved in that direction.
  • the video information processing apparatus ex101 reads the video data obtained by shooting the area moved by the viewpoint information from the shooting area of the user camera determined by the analysis unit ex112 from the storage unit ex111, and transmits the video data to the user camera. Start.
  • the user camera displays the video distributed from the video information processing apparatus ex101 instead of the captured video.
  • the users in the facility or the stadium can view the video from a favorite viewpoint with a simple operation like a screen swipe.
  • a spectator watching on the third base side of a baseball field can view a video from the first base side viewpoint.
  • the security guards in the facility can watch the video that should be watched as an interrupt from the viewpoint or the center that they want to confirm by a simple operation like a screen swipe while changing the viewpoint appropriately. Therefore, it is possible to increase the accuracy of the monitoring system.
  • the user camera may switch and display the video of a part of the shooting area of the user camera including the obstacle from the shot video to the distribution video from the video information processing apparatus ex101.
  • the entire screen may be switched from the captured video to the distributed video and displayed.
  • the user camera may display an image in which the object to be viewed is seen through the obstacle by combining the captured image and the distribution image. According to this configuration, it is possible to view the video distributed from the video information processing apparatus ex101 even when the shooting target cannot be seen from the position of the user due to the influence of the obstacle, so that the influence of the obstacle can be reduced. it can.
  • the distribution video is displayed as a video of an area that cannot be seen due to an obstacle
  • display switching control different from the display switching control according to the input process by the user such as the screen swipe described above, may be performed.
  • the display from the shot video to the distribution video is performed. Switching may be performed automatically.
  • display switching from the shot video to the distribution video may be automatically performed.
  • the display switching to the distribution video may be automatically performed.
  • the display switching from the captured video to the distribution video and the display switching from the distribution video to the captured video may be performed in accordance with the user input processing.
  • Modification 9 The speed at which the video data is transferred to the video information processing apparatus ex101 may be instructed based on the importance of the video data captured by each camera ex102.
  • the analysis unit ex112 determines the importance of the video data stored in the storage unit ex111 or the camera ex102 that captured the video data.
  • the determination of the importance is performed based on, for example, information such as the number of people or moving objects included in the video, the image quality of the video data, or a combination thereof.
  • the determination of the importance of the video data may be based on the position of the camera ex102 where the video data is shot or the area where the video data is shot. For example, when there are a plurality of other cameras ex102 being shot near the target camera ex102, the importance of the video data shot by the target camera ex102 is reduced. In addition, even when the position of the target camera ex102 is far from the other camera ex102, when there are a plurality of other cameras ex102 shooting the same area, the importance of the video data shot by the target camera ex102 is set. make low.
  • the determination of the importance of the video data may be performed based on the number of requests in the video distribution service.
  • the importance determination method is not limited to the method described above or a combination thereof, and may be any method according to the configuration or purpose of the monitoring system or the video distribution system.
  • the determination of the importance may not be based on the captured video data.
  • the importance of the camera ex102 that transmits video data to a terminal other than the video information processing apparatus ex101 may be set high.
  • the importance of the camera ex102 that transmits video data to a terminal other than the video information processing apparatus ex101 may be set low.
  • the analysis unit ex112 may determine the importance of the video data using the free viewpoint video and the video shot by the camera ex102.
  • the video information processing apparatus ex101 transmits a communication speed instruction signal to the camera ex102 based on the importance determination result performed by the analysis unit ex112. For example, the video information processing apparatus ex101 instructs a high communication speed to the camera ex102 that captures a video with high importance. Further, the video information processing apparatus ex101 may transmit not only the speed control but also a signal instructing a method in which important information is transmitted a plurality of times in order to reduce a disadvantage caused by the lack. Thereby, communication within the facility or the entire stadium can be performed efficiently. Communication between the camera ex102 and the video information processing apparatus ex101 may be wired communication or wireless communication. The video information processing apparatus ex101 may control only one of wired communication and wireless communication.
  • the camera ex102 transmits the captured video data to the video information processing apparatus ex101 at a communication speed according to the communication speed instruction signal. Note that if the retransmission of the camera ex102 fails a predetermined number of times, the camera ex102 may stop the retransmission of the captured video data and start the transfer of the next captured video data. As a result, communication within the facility or the entire stadium can be efficiently performed, and high-speed processing in the analysis unit ex112 can be realized.
  • the video data of the bit rate capable of transmitting the captured video data at the assigned communication speed may be transmitted, or the video data transfer may be stopped.
  • the camera ex102 when video data is used to prevent the generation of blind spots, only a part of the shooting area included in the captured video data may be necessary to fill the blind spots. There is sex.
  • the camera ex102 generates the extracted video data by extracting at least the area necessary for preventing the generation of the blind spot from the video data, and the generated extracted video data is used as the video information processing apparatus. You may transmit to ex101. According to this configuration, the occurrence of blind spots can be suppressed with a smaller communication band.
  • the camera ex102 needs to transmit the position information of the camera ex102 and the shooting direction information to the video information processing apparatus ex101.
  • the camera ex102 to which only a bandwidth that is not sufficient for transferring the video data may be transmitted, only the position information detected by the camera ex102 and the information on the shooting direction.
  • the video information processing apparatus ex101 estimates position information and shooting direction information of the camera ex102
  • the camera ex102 converts the shot video data to a resolution necessary for estimating the position information and shooting direction information.
  • the converted video data may be transmitted to the video information processing apparatus ex101.
  • the video information processing apparatus ex101 can acquire shooting area information from a larger number of cameras ex102, for example, when the shooting area information is used for the purpose of detecting a focused area, for example. It is valid.
  • the switching of the video data transfer process according to the allocated communication band described above may be performed by the camera ex102 based on the notified communication band, or the video information processing apparatus ex101 performs the operation of each camera ex102.
  • the control signal indicating the determined operation may be notified to each camera ex102.
  • the processing can be appropriately shared according to the calculation amount necessary for determining the switching of the operation, the processing capability of the camera ex102, the necessary communication band, and the like.
  • the analysis unit ex112 may determine the importance of the video data based on the visual field information (and / or viewpoint information) transmitted from the video reception device ex103. For example, the analysis unit ex112 sets the importance of captured video data including many areas indicated by the visual field information (and / or viewpoint information) to be high. The analysis unit ex112 may determine the importance of the video data in consideration of the number of people included in the video or the number of moving objects. Note that the importance determination method is not limited to this.
  • the communication control method described in the present embodiment is not necessarily used in a system that reconstructs a three-dimensional shape from a plurality of video data.
  • the communication control method described in the present embodiment is It is valid.
  • the video information processing apparatus ex101 may transmit an overview video showing the entire shooting scene to the video receiving apparatus ex103.
  • the video information processing apparatus ex101 when the video information processing apparatus ex101 receives the distribution request transmitted from the video receiving apparatus ex103, the video information processing apparatus ex101 reads an overview video of the entire facility or stadium from the storage unit ex111, and the external video is received by the video receiving apparatus. send to ex103.
  • the overview video may have a long update interval (may be a low frame rate) or may have a low image quality.
  • the viewer touches a portion to be seen in the overview video displayed on the screen of the video receiving device ex103. Accordingly, the video reception device ex103 transmits visual field information (and / or viewpoint information) corresponding to the touched portion to the video information processing device ex101.
  • the video information processing apparatus ex101 reads video data corresponding to the visual field information (and / or viewpoint information) from the storage unit ex111, and transmits the video data to the video receiving apparatus ex103.
  • the analysis unit ex112 generates a free viewpoint video by preferentially restoring the three-dimensional shape (three-dimensional reconstruction) on the region indicated by the visual field information (and / or viewpoint information).
  • the analysis unit ex112 restores the three-dimensional shape of the entire facility or the stadium with an accuracy that shows an overview.
  • the video information processing apparatus ex101 can efficiently restore the three-dimensional shape. As a result, it is possible to realize a high frame rate and high image quality of a free viewpoint video in an area desired by the viewer.
  • the video information processing apparatus ex101 may store in advance, for example, three-dimensional shape restoration data of a facility or a stadium generated in advance from a design drawing or the like as a preliminary video.
  • the prior image is not limited to this, and may be virtual space data obtained by mapping, for each object, the unevenness of the space obtained from the depth sensor and the picture derived from the image or the image data at the past or during calibration.
  • the analysis unit ex112 when soccer is being performed in a stadium, the analysis unit ex112 performs reconstruction of a three-dimensional shape limited to only players and balls, and combines the obtained restoration data and a prior image to generate a free viewpoint video. May be generated.
  • the analysis unit ex112 may preferentially restore the three-dimensional shape with respect to the player and the ball.
  • the video information processing apparatus ex101 can efficiently restore the three-dimensional shape.
  • the analysis unit ex112 may perform the reconstruction of the three-dimensional shape by limiting to only the person and the moving object or giving priority to them.
  • the time of each device may be calibrated at the start of shooting based on the reference time of the server.
  • the analysis unit ex112 uses a plurality of video data captured at a time that falls within a preset time range according to the accuracy of time setting among a plurality of captured video data captured by the plurality of cameras ex102. 3D shape restoration. For the detection of this time, for example, the time when the captured video data is stored in the storage unit ex111 is used. The time detection method is not limited to this. As a result, the video information processing apparatus ex101 can efficiently restore the three-dimensional shape, thereby realizing a high frame rate and high image quality of the free viewpoint video.
  • the analysis unit ex112 may restore the three-dimensional shape using only the high-quality data or using the high-quality data preferentially among the plurality of video data stored in the storage unit ex111. .
  • the analysis unit ex112 may restore the three-dimensional shape using the camera attribute information.
  • the camera ex102 transmits the captured video data and camera attribute information to the video information processing apparatus ex101.
  • the camera attribute information is, for example, a shooting position, a shooting angle, a shooting time, or a zoom magnification.
  • the video information processing apparatus ex101 can efficiently restore the three-dimensional shape, it is possible to realize a high frame rate and high image quality of the free viewpoint video.
  • the camera ex102 defines three-dimensional coordinates in the facility or in the stadium, and information about which coordinates the camera ex102 took from which angle, how much zoom, and at what time, along with the video. It transmits to the video information processing apparatus ex101 as camera attribute information. Further, when the camera ex102 is activated, the clock on the communication network in the facility or stadium is synchronized with the clock in the camera, and time information is generated.
  • FIG. 20 is a diagram illustrating an example of a notification displayed on the screen of the camera ex102 when the camera ex102 is activated.
  • the camera ex102 is moved from the camera ex102.
  • the vector information up to the advertisement is acquired and the reference of the camera position and angle is specified.
  • the camera coordinates and angle at that time are specified from the motion information of the camera ex102.
  • the display is not limited to this, and a display that uses an arrow or the like to indicate coordinates, an angle, a moving speed of the imaging region, or the like during the imaging period may be used.
  • the coordinates of the camera ex102 may be specified using GPS, WiFi (registered trademark), 3G, LTE (Long Term Evolution), and 5G (wireless LAN) radio waves, or a beacon (Bluetooth (registered trademark)). , Ultrasonic), or the like. Further, information on which base station in the facility or stadium the captured video data has reached may be used.
  • the system may be provided as an application that operates on a mobile terminal such as a smartphone.
  • An account such as various SNSs may be used to log in to the system.
  • An application-dedicated account or a guest account with limited functions may be used.
  • By using the account in this way it is possible to evaluate a favorite video or a favorite account.
  • video data having a viewpoint similar to the viewpoint of the video data being shot or viewed the resolution of these video data Can be increased. Thereby, it is possible to restore the three-dimensional shape from these viewpoints with higher accuracy.
  • the user can select a preferred image video in the application and follow the other party, so that the selected image can be viewed with priority over other users, or can be used for text chat, etc., subject to the other party's approval. You can have a connection. In this way, a new community can be generated.
  • the user can edit an image or video taken by another person or create a new image or video by collaging the image of another person with his own image.
  • This makes it possible to share a new video work, such as sharing a new image or video only with people in the community.
  • a video work can be used for augmented reality games by inserting a CG character in this editing.
  • 3D model data can be sequentially output, so that a 3D printer or the like of a facility can output a 3D object based on 3D model data in a characteristic scene such as a goal scene. .
  • a 3D printer or the like of a facility can output a 3D object based on 3D model data in a characteristic scene such as a goal scene.
  • an object based on the scene during the game can be sold as a souvenir such as a key holder, or distributed to participating users.
  • the center identifies areas where there is a high possibility of crimes based on crime maps based on the results of analysis using past crime data, etc., or areas related to the crime occurrence probability identified in this way Holds data.
  • the frequency of image transmission / reception may be increased, or the image may be changed to a moving image.
  • a moving image or three-dimensional reconstruction data using SfM or the like may be used.
  • the center or each terminal simultaneously corrects an image or virtual space using information from other sensors such as a depth sensor or a thermo sensor, so that the police officer can grasp the situation more accurately.
  • the center can feed back the object information to a plurality of terminals by using the 3D reconstruction data. This allows individuals with each terminal to track the object.
  • an in-vehicle camera that takes pictures outside the vehicle is obligatory in some countries. Even in such an in-vehicle camera, by using three-dimensional data modeled from a plurality of images, it is possible to more accurately grasp the weather in the direction of the destination, the state of the road surface, the degree of traffic congestion, and the like.
  • the storage medium may be any medium that can record a program, such as a magnetic disk, an optical disk, a magneto-optical disk, an IC card, and a semiconductor memory.
  • the system includes an apparatus using an image processing method.
  • Other configurations in the system can be appropriately changed according to circumstances.
  • FIG. 21 is a diagram showing an overall configuration of a content supply system ex200 that realizes a content distribution service.
  • the communication service providing area is divided into desired sizes, and base stations ex206, ex207, ex208, ex209, and ex210, which are fixed wireless stations, are installed in each cell.
  • This content supply system ex200 includes a computer ex211, a PDA (Personal Digital Assistant) ex212, a camera ex213, a smartphone ex214, a game machine ex215, etc. via the Internet ex201, the Internet service provider ex202, the communication network ex204, and the base stations ex206 to ex210. Are connected.
  • a PDA Personal Digital Assistant
  • each device may be directly connected to a communication network ex204 such as a telephone line, cable television, or optical communication without going through the base stations ex206 to ex210 which are fixed wireless stations.
  • the devices may be directly connected to each other via short-range wireless or the like.
  • the camera ex213 is a device that can shoot a moving image such as a digital video camera
  • the camera ex216 is a device that can shoot a still image and a moving image such as a digital camera.
  • the smartphone ex214 is a GSM (registered trademark) (Global System for Mobile Communications) method, a CDMA (Code Division Multiple Access) method, a W-CDMA (Wideband-Code Division MultipleL method, or a Multiple Acceleration method).
  • GSM Global System for Mobile Communications
  • CDMA Code Division Multiple Access
  • W-CDMA Wideband-Code Division MultipleL method
  • Multiple Acceleration method a Multiple Acceleration method
  • HSPA High Speed Packet Access
  • a smartphone corresponding to a communication method using a high frequency band or a PHS (Personal Handyphone System)
  • PHS Personal Handyphone System
  • the camera ex213 and the like are connected to the streaming server ex203 through the base station ex209 and the communication network ex204, thereby enabling live distribution and the like.
  • live distribution content (for example, music live video) that the user captures using the camera ex213 is encoded and transmitted to the streaming server ex203.
  • the streaming server ex203 streams the content data transmitted to the requested client.
  • the client include a computer ex211, a PDA ex212, a camera ex213, a smartphone ex214, and a game machine ex215 that can decode the encoded data.
  • Each device that receives the distributed data decodes the received data and reproduces it.
  • the encoded processing of the captured data may be performed by the camera ex213, the streaming server ex203 that performs the data transmission processing, or may be performed in a shared manner.
  • the decryption processing of the distributed data may be performed by the client, the streaming server ex203, or may be performed in common with each other.
  • still images and / or moving image data captured by the camera ex216 may be transmitted to the streaming server ex203 via the computer ex211.
  • the encoding process in this case may be performed by any of the camera ex216, the computer ex211, and the streaming server ex203, or may be performed in a shared manner.
  • a plurality of devices connected to the system may be linked to display the same image, or the entire image is displayed on a device having a large display unit, and the smartphone ex214 or the like displays the image. A part of the area may be enlarged and displayed.
  • these encoding / decoding processes are generally performed in the computer ex211 and the LSI ex500 included in each device.
  • the LSI ex500 may be configured as a single chip or a plurality of chips.
  • moving image encoding / decoding software is incorporated into some recording media (CD-ROM, flexible disk, hard disk, etc.) that can be read by the computer ex211 etc., and encoding / decoding processing is performed using the software. May be.
  • moving image data acquired by the camera may be transmitted. The moving image data at this time is data encoded by the LSI ex500 included in the smartphone ex214.
  • the streaming server ex203 may be a plurality of servers or a plurality of computers, and may process, record, and distribute data in a distributed manner.
  • the client can receive and reproduce the encoded data.
  • the information transmitted by the user can be received, decrypted and reproduced by the client in real time, and even a user who does not have special rights or facilities can realize personal broadcasting.
  • multiplexed data obtained by multiplexing music data and the like on video data is transmitted to a communication or satellite ex302 via radio waves.
  • This video data is data encoded by the moving image encoding method described in the above embodiments.
  • the broadcasting satellite ex302 transmits a radio wave for broadcasting, and this radio wave is received by a home antenna ex304 capable of receiving satellite broadcasting.
  • the received multiplexed data is decoded and reproduced by a device such as the television (receiver) ex400 or the set top box (STB) ex317.
  • a recording medium ex315 such as DVD or BD, or a memory ex316 such as SD
  • encodes a video signal in the recording medium ex315 or memory ex316 and in some cases, a music signal
  • the moving picture decoding apparatus or moving picture encoding apparatus described in each of the above embodiments in the reader / recorder ex318 that writes in a multiplexed manner.
  • the reproduced video signal is displayed on the monitor ex319, and the video signal can be reproduced in another device or system by the recording medium ex315 in which the multiplexed data is recorded or the memory ex316.
  • a moving picture decoding apparatus may be mounted in a set-top box ex317 connected to a cable ex303 for cable television or an antenna ex304 for satellite / terrestrial broadcasting, and this may be displayed on a monitor ex319 of the television.
  • the moving picture decoding apparatus may be incorporated in the television instead of the set top box.
  • FIG. 23 is a diagram showing the smartphone ex214.
  • FIG. 24 is a diagram illustrating a configuration example of the smartphone ex214.
  • the smartphone ex214 includes an antenna ex450 for transmitting and receiving radio waves to and from the base station ex210, a camera unit ex465 that can take a video and a still image, a video captured by the camera unit ex465, a video received by the antenna ex450, and the like.
  • a display unit ex458 such as a liquid crystal display for displaying the decrypted data is provided.
  • the smartphone ex214 further includes an operation unit ex466 such as a touch panel, an audio output unit ex457 such as a speaker for outputting audio, an audio input unit ex456 such as a microphone for inputting audio, a captured video, a still image , A memory portion ex467 capable of storing encoded data or decoded data such as recorded audio, received video, still image, mail, or the like, or the memory ex316 illustrated in FIG. And a slot part ex464 which is an interface part with the SIMex 468 for authenticating access to various data including the network.
  • an operation unit ex466 such as a touch panel
  • an audio output unit ex457 such as a speaker for outputting audio
  • an audio input unit ex456 such as a microphone for inputting audio
  • a memory portion ex467 capable of storing encoded data or decoded data such as recorded audio, received video, still image, mail, or the like, or the memory ex316 illustrated in FIG.
  • a slot part ex464 which is an interface part with the SIMex 468
  • the smartphone ex214 controls the power supply circuit ex461, the operation input control unit ex462, the video signal processing unit ex455, the camera interface unit ex463, the LCD (for the main control unit ex460 that comprehensively controls the display unit ex458, the operation unit ex466, and the like.
  • a Liquid Crystal Display) control unit ex459, a modulation / demodulation unit ex452, a multiplexing / demultiplexing unit ex453, an audio signal processing unit ex454, a slot unit ex464, and a memory unit ex467 are connected to each other via a bus ex470.
  • the power supply circuit unit ex461 starts up the smartphone ex214 in an operable state by supplying power from the battery pack to each unit.
  • the smartphone ex214 converts the audio signal collected by the audio input unit ex456 in the audio call mode into a digital audio signal by the audio signal processing unit ex454 based on the control of the main control unit ex460 having a CPU, a ROM, a RAM, and the like. This is subjected to spectrum spread processing by the modulation / demodulation unit ex452, and is subjected to digital analog conversion processing and frequency conversion processing by the transmission / reception unit ex451, and then transmitted via the antenna ex450.
  • the smartphone ex214 amplifies reception data received via the antenna ex450 in the voice call mode, performs frequency conversion processing and analog-digital conversion processing, performs spectrum despreading processing in the modulation / demodulation unit ex452, and performs voice signal processing unit ex454. After being converted into an analog audio signal, the audio output unit ex457 outputs it.
  • the text data of the e-mail input by the operation of the operation unit ex466 of the main unit is sent to the main control unit ex460 via the operation input control unit ex462.
  • the main control unit ex460 performs spread spectrum processing on the text data in the modulation / demodulation unit ex452, performs digital analog conversion processing and frequency conversion processing in the transmission / reception unit ex451, and then transmits the text data to the base station ex210 via the antenna ex450.
  • almost the reverse process is performed on the received data and output to the display unit ex458.
  • the video signal processing unit ex455 compresses the video signal supplied from the camera unit ex465 by the moving image encoding method described in each of the above embodiments.
  • the encoded video data is sent to the multiplexing / demultiplexing unit ex453.
  • the audio signal processing unit ex454 encodes the audio signal picked up by the audio input unit ex456 while the camera unit ex465 captures video, still images, and the like, and sends the encoded audio data to the multiplexing / separating unit ex453. To do.
  • the multiplexing / demultiplexing unit ex453 multiplexes the encoded video data supplied from the video signal processing unit ex455 and the encoded audio data supplied from the audio signal processing unit ex454 by a predetermined method, and is obtained as a result.
  • the multiplexed data is subjected to spread spectrum processing by a modulation / demodulation unit (modulation / demodulation circuit unit) ex452, and subjected to digital analog conversion processing and frequency conversion processing by a transmission / reception unit ex451, and then transmitted through an antenna ex450.
  • the multiplexing / separating unit ex453 separates the multiplexed data into a video data bit stream and an audio data bit stream, and performs video signal processing on the video data encoded via the synchronization bus ex470.
  • the encoded audio data is supplied to the audio signal processing unit ex454 while being supplied to the unit ex455.
  • the video signal processing unit ex455 decodes the video signal by decoding using a video decoding method corresponding to the video encoding method shown in each of the above embodiments, and the display unit ex458 via the LCD control unit ex459. From, for example, video and still images included in a moving image file linked to a home page are displayed.
  • the audio signal processing unit ex454 decodes the audio signal, and the audio is output from the audio output unit ex457.
  • the terminal such as the smartphone ex214 is a transmission terminal having only an encoder and a receiving terminal having only a decoder, as well as the television ex400.
  • a possible implementation format is possible.
  • multiplexed data in which music data or the like is multiplexed with video data is received and transmitted.
  • data in which character data related to video is multiplexed in addition to audio data It may be video data itself instead of multiplexed data.
  • the present invention can be applied to an image capturing method and an image capturing apparatus. Further, the present invention can be used for information display devices or imaging devices such as a television, a digital video recorder, a drive recorder, a mobile phone, a smartphone, a digital camera, a surveillance camera, and a digital video camera having an image shooting function.
  • information display devices or imaging devices such as a television, a digital video recorder, a drive recorder, a mobile phone, a smartphone, a digital camera, a surveillance camera, and a digital video camera having an image shooting function.

Abstract

　画像撮影方法は、複数のカメラで同一の被写体が撮影されることで得られる複数の画像、又は前記複数の画像から生成される画像、である共有画像を複数のカメラの複数のユーザで共有するための画像撮影方法であって、複数のカメラの一つである対象カメラが被写体を撮影したかを判定する判定ステップ（Ｓ４０１）と、対象カメラが被写体を撮影したと判定された場合（Ｓ４０２でＹｅｓ）、対象カメラが被写体を撮影した期間に応じて、対象カメラのユーザに共有画像の閲覧を許可する許可ステップ（Ｓ４０３）とを含む。

Description

画像撮影方法、画像撮影システム、サーバ、画像撮影装置及び画像撮影プログラム
　本発明は、複数のカメラで同一の被写体が撮影されることで得られる複数の画像、又は当該複数の画像から生成される画像、である共有画像を複数のカメラの複数のユーザで共有するための画像撮影方法に関する。
　旅行先又はイベント参加先などで、その場に居る人同士で画像（静止画及び動画）を共有する方法として、被写体の類似度又は位置情報が近傍であること等をサーバが判定し、その場限りの一時的な共有グループを作る方法がある（特許文献１）。また、複数のカメラからの画像を統合し、仮想現実空間を構築、又は被写体の３次元再構成を行う応用に際しては、複数のカメラの位置関係を知る必要がある（非特許文献１）。また、複数のカメラ画像を用いないカメラ位置推定の方法として、発光素子の点滅をカメラで撮影し推定する方法がある（特許文献２）。また、カメラ間の撮像時間ずれを補正する方法として、フラッシュ照明又は画像内の扉の開閉動作などの特定の視覚イベントに基づいて複数のカメラの同期をとる方法がある（特許文献３）。
特許第５２７１６９３号公報 特開２００２－３１４９９４号公報 国際公開第２０１３／０９４１１５号
動画像からのカメラ位置・姿勢推定とその応用ｈｔｔｐ：／／ｗｗｗ．ｓｃｉｅｎｃｅ－ｐｌａｚａ．ｏｒ．ｊｐ／ａｂｏｕｔ／ｓａｎｋａｎｇａｋｕ／ｆｏｒｕｍ１９／ｓａｔｏｕ．ｐｄｆ
　特許文献１に記載のような、その場限りの見知らぬユーザ間によって撮影された画像の共有では、これらの画像が意図せず必要以上に拡散される可能性があるという課題がある。
　そこで本発明は、画像が意図せず必要以上に拡散されることを抑制できる画像撮影方法又は画像撮影システムを提供することを目的とする。
　本発明の一態様に係る画像撮影方法は、複数のカメラで同一の被写体が撮影されることで得られる複数の画像、又は前記複数の画像から生成された画像、である共有画像を前記複数のカメラの複数のユーザで共有するための画像撮影方法であって、前記複数のカメラの一つである対象カメラが前記被写体を撮影したかを判定する判定ステップと、前記対象カメラが前記被写体を撮影したと判定された場合、前記対象カメラが前記被写体を撮影した期間に応じて、前記対象カメラのユーザに前記共有画像の閲覧を許可する許可ステップとを含む。
　なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
　本発明は、画像が意図せず必要以上に拡散されることを抑制できる画像撮影方法又は画像撮影システムを提供できる。
実施の形態１に係る全体構成図である。 実施の形態１に係る画像撮影方法のシーケンス図である。 実施の形態１に係るセッション生成処理のシーケンス図である。 実施の形態１に係るセッション参加処理のシーケンス図である。 実施の形態１に係る参加資格の確認処理のフローチャートである。 実施の形態１に係るユーザが閲覧可能な共有画像を示す図である。 実施の形態１に係るユーザが閲覧可能な共有画像の別の例を示す図である。 実施の形態１に係るユーザが閲覧可能な共有画像の別の例を示す図である。 実施の形態１に係る画像撮影方法のフローチャートである。 実施の形態２に係る追加ユーザのカメラ位置推定処理のシーケンス図である。 実施の形態２に係る全体構成の俯瞰図である。 実施の形態２に係る既存ユーザのカメラで撮影された画像の一例を示す図である。 実施の形態２に係る既存ユーザのカメラで撮影された画像の一例を示す図である。 実施の形態３に係るワイド時の画像の一例を示す図である。 実施の形態３に係るズーム時の画像の一例を示す図である。 実施の形態３に係るワイド時の画像から推定される方向を示す図である。 実施の形態３に係るズーム時の画像から推定される方向を示す図である。 実施の形態３に係る複数の画像から追加ユーザの位置を推定する処理を説明するための図である。 映像情報処理システムの構成を示す図である。 カメラ起動時に表示される通知画面の一例を示す図である。 コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成図である。 デジタル放送用システムの全体構成図である。 スマートフォンの一例を示す図である。 スマートフォンの構成例を示すブロック図である。
　（本発明の基礎となった知見）
　本発明者は、「背景技術」の欄において記載した画像撮影方法に関し、以下の問題が生じることを見出した。
　特許文献１に記載のような、その場限りの見知らぬユーザ間によって撮影された画像の共有では、これらの画像が意図せず必要以上に拡散される可能性がある。また、被写体のプライバシー侵害を助長してしまう可能性もある。
　また、仮想現実空間又は３次元再構成の応用においては、複数カメラ画像間の対応関係を求める処理が行われる。その際には、カメラの位置関係（カメラの位置及び姿勢）の情報が必要になる。
　このカメラの位置関係は、例えば、画像中の特徴点を用い、複数のカメラ画像間で対応点を導出し、その結果を用いて推定することで得られる。しかし、ノイズ等により十分な精度で位置を推定できないことがある。または、正しく推定できる場合でも処理時間が長くなるという問題がある。カメラ位置推定の精度が悪い場合、又は処理時間が長い場合には、カメラ位置関係情報に基づく処理により得られる対応関係の導出結果も精度が悪くなり、その処理の処理時間も長くなる。
　本発明の一態様に係る画像撮影方法及び画像撮影システムは、サーバ側における認証の仕組みにより、無制限な撮影や画像の拡散を防ぐとともに、撮影時においては撮影中であることを分かりやすく提示することにより、被写体のプライバシー侵害を防ぐ。また、当該画像撮影方法及び画像撮影システムは、従来とは別の方法又は手段によって、カメラ位置関係の情報を上記応用の対応関係導出処理の参考値（又は対応関係導出処理の初期値）として用いることで、対応関係導出の精度を向上させる。
　本発明の一態様に係る画像撮影方法は、複数のカメラで同一の被写体が撮影されることで得られる複数の画像、又は前記複数の画像から生成された画像、である共有画像を前記複数のカメラの複数のユーザで共有するための画像撮影方法であって、前記複数のカメラの一つである対象カメラが前記被写体を撮影したかを判定する判定ステップと、前記対象カメラが前記被写体を撮影したと判定された場合、前記対象カメラが前記被写体を撮影した期間に応じて、前記対象カメラのユーザに前記共有画像の閲覧を許可する許可ステップとを含む。
　これによれば、当該画像撮影方法は、実際に撮影を行っていないユーザが共有画像を閲覧することを防止できるので、画像が意図せず必要以上に拡散されることを抑制できる。
　例えば、前記対象カメラが前記被写体を撮影した期間を判定し、前記許可ステップでは、前記対象カメラのユーザに、異なる期間において撮影又は生成された複数の前記共有画像のうち、前記対象カメラが前記被写体を撮影したと判定された期間において撮影された画像又は当該画像から生成された画像の閲覧を許可してもよい。
　例えば、前記対象カメラが前記被写体を撮影した期間を判定し、前記許可ステップでは、前記対象カメラが前記被写体を撮影したと判定された期間内において、前記対象カメラのユーザによる前記共有画像の閲覧を許可してもよい。
　例えば、前記判定ステップでは、前記対象カメラの位置情報及び前記対象カメラで撮影された画像に前記被写体が写っているかに応じて、前記対象カメラが前記被写体を撮影したかを判定してもよい。
　例えば、前記画像撮影方法は、さらに、新たなユーザが、前記共有画像を共有するためのセッションへ参加することを認証する認証ステップと、前記新たなユーザが、既に前記セッションに参加している参加済みユーザのカメラで検知可能なイベントを行うイベント実行ステップと、前記参加済みユーザの位置及び当該参加済みユーザのカメラで検知された前記イベントに基づき、前記新たなユーザの位置を推定する位置推定ステップとを含んでもよい。
　これによれば、当該画像撮影方法は、容易に新たなユーザの位置を推定できる。
　例えば、前記イベントは、前記新たなユーザのカメラがフラッシュを発光することであってもよい。
　例えば、前記イベントは、前記新たなユーザが特定のアクションを行うことであってもよい。
　例えば、前記画像撮影方法は、さらに、第１カメラが、前記共有画像を共有するためのセッションを生成するセッション生成ステップと、前記第１カメラが、前記セッションに関するセッション情報をサーバに送信する第１送信ステップと、前記サーバが、第２カメラに前記セッション情報を送信する第２送信ステップとを含んでもよい。
　これによれば、当該画像撮影方法は、他のユーザにセッションが作成されたことを通知できる。
　例えば、前記第２送信ステップでは、前記サーバは、複数のカメラから、前記第１カメラの近傍に位置する前記第２カメラを抽出してもよい。
　また、本発明の一態様に係る画像撮影システムは、複数のカメラで同一の被写体が撮影されることで得られる複数の画像、又は前記複数の画像から生成された画像、である共有画像を前記複数のカメラの複数のユーザで共有するための画像撮影システムであって、前記複数のカメラの一つである対象カメラが前記被写体を撮影したかを判定する判定部と、前記対象カメラが前記被写体を撮影したと判定された場合、前記対象カメラが前記被写体を撮影した期間に応じて、前記対象カメラのユーザに前記共有画像の閲覧を許可する許可部とを備える。
　これによれば、当該画像撮影システムは、実際に撮影を行っていないユーザが共有画像を閲覧することを防止できるので、画像が意図せず必要以上に拡散されることを抑制できる。
　また、本発明の一態様に係るサーバは、複数のカメラで同一の被写体が撮影されることで得られる複数の画像、又は前記複数の画像から生成された画像、である共有画像を前記複数のカメラの複数のユーザで共有するための画像撮影システムに含まれるサーバであって、前記複数のカメラの一つである対象カメラが前記被写体を撮影したかを判定する判定部と、前記対象カメラが前記被写体を撮影したと判定された場合、前記対象カメラが前記被写体を撮影した期間に応じて、前記対象カメラのユーザに前記共有画像の閲覧を許可する許可部とを備える。
　これによれば、当該サーバは、実際に撮影を行っていないユーザが共有画像を閲覧することを防止できるので、画像が意図せず必要以上に拡散されることを抑制できる。
　また、本発明の一態様に係る画像撮影装置は、複数のカメラで同一の被写体が撮影されることで得られる複数の画像、又は前記複数の画像から生成された画像、である共有画像を前記複数のカメラの複数のユーザで共有するための画像撮影システムに含まれる画像撮影装置であって、前記複数のカメラの一つである対象カメラと、前記共有画像を表示する表示部と、前記共有画像を少なくとも一時的に保持する記憶部とを備え、前記対象カメラが前記被写体を撮影したと判定された場合、前記対象カメラが前記被写体を撮影した期間に応じて設定された、前記共有画像の閲覧許可期間に限り、前記共有画像を外部から受信し、受信された前記共有画像を前記記憶部に保持する。
　これによれば、当該画像撮影装置は、実際に撮影を行っていないユーザが共有画像を閲覧することを防止できるので、画像が意図せず必要以上に拡散されることを抑制できる。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　以下、実施の形態について、図面を参照しながら具体的に説明する。
　なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　（実施の形態１）
　本実施の形態は、大きく分けて、セッション参加方法、及びカメラキャリブレーション方法とから成る。以下、順にこれらを説明する。
　不特定多数のユーザ（特にほぼ初対面に近い場合）の複数カメラの画像を用いる仮想現実又は３次元再構成の応用を行う場合には、プライバシーの侵害又は肖像権の侵害などに特に注意が必要である。どのような撮影が許されるのかは撮影時の状況により左右されるが、複数カメラによる撮影時においても、単一のデジタルカメラ又はスマートフォンでの撮影と同程度の使用が認められる方法が必要である。
　画像（静止画と動画を含む）を共有する、又は、画像を基に生成された仮想現実又は３次元再構成されたコンテンツを共有する場合、これらを共有するグループを生成する。これらグループのことをセッションと呼ぶ。
　まず、本実施の形態に係る画像撮影システムの構成を説明する。図１は、本実施の形態に係る画像撮影システムの構成を示す図である。図１に示す画像撮影システム１００は、セッション作成ユーザのカメラ１０１と、セッションに参加するユーザのカメラ１０２と、管理サーバ１０４とを含む。
　なお、カメラ１０１及びカメラ１０２は、例えば、デジタルスチルカメラ又はデジタルビデオカメラ等のカメラに限らず、スマートフォン又は携帯端末等のカメラを内蔵した端末であってもよい。
　カメラ１０１及びカメラ１０２は、ネットワークを介して、管理サーバ１０４と接続されている。また、カメラ１０１及び１０２は、被写体１０３の近傍に位置しており、被写体１０３を撮影する。なお、被写体１０３は、人物又は物等に限らず、運動会等の特定のシーンであってもよい。
　なお、ここでは、説明の簡略化のため２台のカメラ１０１及び１０２を示しているが、カメラの台数は３以上であってもよい。
　次に、画像撮影システムによる画像撮影処理の全体の流れを説明する。図２は、本実施の形態に係る画像撮影処理の全体の流れを示す図である。また、ここでは、被写体１０３の近傍に、カメラ１０１、１０２Ａ及び１０２Ｂが存在する場合の動作を説明する。
　まず、カメラ１０１は、セッションを作成する（Ｓ１０１）。次に、カメラ１０２Ａが作成されたセッションに参加する（Ｓ１０２）。セッションに参加しているカメラ１０１及びカメラ１０２は、被写体１０３を撮影し、得られた画像（静止画又は動画像）を管理サーバ１０４にアップロードする（Ｓ１０３）。
　管理サーバ１０４は、アップロードされた画像、及びカメラから送信された位置情報等を用いて、カメラの位置及び向きを推定する（Ｓ１０４）。例えば、管理サーバ１０４は、画像中の特徴点を用い、複数のカメラ画像間で対応点を導出し、その結果を用いて、各カメラの位置及び向きを推定する。
　次に、管理サーバ１０４は、推定された各カメラの位置及び向きと、アップロードされた画像とを用いて、共有画像を生成する（Ｓ１０５）。ここで共有画像とは、アップロードされた画像を用いて生成された仮想現実又は３次元再構成されたコンテンツである。
　なお、共有画像は、アップロードされた画像を用いて生成された画像（コンテンツ）に限らず、アップロードされた画像（静止画又は動画像）そのものであってもよい。
　また、管理サーバ１０４は、生成された共有画像を、セッションに参加しているカメラ１０１及び１０２Ａへ配信する（Ｓ１０６）。
　ここで、カメラ１０２Ｂが新たにセッションに参加する（Ｓ１０７）。その後、上記と同様に、カメラ１０１、１０２Ａ及び１０２Ｂは、被写体１０３を撮影し、得られた画像を管理サーバ１０４にアップロードする（Ｓ１０８）。管理サーバ１０４は、各カメラからアップロードされた画像、及びカメラ１０２Ｂから送信された位置情報等を用いて、新たに追加されたカメラ１０２Ｂの位置及びカメラの向きを推定する（Ｓ１０９）。なお、この処理の詳細は、実施の形態２及び３で説明する。
　次に、管理サーバ１０４は、推定された各カメラの位置及び向きと、アップロードされた画像とを用いて、共有画像を生成する（Ｓ１１０）。管理サーバ１０４は、生成された共有画像を、セッションに参加しているカメラ１０１、１０２Ａ及び１０２Ｂへ配信する（Ｓ１１１）。
　以下、セッション生成処理（図２のＳ１０１）について説明する。例えば、このセッション生成処理に対応したソフトウェア（アプリケーションプログラム）が事前に装置にインストールしてあるとする。図３は、本実施の形態に係るセッション作成処理の流れを示す図である。
　まず、カメラ１０１は、セッションを開始したいユーザであるセッション作成ユーザの操作に従い、上記ソフトウェアを起動し、「セッションの作成」を行なう（Ｓ２０１）。
　次に、カメラ１０１は、セッション生成ユーザの操作に従い、セッション説明情報を作成する。セッション説明情報は、何を撮影するのか示す文字、又は、被写体１０３が撮影された画像の縮小画像などである。カメラ１０１（上記ソフトウェア）は、作成されたセッション説明情報を管理サーバ１０４に送信する（Ｓ２０２）。
　管理サーバ１０４は、その被写体１０３を撮影可能な、被写体１０３の近くに存在するカメラであって、対応ソフトウェアがインストールされているカメラを検出し、当該カメラへ、セッションが生成されたことを通知する（Ｓ２０３）。なお、当該セッションの生成ユーザとは異なる別のユーザを第２のユーザと呼ぶ。
　管理サーバ１０４は、以下に例示する方法で、通知対象のカメラ（端末）を特定する。
　管理サーバ１０４は、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）による位置情報、３Ｇ／ＬＴＥ基地局の位置情報、又は、ＷｉＦｉ（登録商標）アクセスポイントの位置情報等を複数のカメラからそれぞれから受信し、受信した位置情報等に基づいてカメラ１０１の位置より所定の距離内にある別のカメラを抽出し、抽出されたカメラへセッション説明情報を送信する（参加条件１）。なお、複数のカメラそれぞれが撮影した映像に別のカメラ又は同一の被写体が写りこんでいることもあるため、管理サーバ１０４は、受信した複数のカメラの撮影映像に対して特徴点マッチングなどの画像処理を行うことにより各カメラの位置情報を算出することができる。このように、管理サーバ１０４は、撮影画像に対する画像処理により算出された位置情報に基づいて、カメラ１０１の位置より所定の距離内にある別のカメラを抽出してもよい。さらに、管理サーバ１０４は、位置情報と撮影映像両方を用いて、この位置判定を行ってもよい。
　または、管理サーバ１０４は、カメラ１０１と近距離通信（ＮＦＣ（Ｎｅａｒ　Ｆｉｅｌｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＢｌｕｅＴｏｏｔｈ（登録商標）又はＷｉＦｉ等）が行われている他のカメラであって、対応したソフトウェアがインストールされているカメラへセッション説明情報を送信する（参加条件２）。具体的には、管理サーバ１０４は、セッション識別用の特定コードを発行し、当該特定コードをカメラ１０１（のソフトウェア）へ送信する。ここで、特定コードとは、文字列又は数字列などのランダムに生成されたコードであり、セッションに紐付けされた固有のキーである。
　カメラ１０１は、その特定コードを、近距離通信を用いて、カメラ１０２へ送信する。カメラ１０２（のソフトウェア）は、特定コードを受信し、当該特定コードを管理サーバ１０４へ送信する。管理サーバ１０４は、セッション固有の特定コードがカメラ１０２を経由して受信されたことをもって、カメラ１０２がカメラ１０１の近くに存在すると判断する。
　または、カメラ１０１は、ＷｉＦｉのアクセスポイントサービスを有効に設定し、自身が検知したアクセスポイントのＳＳＩＤ（Ｓｅｒｖｉｃｅ　Ｓｅｔ　Ｉｄｅｎｔｉｆｉｅｒ）を管理サーバ１０４へ通知する。一方、カメラ１０２（のソフトウェア）は、自身の検知しているアクセスポイントのＳＳＩＤの一覧を管理サーバ１０４へ定期的に送信する。管理サーバ１０４は、カメラ１０１から通知されたＳＳＩＤと一致するＳＳＩＤがカメラ１０２から送信さられた受信リストに含まれていれば、カメラ１０２がカメラ１０１の近くい存在すると判断し、当該カメラ１０２へセッション説明情報を通知する（参加条件３）。または、管理サーバ１０４は、特定文字列を含むＳＳＩＤのＷｉＦｉアクセスポイントを構築することで、セッションが在ることをカメラ１０２へ通知する。
　または、カメラ１０１の表示装置は、セッション参加用のユニークキー（パスコード又はＵＲＬ等）をＱＲコード（登録商標）又は文字列等により表示する。カメラ１０２が、表示されたユニークキーを読み取った場合に、セッション参加の申請が行われてもよい（参加条件４）。
　または、カメラ１０１は、カメラ１０１の背面に設けられているフラッシュ撮影用のＬＥＤを特定のパターンで点滅させる。カメラ１０２はＬＥＤの点滅のパターンを読み取り、読み取ったパターンを管理サーバ１０４に送信する。管理サーバ１０４は、カメラ１０２から送信されたパターンが、カメラ１０１のＬＥＤの点滅のパターンと一致することを確認できた場合、カメラ１０２がカメラ１０１の近傍に存在すると判断し、セッション説明情報をカメラ１０２へ通知する（参加条件５）。なお、カメラの背面とは、撮影時にユーザが位置する側とは逆側であり、被写体側（カメラのレンズが設けられている側）のことを意味する。
　また、セッションの通知可否の判断は、上記の参加条件１～５の判断を複数個組み合わせたＯＲ条件又はＡＮＤ条件であってもよい。
　また、セッションの通知は、新規生成時のみではなく、定期的に行われてもよい。このセッションの通知は、カメラ１０１から定期的に行われてもよいし、管理サーバ１０４から定期的に行われてもよい。
　次に、セッション参加処理（図２のＳ１０２）について説明する。図４は、本実施の形態に係るセッション参加処理の流れを示す図である。
　まず、カメラ１０２は、管理サーバ１０４からセッション一覧情報を受信し、当該セッション一覧情報を、参加可能なセッションの一覧として表示する（Ｓ２１１）。ここで、セッション一覧情報は、複数のカメラから送信されたセッション説明情報に基づき作成される。
　第２のユーザが、セッションへの参加を希望する場合、カメラ１０２に対して、参加したいセッションを選択する操作を行う。例えば、第２のユーザは、「参加する」などのボタンを押すなどの操作を行う。ここでは、セッションへの参加意思のあるユーザでまだセッションに参加していないユーザを参加希望ユーザと呼ぶ。
　参加希望ユーザの参加意思は、参加希望ユーザの簡単な身元を示す参加者情報（例えば、名前又は顔のサムネイルなど）とともに、管理サーバ１０４及びカメラ１０１へ通知される（Ｓ２１２）。管理サーバ１０４及びセッション生成ユーザは、参加希望ユーザのセッションへの参加を許可するか否かを判定する（Ｓ２１３及びＳ２１４）。参加希望ユーザのセッションへの参加が承認された場合、参加希望ユーザは、セッションに参加する（Ｓ２１５）。また、参加希望ユーザのセッションへの参加が否認された場合、その旨がカメラ１０２へ通知される。
　ここで。管理サーバ１０４による承認の判定（Ｓ２１３）とは、有料課金サービスにおける支払いの確認であったり、無料会員サービスにおけるログイン認証であったり、犯罪歴等に基づく特定ユーザへのサービス不提供のためのフィルタリングなどである。なお、管理サーバ１０４による承認の判定が否認である場合には、管理サーバ１０４は、当該セッションの通知の際に予め、参加希望ユーザがセッションに参加する資格が無いことを付帯情報として、参加希望ユーザに通知しておいてもよい。
　また、セッション生成ユーザによる承認の判定（Ｓ２１４）とは、参加希望ユーザの名前等から、セッション生成ユーザが個別に判断する承認のことである。この承認結果は、例えば、セッション生成ユーザによるカメラ１０１への操作により行われる。なお、セッション生成ユーザは、自身による承認処理を経ずに、参加希望のユーザを全て承認するように予め設定しておいてもよい。
　なお、図４では、参加者情報は管理サーバ１０４を経由してカメラ１０１へ送信されているが、カメラ１０１を経由しなくてもよい。また、ステップＳ２１３及びＳ２１４の順序は任意の順序でよい。
　また、ここでは、セッション生成ユーザと参加希望ユーザとの二人の動作を例に説明したが、セッションに既に複数のユーザが参加している場合についても同様の処理を適用可能である。以下に具体的に説明する。既にセッションに参加しているユーザを、セッション生成ユーザを含めて、参加済みユーザと呼び、参加済みユーザのカメラ（端末）を参加済みカメラと呼ぶ。
　セッション説明情報は、複数の参加済みカメラの位置情報の平均的な位置或いは重心の位置、又は、仮想現実或いは３次元再構成のために導出された被写体１０３の位置から、所定の距離内に存在するカメラに通知されてもよい（参加条件１の派生）。
　または、いずれかの参加済みカメラと近距離通信を行っているカメラへセッション説明情報が通知されてもよい。または、参加済みカメラのうち複数のカメラと近距離通信を行っているカメラへセッション説明情報が通知してもよい（参加条件２の派生）。
　または、全ての参加済みカメラは自身が検出したＷｉＦｉアクセスポイントのＳＳＩＤを管理サーバ１０４に通知しておき、カメラ１０２から送信されたＳＳＩＤの受信リストに複数の参加済みユーザのＳＳＩＤが含まれている場合に、その第２のユーザへセッション説明情報が通知されてもよい（参加条件３の派生）。
　または、いずれかの参加済みカメラの表示装置は、セッション参加用のユニークキー（パスコード又はＵＲＬ等）をＱＲコード（登録商標）又は文字列等を表示する。カメラ１０２が、表示されたユニークキーを読み取った場合に、セッション参加の申請が行われてもよい（参加条件４の派生）。
　または、いずれかの参加済みカメラは、当該カメラの背面に設けられているフラッシュ撮影用のＬＥＤを特定のパターンで点滅させる。カメラ１０２はＬＥＤの点滅のパターンを読み取り、読み取ったパターンを管理サーバ１０４に送信する。管理サーバ１０４は、カメラ１０２から送信されたパターンが、参加済みカメラのＬＥＤの点滅のパターンと一致することを確認できた場合、カメラ１０２が、参加済みカメラの近傍に存在すると判断し、セッション説明情報をカメラ１０２へ通知してもよい（参加条件５の派生）。
　なお、複数の参加済みカメラが存在する場合には、いずれかのカメラと上記条件を満たした場合だけではなく、複数のカメラと上記条件を満たした場合に、カメラ１０２へセッション説明情報が通知されてもよい。これにより、ノイズ又は情報漏洩（パスコードのメールによる遠隔地への送付）などによる誤ったセッションへの参加を抑止できる。
　また、参加希望ユーザの参加意思と参加者情報は、セッション生成ユーザのみではなく、参加済みユーザ全員に通知されてもよい。
　なお、各カメラは、撮影中に、カメラが有するフラッシュ用のＬＥＤを特定のパターンで点滅させてもよい。これにより、そのカメラが撮影中であることを周囲に示すことができるので、盗撮などが行われることを抑止できる。特に、同一のセッションに参加している参加済みカメラにおいては、点滅の周期を同期させてもよい。これにより、同一のセッションに参加しているユーザを容易に特定できる。なお、このようなユーザが識別可能な状態は、フラッシュ用のＬＥＤを用いた方法に限らず、周囲から視認可能なその他の表示装置が用いた方法でもよい。
　また、管理サーバ１０４は、参加済みユーザによる撮影が正しく行われているかを定期的に判定する。図５は、この判定処理のフローチャートである。
　まず、管理サーバ１０４は、参加済みカメラがセッションにおける撮影対象の被写体１０３を撮影しているかを定期的に判定する（Ｓ３０１）。具体的には、管理サーバ１０４は、判定対象の参加済みユーザ（以下、対象ユーザ）のカメラ（以下、対象カメラ）で撮影された画像と、他の参加済みカメラで撮影された画像との類似度を算出する。管理サーバ１０４は、算出された類似度が高い場合に、対象ユーザが被写体１０３を撮影していると判定する。または、管理サーバ１０４は、複数の参加済みユーザが撮影した画像から３次元再構成されたモデルと、対象カメラで撮影された画像との一致度合いを算出する。管理サーバ１０４は、算出された一致度合いが高い場合に、対象ユーザが被写体１０３を撮影していると判定する。
　次に、管理サーバ１０４は、対象ユーザ（対象カメラ）が被写体１０３の近傍に位置しているかを判定する（Ｓ３０２）。具体的には、管理サーバ１０４は、上記参加条件を確認する。なお、管理サーバ１０４は、対象カメラの位置に加え、対象カメラの向きが被写体１０３の方向を向いているかを判定してもよい。
　管理サーバ１０４は、対象カメラが、（１）所定の時間を超えて被写体１０３を撮影していない場合、（２）所定の時間を超えて被写体１０３の近傍に居ない場合、又は、（３）所定の時間を超えて被写体１０３の方向を向いていない場合には、当該対象ユーザをセッションから退場させるべきと判断する（Ｓ３０３でＮｏ）。そして、管理サーバ１０４は、対象カメラにその旨を通知し、対象ユーザをセッションから退場させる（Ｓ３０５）。
　なお、管理サーバ１０４は、最初に、対象ユーザを退場させるべきと判断した際には、対象ユーザに警告のみを通知し、複数回連続して、対象ユーザを退場させるべきと判断した際に、対象ユーザを退場させてもよい。
　参加継続と判断された場合には、管理サーバ１０４は、対象ユーザの撮影実績情報を更新し（Ｓ３０４）、一定時間後に再び参加資格確認の処理（Ｓ３０１以降）を行う。ここで、撮影実績情報は、対象ユーザがセッションに参加していた期間（実績期間）を示す情報である。ここで、実際に撮影を継続している期間だけではなく、一部撮影を中断している期間があってもある一定条件を満たした撮影期間であれば、実績期間に含めてもよい。この条件とは、例えば退席や別の方向の撮影が所定割合未満であること、又は累積での撮影期間が３０分など所定の期間を超えていること、などである。その他の様々な条件設定がありえ、また撮影の種類に応じて設定すべき条件は異なると考えられるので、撮影に応じて参加の条件を決めて、実績期間として導出すればよい。
　一方、退場すべき対象ユーザには、対象ユーザがセッションに参加していた実績期間中に、複数の参加済みユーザにより撮影された複数の画像、或いは、これらの画像を用いて生成された仮想現実空間又は３次元再構成を応用したコンテンツを管理サーバ１０４から閲覧又はダウンロードする権利が一定時間与えられる。なお、対象ユーザには、対象ユーザがセッションに参加していない時間帯に生成されたコンテンツを受け取る権利は原則与えられない。これにより、コンテンツの必要以上の拡散を抑止できる。
　図６は、対象ユーザが閲覧可能な共有画像、及び共有画像を閲覧可能な時期の一例を示す図である。図６に示す例では、対象ユーザは、時刻ｔ１からｔ２の期間においてセッションに参加し、撮影をおこなっている。管理サーバ１０４は、対象ユーザに、時刻ｔ１から時刻ｔ２において撮影又は生成された共有画像の閲覧を許可している。また、対象ユーザは、この共有画像を、セッション参加中の時刻ｔ１からｔ２の期間、及びセッション退場後の期間Ｔ０（時刻ｔ２からｔ３）において閲覧（ダウンロード）可能である。なお、図６では実績期間より短く見える期間Ｔ０が記載されているが、期間Ｔ０を、実績期間より短い期間に限定する意図はなく、むしろ通常は、期間Ｔ０は、１週間又は１ヶ月など、セッション自体よりもはるかに長い期間であることが多い。
　なお、対象ユーザには、対象ユーザがセッションに参加している期間中のみにおいて、複数の参加済みユーザにより撮影された複数の画像、或いは、これらの画像を用いて生成された画像（仮想現実空間又は３次元再構成を応用したコンテンツ）の閲覧（ダウンロード）が許可されてもよい。または、実績期間が所定時間以上になれば、セッション開始からセッション参加前までの過去分もしくはセッション退場後の将来分に対応する、実績期間以外に撮影された画像、またはセッション開始から終了までの全期間の画像の閲覧（ダウンロード）を許可する構成であってもよい。
　例えば、図７に示す例では、対象ユーザは、セッションに参加中においてのみ、その時刻に撮影又は生成された共有画像のみを閲覧でき、過去に撮影又は生成された共有画像の閲覧できない。つまり、対象ユーザが、リアルタイムに生成された共有画像のみを閲覧できる構成としてもよい。例えば、対象ユーザの撮影中において、対象ユーザの端末には、画面分割等により対象ユーザが撮影中の画像及びリアルタイムに他のユーザが撮影している画像が表示される。
　また、図８に示す例では、管理サーバ１０４は、対象ユーザに、対象ユーザがセッションに参加している期間中において、セッション作成時から対象ユーザがセッションに参加している期間までに撮影又は生成された全ての画像の閲覧を許可する。つまり、図８に示す例では、対象ユーザは、リアルタイムに他のユーザが撮影中の画像に加え、セッション作成時から現在時刻までに他のユーザが撮影した画像を閲覧できる。
　なお、ここで例示したように閲覧又はダウンロードが許可される共有画像等について、プライバシー又は著作権の観点に配慮された対応が必要であることは言うまでもない。例えば、内容によっては、一定期間であれば閲覧はできるがダウンロードはできない、又は、共有画像等についてはシステム全体又は管理サーバを運営する主体のロゴが付されるなどの対応が必要となる。
　また、管理サーバ１０４は、対象ユーザ（対象カメラ）の参加条件を定期的に評価し、所定の時間を超えて参加条件が満たされない場合には、同様に当該対象ユーザをセッションから退場させる。
　なお、仮想現実空間又は３次元再構成の応用のための処理は処理能力の高いコンピュータ、或いは当該コンピュータ上で動作する仮想コンピュータ、又は、複数のコンピュータによって分散動作するクラウド型のコンピュータにより行われる。管理サーバ１０４も同様な装置によって実現される。
　なお、管理サーバ１０４によって行われた手順の一部は、セッション生成ユーザのカメラ１０１（端末）又は他の参加済みカメラ上で行われてもよい。
　以上のように、本実施の形態に係る画像撮影システムは、複数のカメラで同一の被写体が撮影されることで得られる複数の画像、又は複数の画像から生成される画像、である共有画像を複数のカメラの複数のユーザで共有するためのシステムであって、図９に示す処理を行う。
　まず、画像撮影システムは、複数のカメラの一つである対象カメラが被写体１０３を撮影したかを判定する（Ｓ４０１）。具体的には、画像撮影システムは、対象カメラの位置情報及び対象カメラで撮影された画像に被写体１０３が写っているかに応じて、対象カメラが被写体１０３を撮影したかを判定する。より具体的には、画像撮影システムは、対象カメラの位置が被写体１０３又はセッションに参加している他のカメラの近傍に位置し、かつ、対象カメラで撮影された画像に被写体１０３が写っている場合に、対象カメラが被写体１０３を撮影したと判定する。
　対象カメラが被写体１０３を撮影したと判定された場合（Ｓ４０２でＹｅｓ）、画像撮影システムは、対象カメラが被写体１０３を撮影した期間に応じて、対象カメラのユーザに共有画像の閲覧を許可する（Ｓ４０３）。
　一方、対象カメラが被写体１０３を撮影していないと判定された場合（Ｓ４０２でＮｏ）、画像撮影システムは、対象カメラのユーザに共有画像の閲覧を許可しない（Ｓ４０４）。
　具体的には、図６に示すように、画像撮影システムは、対象カメラが被写体１０３を撮影した期間を判定し、対象カメラのユーザに、異なる期間において撮影又は生成された複数の共有画像のうち、対象カメラが被写体１０３を撮影したと判定された期間において撮影された画像又は当該画像から生成された画像の閲覧を許可する。
　または、図７又は図８に示すように、画像撮影システムは、対象カメラが被写体を撮影したかを定期的に判定し、対象カメラが被写体を撮影したと判定された期間内において、対象カメラのユーザによる共有画像の閲覧を許可する。
　なお、画像撮影システムは、対象カメラが被写体を撮影したと判定された期間が予め定められた期間より長い場合に、対象カメラのユーザによる共有画像の閲覧を許可してもよい。また、対象カメラが被写体を一定期間（Ｘ）撮影後にいったん撮影を中断し、再度一定期間（Ｙ）撮影した際には、その合計期間（Ｘ＋Ｙ）を、対象カメラが被写体を撮影した期間としてもよい。
　これにより、当該画像撮影システムは、画像が意図せず必要以上に拡散されることを抑制できる。
　さらに、画像撮影システムでは、図３に示すように、第１カメラ１０１は、共有画像を共有するためのセッションを生成し（Ｓ２０１）、第１カメラ１０１が、セッションに関するセッション説明情報（セッション情報）を管理サーバ１０４に送信する（Ｓ２０２）。管理サーバ１０４は、複数のカメラから、第１カメラ１０１の近傍に位置する第２カメラ１０２を抽出し（Ｓ２０３）、第２カメラ１０２にセッション説明情報を送信する。
　これにより、当該画像撮影システムは、セッションが生成されたことを被写体１０３の近傍に存在するカメラのみに通知できる。
　なお、本発明は、上記画像撮影システムに含まれるサーバ又は上記カメラを備える画像撮影装置として実現されてもよい。
　例えば、本実施の形態に係る画像撮影装置は、画像撮影システムに含まれる複数のカメラの一つである対象カメラと、共有画像を表示する表示部と、共有画像を少なくとも一時的に保持する記憶部とを備え、対象カメラが被写体を撮影したと判定された場合、対象カメラが被写体を撮影した期間に応じて設定された、共有画像の閲覧許可期間に限り、共有画像を外部から受信し、受信された共有画像を記憶部に保持する。
　（実施の形態２）
　本実施の形態では、セッションに参加した直後の参加済みユーザ（追加ユーザと呼ぶ）に対する、カメラのキャリブレーションの動作（図２のＳ１０９）について説明する。
　複数のカメラで撮影された複数の画像から、仮想現実空間又は３次元再構成が応用されたコンテンツを生成する場合、参加済みカメラがどの位置にいてどの方向を向いているかの情報（カメラ位置情報）は重要である。一般的にはＧＰＳによる位置情報は、精度が限られている場合があり、屋内では利用できない。よって、本実施の形態では、以下に説明するカメラ位置推定方法を用いる。
　図１０は、本実施の形態に係る位置推定処理の流れを示す図である。
　まず、管理サーバ１０４は、追加ユーザに対して、映像イベントを起こすことを要求する。例えば、管理サーバ１０４は、追加ユーザのカメラ１０５に対して、フラッシュを発光させるように要求する（Ｓ５０１）。追加ユーザは、当該要求を受けて、映像イベントを起こす。例えば、カメラ１０５は、当該カメラ１０５の背面に設けられているフラッシュ用のＬＥＤを点滅させる（Ｓ５０２）。
　既にセッションに参加していたユーザ（既存ユーザと呼ぶ）は、被写体１０３を撮影中である。よって、既存ユーザのカメラは、被写体１０３の周囲のどこかに居るかもしれない追加ユーザの映像イベント（カメラ１０５のフラッシュ光）を撮影画像のどこかの領域で捕えることとなる。また、既存ユーザのカメラで撮影された画像は管理サーバ１０４に送信され続けている。管理サーバ１０４は、カメラ１０５に映像イベント（フラッシュ）を要求したタイミング付近において撮影された画像の中から映像イベント（フラッシュ）を探し出す（Ｓ５０３）。
　次に、管理サーバ１０４は、既存ユーザの位置に対する映像イベントの方向を推定する（Ｓ５０４）。具体的には、既存ユーザのカメラにより撮影された画像において、フラッシュが画面の右側に写っている場合、管理サーバ１０４は、追加ユーザのカメラが当該既存ユーザのカメラの右方向に存在すると判定する。フラッシュが画面の左側に写っている場合、管理サーバ１０４は、追加ユーザのカメラが当該既存ユーザのカメラの左方向に存在すると判定する。フラッシュが画面の上側に写っている場合、管理サーバ１０４は、追加ユーザのカメラが、建物の上階などに存在し、既存ユーザのカメラより上側に存在すると判定する。フラッシュが画面の下側に写っている場合、既存ユーザのカメラは階上に存在し、追加ユーザのカメラは既存ユーザのカメラより下側に存在すると判定する。
　次に、管理サーバ１０４は、画像を撮影した既存ユーザのカメラの位置及び向きと、当該既存ユーザのカメラに対する映像イベントの方向の推定結果とに基づき、追加ユーザのカメラの位置を推定する（Ｓ５０５）。なお、単眼のカメラを用いる場合には、上記の位置推定は、大雑把な範囲での推定となる。これに対して、管理サーバ１０４は、複数の既存ユーザの推定結果を統計的に処理することで（例えば平均等）、より確かでより細かくカメラ位置を推定できる。
　図１１に示す例を説明する。図１１は天頂から俯瞰したイメージ図であり、図面の上が北であるとする。中央に位置する被写体１０３の北側にて第１の既存ユーザのカメラ１０６Ａが被写体１０３を撮影しており、被写体１０３の東側にて第２の既存ユーザのカメラ１０６Ｂが被写体１０３を撮影している。追加ユーザのカメラ１０５は、被写体１０３の南側に位置しており、管理サーバ１０４の要求に応じてフラッシュ１０７を点滅させる。
　図１２は、この場合の第１の既存ユーザのカメラ１０６Ａで撮影された画像を示す。図１３は、第２の既存ユーザのカメラ１０６Ｂで撮影された画像を示す。この例では、図１２に示すように、第１の既存ユーザのカメラ１０６Ａで撮影された画像では、画像中央に被写体１０３が写っており、その向こう（左右方向ではほぼ同じ位置）にフラッシュ１０７が写る。また、図１３に示すように、第２の既存ユーザのカメラ１０６Ｂの画像においては、画面中央に被写体１０３が写っており、画面左側にフラッシュ１０７が写る。
　一度、追加ユーザのカメラ１０５の位置がある程度わかれば、カメラ１０５は被写体をとらえているはずなので、既存ユーザのカメラ画像から生成された仮想現実空間又は３次元再構成された被写体１０３と、カメラ１０５で撮影された画像とのマッチング処理は容易となり、また精度も向上する。つまり、管理サーバ１０４は、上記で得られた、カメラ１０５の位置及び方向の大まかな推定結果を用いて、マッチング処理を行うことで、カメラ１０５の正確な位置及び方向を推定する。具体的には、管理サーバ１０４は、上記で得られた大まか推定結果を、参考値又は初期値として用いる。
　なお、管理サーバ１０４は、フラッシュを画像から探索する処理を、例えば、フラッシュ要求信号を追加ユーザのカメラ１０５に送信した直後に行う。なお、フラッシュ要求信号を受信してから、実際にカメラ１０５のフラッシュが発光するまでに、遅延がある可能性がある。よって、カメラ１０５は、フラッシュを発光した時点で、実際の発光タイミングを管理サーバ１０４に通知し、管理サーバ１０４は、その実際の発光タイミングの周辺の時間帯において、既存ユーザのカメラで撮影された画像からフラッシュ光を探索してもよい。
　なお、上記の説明では映像イベントの一例として、フラッシュを用いる例を説明したが、映像イベントは、追加ユーザのカメラ又はマイクで捕えることのできるイベントであればよい。例えば、上記説明では、フラッシュを発光する発光部が、端末（カメラ）の背面に設けられている例を説明したが、この発光部は、端末の上辺に設けられた、アンテナ状の発光部であってもよい。また、この発光部は、端末の背面に設けられている簡易表示装置であってもよい。この場合、当該簡易表示装置は、映像イベントとして、特別な映像パターンを表示する。
　または、追加ユーザのカメラ１０５は、前面に主表示装置を備え、映像イベントとして、当該主表示装置は、特別な映像パターンを表示し、追加ユーザは、カメラ１０５の主表示装置が周囲に対して見えるようにカメラ１０５を持ってもよい。この場合、例えば、カメラ１０５（カメラ１０５上で動作するソフトウェア）は、このような持ち方をするように追加ユーザへ指示する。
　なお、端末（カメラ）の背面とは、撮影時にユーザが位置する側とは逆側であり、被写体側（カメラのレンズが設けられている側）のことを意味する。また、端末（カメラ）の前面とは、撮影時にユーザが位置する側であり、被写体側（カメラのレンズが設けられている側）とは逆側である。
　または、映像イベントとして、発光部及び表示装置を用いずに、追加ユーザが特別なアクション（例えば、手を挙げたり、又は、手をふったり）を行ってもよい。この場合、カメラ１０５（ソフトウェア）は、映像イベントとして、どのようなアクションをすべきかを追加ユーザに指示する。
　または、映像イベントの代わりに、音声イベントが用いられてもよい。例えば、追加ユーザのカメラ１０５は、音声イベントとして、特定パターンの音をカメラ１０５のスピーカから発生させてもよい。この場合、複数の既存ユーザのカメラは、当該カメラのマイクでこの音を集音する。既存ユーザのカメラにモノラルマイクが用いられている場合には、管理サーバ１０４は、複数の既存ユーザのカメラのマイクで取得された音の強度を基に、三角測量の手法で追加ユーザのカメラ１０５の位置を推定する。また、既存ユーザのカメラがステレオマイクを備える場合には、管理サーバ１０４は、このカメラで得られた情報から音源の方向を推定し、推定結果と他の既存ユーザの集音結果と組み合わせてカメラ１０５の位置を推定してもよい。
　または、映像イベントの代わりに、顔認識が用いられてもよい。具体的には、管理サーバ１０４は、追加ユーザの顔画像を所持している。または、セッション参加希望時に追加ユーザのカメラ１０５が管理サーバ１０４に追加ユーザの顔画像を送信する。管理サーバ１０４は、所持している顔画像を用いて、既存ユーザのカメラで撮影された画像に対して顔認識を行うことで、追加ユーザ（カメラ１０５）の位置を推定してもよい。
　または、複数の既存ユーザのカメラは、当該カメラと追加ユーザのカメラ１０５との近距離通信（ＮＦＣ、ＢｌｕｅＴｏｏｔｈ（登録商標）又はＷｉＦｉ等）の通信強度を管理サーバ１０４に送信し、管理サーバ１０４は三角測量の手法で追加ユーザのカメラ１０５の位置を推定してもよい。
　または、既存ユーザのカメラが距離測定の機能を有している場合には、既存ユーザのカメラは、当該カメラとフラッシュとの距離を計測し、計測結果を管理サーバ１０４へ送信してもよい。この場合、管理サーバ１０４は、受信した計測結果を追加ユーザの位置推定に用いる。
　なお、（１）ある参加済みカメラが被写体１０３を撮影していないと判断された場合、（２）当該カメラの位置が他の参加済みユーザの近傍に無いと判断された場合、又は、（３）当該カメラの位置情報の信頼性が低いと判断された場合に、管理サーバ１０４は、当該参加済みカメラに対して、上記カメラ位置推定処理を行ってもよい。
　また、フラッシュなどの視認性の良い映像イベントを用いることで、追加ユーザの存在が既存ユーザ及び被写体から分かりやすくなるため、盗撮及び撮影結果の意図しない拡散に対する抑止効果も期待できる。
　以上のように、本実施の形態に係る画像撮影システムは、新たなユーザ（追加ユーザ）が、共有画像を共有するためのセッションへ参加することを認証する（図４のＳ２１３及びＳ２１４）。また、図１０に示すように、画像撮影システムは、新たなユーザが、既にセッションに参加している参加済みカメラで検知可能なイベントを行い（Ｓ５０２）、参加済みユーザの位置及び当該参加済みカメラで検知されたイベントに基づき、新たなユーザの位置を推定する（Ｓ５０３～Ｓ５０５）。例えば、上記イベントは、新たなユーザのカメラがフラッシュを発光することである。または、上記イベントは、新たなユーザが特定のアクションを行うことである。
　これにより、当該画像撮影システムは、容易に新たなユーザの位置を推定できる。
　（実施の形態３）
　本実施の形態では、既存ユーザのカメラ画像を用いた追加ユーザの位置推定についてより詳細に説明する。
　図１４～図１７を用いて説明する。図１４は、カメラの拡大縮小設定がワイドの場合のカメラ画像の例を示す。図１５は、カメラの拡大縮小設定がズームの場合のカメラ画像の例を示す。
　管理サーバ１０４は、例えば、カメラで撮影された画像を図のように横方向に３分割する。中央を方向Ｃの領域、左側を方向Ｌの領域、右側を方向Ｒの領域とする。管理サーバ１０４は、映像イベントが検出された画像内の領域に応じて、カメラ周辺のどの方向に映像イベントが位置するのかを推定する。
　図１６及び図１７は、上記領域と対応する方向の関係を示す図である。この対応関係は拡大縮小に応じて変わるし、カメラのデバイス特性に応じても変わる。図１５及び図１７に示すように、拡大縮小設定がズームの場合には、管理サーバ１０４は、映像イベントが比較的正面方向に寄った方向のいずれかで発生していると推定する。
　例えば、各カメラは、画像のアップロード時に、拡大縮小設定（ズーム倍率）を示す情報もあわせて管理サーバ１０４へ送信する。管理サーバ１０４は、受信した情報を用いて、画像の撮影時の拡大縮小設定を判断する。
　図１８は、３個の既存ユーザのカメラ１０６Ａ～１０６Ｃを用いた場合の例を示す図である。なお、この３個のカメラ１０６Ａ～１０６Ｃの位置情報（位置と姿勢（向き））は既知であるとする。
　この例では、カメラ１０６Ａで撮影された画像の画面内にて、左右方向における中央領域にフラッシュが検出されたため、管理サーバ１０４は、追加ユーザのカメラが正面方向の領域１２１Ａに存在すると推定する。カメラ１０６Ｂで撮影された画像の画面内の左方向にフラッシュが検出されたため、管理サーバ１０４は、追加ユーザのカメラが左方向の領域１２１Ｂに存在する推定する。カメラ１０６Ｃで撮影された画像の画面内の左右方向の中央領域にフラッシュが検出されたため、管理サーバ１０４は、追加ユーザのカメラが正面方向の領域１２１Ｃに存在すると推定する。管理サーバ１０４は、この３つの推定された領域１２１Ａ～１２１Ｃが最も多く重なる領域１２２に、追加ユーザのカメラが存在すると推定する。
　以上、実施の形態に係る画像撮影方法及び画像撮影システムついて説明したが、本発明は、この実施の形態に限定されるものではない。
　また、上記実施の形態に係る画像撮影システムに含まれる各装置に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
　また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
　言い換えると、画像撮影システムに含まれる各装置は、処理回路（ｐｒｏｃｅｓｓｉｎｇ　ｃｉｒｃｕｉｔｒｙ）と、当該処理回路に電気的に接続された（当該処理回路からアクセス可能な）記憶装置（ｓｔｏｒａｇｅ）とを備える。処理回路は、専用のハードウェア及びプログラム実行部の少なくとも一方を含む。また、記憶装置は、処理回路がプログラム実行部を含む場合には、当該プログラム実行部により実行されるソフトウェアプログラムを記憶する。処理回路は、記憶装置を用いて、上記実施の形態に係る予測画像生成方法、符号化方法又は復号方法を実行する。
　さらに、本発明は上記ソフトウェアプログラムであってもよいし、上記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
　また、上記で用いた数字は、全て本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。
　また、上記の画像撮影方法に含まれるステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
　以上、本発明の一つ又は複数の態様に係る予測画像生成装置、符号化装置及び復号装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つ又は複数の態様の範囲内に含まれてもよい。
　（実施の形態４）
　上記各実施の形態で示した画像処理方法及び装置の構成の他の応用例とそれを用いたシステムを説明する。当該システムは、インテリジェント化と対象空間の広域化とが進む映像システムに適用でき、例えば、（１）店舗或いは工場のセキュリティカメラ、又は警察の車載カメラなどに実装される監視システム、（２）個人所有のカメラ或いは各車載カメラ、又は道路に備えられたカメラなどを用いた交通情報システム、（３）ドローンなど遠隔操作又は自動制御可能な装置を用いた環境調査又は配送システム、及び（４）エンターテイメント施設又はスタジアム等における設置カメラ、ドローン等の移動カメラ、又は個人所有のカメラなどを用いた映像などのコンテンツ送受信システムなどに適用できる。
　図１９は、本実施の形態における映像情報処理システムｅｘ１００の構成を示す図である。本実施の形態においては、死角の発生を防止する例、及び特定の領域を撮影禁止にする例について説明する。
　図１９に示す映像情報処理システムｅｘ１００は、映像情報処理装置ｅｘ１０１と、複数のカメラｅｘ１０２と、映像受信装置ｅｘ１０３とを含む。なお、映像受信装置ｅｘ１０３は、必ずしも映像情報処理システムｅｘ１００に含まれる必要はない。
　映像情報処理装置ｅｘ１０１は、保存部ｅｘ１１１と、解析部ｅｘ１１２とを備える。Ｎ個のカメラｅｘ１０２のそれぞれは、映像を撮影する機能と撮影した映像データを映像情報処理装置ｅｘ１０１に送信する機能とを有する。また、カメラｅｘ１０２は、撮影中の映像を表示する機能を有する場合もある。なお、カメラｅｘ１０２は、撮影された映像信号をＨＥＶＣ又はＨ．２６４のような符号化方式を用いてエンコードしたうえで映像情報処理装置ｅｘ１０１に送信してよいし、エンコードされていない映像データを映像情報処理装置ｅｘ１０１に送信してもよい。
　ここで、各カメラｅｘ１０２は、監視カメラ等の固定カメラ、無人飛行型ラジコンや車等に搭載された移動カメラ、又は、ユーザが所持するユーザカメラである。
　移動カメラは、映像情報処理装置ｅｘ１０１から送信された指示信号を受信し、受信された指示信号に応じて、移動カメラ自体の位置又は撮影方向を変更する。
　また、撮影開示前に複数のカメラｅｘ１０２の時刻が、サーバ又は基準カメラの時刻情報などを用いてキャリブレーションされる。また、複数のカメラｅｘ１０２の空間位置が、撮影対象となる空間のオブジェクトの写り方又は基準カメラからの相対位置に基づいてキャリブレーションされる。
　情報処理装置ｅｘ１０１に含まれる保存部ｅｘ１１１は、Ｎ個のカメラｅｘ１０２から送信された映像データを保存する。
　解析部ｅｘ１１２は、保存部ｅｘ１１１に保存された映像データから死角を検出し、死角の発生を防止するための移動カメラへの指示を示す指示信号を移動カメラへ送信する。移動カメラは指示信号に従って移動を行い、撮影を継続する。
　解析部ｅｘ１１２は、例えば、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ　ｆｒｏｍ　Ｍｏｔｉｏｎ）を用いて死角検出を行う。ＳｆＭとは、異なる位置から撮影された複数の映像から被写体の三次元形状を復元する手法であり、被写体形状及びカメラ位置を同時に推定する形状復元技術として広く知られている。例えば、解析部ｅｘ１１２は、ＳｆＭを用いて、保存部ｅｘ１１１に保存された映像データから施設内又はスタジアム内の三次元形状を復元し、復元できない領域を死角として検出する。
　なお、解析部ｅｘ１１２は、カメラｅｘ１０２の位置及び撮影方向が固定であり、位置及び撮影方向の情報が既知の場合は、これらの既知の情報を用いてＳｆＭを行ってもよい。また、移動カメラの位置及び撮影方向が、移動カメラが備えるＧＰＳ及び角度センサ等により取得できる場合は、移動カメラは、当該移動カメラの位置及び撮影方向の情報を解析部ｅｘ１１２に送信し、解析部ｅｘ１１２は、送信された位置及び撮影方向の情報を用いてＳｆＭを行ってもよい。
　なお、死角検出の方法は上述したＳｆＭを用いた方法に限られるものではない。例えば、解析部ｅｘ１１２は、レーザレンジファインダなどのデプスセンサの情報を用いることで、撮影対象であるオブジェクトの空間距離を把握してもよい。また、解析部ｅｘ１１２は、カメラ位置、撮影方向及びズーム倍率等の情報を、空間内の予め設定したマーカ又は特定のオブジェクトが画像に含まれるか、含まれる場合にはそのサイズ等から検出してもよい。このように、解析部ｅｘ１１２は、各カメラの撮影領域を検出できる任意の方法を用いて、死角の検出を行う。また、解析部ｅｘ１１２は、複数の撮影対象について互いの位置関係等の情報を映像データ又は近接距離センサ等から取得し、取得した位置関係に基づいて死角が発生する可能性の高い領域を特定してもよい。
　ここで死角とは、撮影したい領域中で映像が存在しない部分だけでなく、他の部分と比較して画質の悪い部分、及び予め定められた画質を得られていない部分などを含む。この検出対象の部分は、当該システムの構成又は目的に応じて適宜設定されればよい。例えば、撮影される空間中の特定の被写体について、要求される画質が高く設定されてもよい。また、逆に撮影空間中の特定の領域について、要求される画質が低く設定されてもよいし、映像が撮影されていなくても死角と判定しないように設定されてもよい。
　なお、上述した画質とは、映像中の撮影対象となる被写体が占める面積（例えばピクセル数）、又は撮影対象となる被写体にピントが合っているかといった映像に関する様々な情報を含むものであり、それらの情報又はその組み合わせを基準に死角であるか否かが判定されればよい。
　なお、上記の説明では、実際に死角となっている領域の検出について説明したが、死角の発生を防止するために検出する必要のある領域は実際に死角となっている領域に限定されない。例えば、複数の撮影対象が存在し、少なくともその一部が移動している場合には、ある撮影対象とカメラとの間に別の撮影対象が入ることによって新たな死角が生じる可能性がある。これに対し、解析部ｅｘ１１２は、例えば撮影された映像データ等から複数の撮影対象の動きを検出し、検出された複数の撮影対象の動きとカメラｅｘ１０２の位置情報に基づいて、新たに死角となる可能性のある領域を推定してもよい。この場合、映像情報処理装置ｅｘ１０１は、死角となる可能性のある領域を撮影するように移動カメラに指示信号を送信し、死角の発生を防止してもよい。
　なお、移動カメラが複数ある場合、映像情報処理装置ｅｘ１０１は、死角、又は死角となる可能性がある領域を撮影させるために指示信号を送信する移動カメラを選択する必要がある。また、移動カメラ及び死角、又は死角となる可能性がある領域がそれぞれ複数存在する場合、映像情報処理装置ｅｘ１０１は、複数の移動カメラのそれぞれについて、どの死角、又は死角となる可能性がある領域を撮影させるかを決定する必要がある。例えば、映像情報処理装置ｅｘ１０１は、死角、又は死角となる可能性のある領域と各移動カメラが撮影中の領域の位置とに基づいて、死角、又は死角となる領域に最も近い移動カメラを選択する。また、映像情報処理装置ｅｘ１０１は、各移動カメラについて、当該移動カメラが現在撮影中の映像データが得られない場合に新たに死角が発生するか否かを判定し、現在撮影中の映像データが得られなくても死角が発生しないと判断された移動カメラを選択してもよい。
　以上の構成により、映像情報処理装置ｅｘ１０１は、死角を検出し、死角を防止するように移動カメラに対して指示信号を送信することにより、死角の発生を防止できる。
　（変形例１）
　なお、上記説明では、移動カメラに移動を指示する指示信号が送信される例を述べたが、指示信号は、ユーザカメラのユーザに移動を指示するための信号であってもよい。例えば、ユーザカメラは、指示信号に基づき、ユーザにカメラの方向を変更するように指示する指示画像を表示する。なお、ユーザカメラは、ユーザの移動の指示として、地図上に移動経路を示した指示画像を表示してもよい。また、ユーザカメラは、取得される画像の質を向上させるために撮影方向、角度、画角、画質、及び撮影領域の移動など詳細な撮影の指示を表示してもよく、さらに映像情報処理装置ｅｘ１０１側で制御可能であれば、映像情報処理装置ｅｘ１０１は、そのような撮影に関するカメラｅｘ１０２の特徴量を自動で制御してもよい。
　ここで、ユーザカメラは、例えば、スタジアム内の観客又は施設内の警備員が持つスマートフォン、タブレット型端末、ウェアラブル端末、又はＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）である。
　また、指示画像を表示する表示端末は、映像データを撮影するユーザカメラと同一である必要はない。例えば、ユーザカメラに予め対応付けられた表示端末に対して、ユーザカメラが指示信号又は指示画像を送信し、当該表示端末が指示画像を表示してもよい。また、ユーザカメラに対応する表示端末の情報が、予め映像情報処理装置ｅｘ１０１に登録されてもよい。この場合は、映像情報処理装置ｅｘ１０１は、ユーザカメラに対応する表示端末に対して指示信号を直接送信することで、表示端末に指示画像を表示させてもよい。
　（変形例２）
　解析部ｅｘ１１２は、例えばＳｆＭを用いて、保存部ｅｘ１１１に保存された映像データから施設内又はスタジアム内の三次元形状を復元することで自由視点映像（三次元再構成データ）を生成してもよい。この自由視点映像は、保存部ｅｘ１１１に保存される。映像情報処理装置ｅｘ１０１は、映像受信装置ｅｘ１０３から送信される視野情報（及び／又は、視点情報）に応じた映像データを保存部ｅｘ１１１から読み出して、映像受信装置ｅｘ１０３に送信する。なお、映像受信装置ｅｘ１０３は、複数のカメラ１１１の一つであってもよい。
　（変形例３）
　映像情報処理装置ｅｘ１０１は、撮影禁止領域を検出してもよい。この場合、解析部ｅｘ１１２は撮影画像を解析し、移動カメラが撮影禁止領域を撮影している場合には移動カメラに対して撮影禁止信号を送信する。移動カメラは撮影禁止信号を受信している間は撮影を停止する。
　解析部ｅｘ１１２は、例えば、ＳｆＭを用いて復元された三次元の仮想空間と、撮影映像とのマッチングを取ることで、空間内で予め設定されている移動カメラが撮影禁止領域を撮影中かを判定する。または、解析部ｅｘ１１２は、空間内に配置されたマーカ又は特徴的なオブジェクトをトリガーとして移動カメラが撮影禁止領域を撮影中かを判定する。撮影禁止領域とは、例えば施設内又はスタジアム内のトイレなどである。
　また、ユーザカメラが撮影禁止領域を撮影している場合には、ユーザカメラは、無線又は有線で接続されるディスプレイ等にメッセージを表示したり、スピーカ又はイヤホンから音又は音声を出力したりすることで、現在の場所が撮影禁止場所であることをユーザに知らせてもよい。
　例えば、上記メッセージとして、現在カメラを向けている方向が撮影禁止である旨が表示される。または、表示される地図上に撮影禁止領域と現在の撮影領域とが示される。また、撮影の再開は、例えば、撮影禁止信号が出力されなくなれば自動的に行われる。または、撮影禁止信号が出力されておらず、かつ、ユーザが撮影再開を行う操作をした場合に、撮影が再開されてもよい。また、撮影の停止と再開とが短期間で複数回起こった場合には、再度キャリブレーションが行われてもよい。または、ユーザに現在位置を確認したり移動を促したりするための通知が行われてもよい。
　また、警察など特別な業務の場合には、記録のためこのような機能をオフにするパスコード又は指紋認証などが用いられてもよい。さらに、そのような場合であっても撮影禁止領域の映像が外部に表示されたり保存される場合には自動でモザイクなど画像処理が行われてもよい。
　以上の構成により、映像情報処理装置ｅｘ１０１は、撮影禁止の判定を行い、撮影を停止するようにユーザに通知することで、ある領域を撮影禁止に設定できる。
　（変形例４）
　映像から三次元の仮想空間を構築するためには、複数視点の映像を集める必要があるため、映像情報処理システムｅｘ１００は、撮影映像を転送したユーザに対してインセンティブを設定する。例えば、映像情報処理装置ｅｘ１０１は、映像を転送したユーザに対し、無料又は割引料金で映像配信を行ったり、オンライン又はオフラインの店又はゲーム内で使用できるような金銭的な価値、又はゲームなどのバーチャル空間での社会的地位など非金銭的な価値のあるポイントを付与する。また、映像情報処理装置ｅｘ１０１は、リクエストが多いなど価値のある視野（及び／又は、視点）の撮影映像を転送したユーザに対しては特に高いポイントを付与する。
　（変形例５）
　映像情報処理装置ｅｘ１０１は、解析部ｅｘ１１２の解析結果に基づき、ユーザカメラに対して付加情報を送信してもよい。この場合、ユーザカメラは撮影映像に付加情報を重畳して、画面に表示する。付加情報とは、例えば、スタジアムでの試合が撮影されている場合には、選手名又は身長などの選手の情報であり、映像内の各選手に対応付けて当該選手の名前又は顔写真などが表示される。なお、映像情報処理装置ｅｘ１０１は、映像データの一部又は全部の領域に基づきインターネット経由の検索により、付加情報を抽出してもよい。また、カメラｅｘ１０２は、Ｂｌｕｅｔｏｏｔｈ（登録商標）をはじめとする近距離無線通信又は、スタジアム等の照明から可視光通信によりそのような付加情報を受け取り、受け取った付加情報を、映像データにマッピングしてもよい。また、カメラｅｘ１０２は、このマッピングを、カメラｅｘ１０２に有線又は無線により接続される記憶部に保持されるテーブルであって、可視光通信技術により得られる情報と付加情報との対応関係を示すテーブルなどの一定規則に基づいて行なってもよいし、インターネット検索により最も確からしい組み合わせの結果を用いて行なってもよい。
　また、監視システムにおいては、施設内の警備員が持つユーザカメラに対して、例えば注意人物の情報が重畳されることで、監視システムの高精度化を図ることができる。
　（変形例６）
　解析部ｅｘ１１２は，自由視点映像とユーザカメラの撮影映像とのマッチングを取ることで、ユーザカメラが施設内又はスタジアム内のどの領域を撮影中かを判定してもよい。なお、撮影領域の判定方法はこれに限られず、上述した各実施の形態で説明した様々な撮影領域の判定方法又はその他の撮影領域の判定方法を用いられてもよい。
　映像情報処理装置ｅｘ１０１は、解析部ｅｘ１１２の解析結果に基づき、ユーザカメラに対して過去映像を送信する。ユーザカメラは撮影映像に過去映像を重畳して、又は撮影映像を過去映像に置換して、画面に表示する。
　例えば、ハーフタイム中に、過去映像として前半のハイライトシーンが表示される。これにより、ユーザはハーフタイム中に、前半のハイライトシーンを自分が見ている方向の映像として楽しむことができる。なお過去映像は、前半のハイライトシーンに限らず、そのスタジアムで行われた過去の試合のハイライトシーンなどでもよい。また、映像情報処理装置ｅｘ１０１が過去映像を配信するタイミングはハーフタイム中に限らず、例えば試合終了後でも、試合中でもよい。特に試合中の場合には、解析部ｅｘ１１２の解析結果に基づき、映像情報処理装置ｅｘ１０１はユーザが見逃した重要と考えられるシーンを配信してもよい。また、映像情報処理装置ｅｘ１０１はユーザからリクエストがあった場合のみ過去映像を配信してもよく、又は過去映像の配信前に配信許可のメッセージを配信してもよい。
　（変形例７）
　映像情報処理装置ｅｘ１０１は、解析部ｅｘ１１２の解析結果に基づき、ユーザカメラに対して広告情報を送信してもよい。ユーザカメラは撮影映像に広告情報を重畳して、画面に表示する。
　広告情報は例えば変形例５で示した、ハーフタイム中又は試合終了後の過去映像配信直前に配信されてもよい。これにより、配信業者は広告主からの広告料を得ることができ、ユーザに安価又は無料で映像配信サービスを提供できる。また、映像情報処理装置ｅｘ１０１は、広告情報の配信直前に広告配信許可のメッセージを配信してもよいし、ユーザが広告を視聴した場合のみ無料でサービスを提供してもよいし、広告を視聴しない場合より安価にサービスを提供してもよい。
　また、広告に従ってユーザが「今すぐ注文する」などをクリックすると、当該システム又は何らかの位置情報に基づいてユーザの位置を把握しているスタッフ又は会場の自動の配送システムが注文された飲み物を席まで届けてくれる。決裁はスタッフへの手渡しでもよいし、予めモバイル端末のアプリ等に設定されているクレジットカード情報に基づいて行われてもよい。また、広告にはｅコマースサイトへのリンクが含まれ、通常の自宅配送等のオンラインショッピングが可能な状態になっていてもよい。
　（変形例８）
　映像受信装置ｅｘ１０３は、カメラｅｘ１０２（ユーザカメラ）の一つであってもよい。
　この場合、解析部ｅｘ１１２は、自由視点映像とユーザカメラの撮影映像とのマッチングを取ることで、ユーザカメラが施設内又はスタジアム内のどの領域を撮影中かを判定する。なお、撮影領域の判定方法はこれに限らない。
　例えば、ユーザが、画面に表示されている矢印の方向にスワイプ操作をすると、ユーザカメラはその方向へ視点を移動させることを示す視点情報を生成する。映像情報処理装置ｅｘ１０１は、解析部ｅｘ１１２が判定したユーザカメラの撮影領域から視点情報の分だけ移動させた領域を撮影した映像データを保存部ｅｘ１１１から読み出し、当該映像データのユーザカメラへの送信を開始する。そしてユーザカメラは撮影映像ではなく、映像情報処理装置ｅｘ１０１から配信された映像を表示する。
　以上により、施設内又はスタジアム内のユーザは、画面スワイプのような簡易な動作で、好きな視点からの映像を視聴できる。例えば野球場の３塁側で観戦している観客が、１塁側の視点からの映像を視聴できる。また、監視システムにおいては、施設内の警備員が画面スワイプのような簡易な動作で、自身が確認したい視点又はセンターからの割り込みとして注視すべき映像などを、視点を適用的に変えながら視聴することができるので、監視システムの高精度化を図ることができる。
　また、施設内又はスタジアム内のユーザへの映像の配信は、例えばユーザカメラと撮影対象との間に障害物が存在し、見えない領域がある場合等にも有効である。この場合、ユーザカメラは、ユーザカメラの撮影領域のうち障害物が含まれる一部の領域の映像を、撮影映像から、映像情報処理装置ｅｘ１０１からの配信映像に切り替えて表示してもよいし、画面全体を撮影映像から配信映像に切り替えて表示してもよい。また、ユーザカメラは、撮影映像と配信映像とを合成して障害物を透過して視聴対象が見えているような映像を表示してもよい。この構成によると、障害物の影響でユーザの位置から撮影対象が見えない場合にも、映像情報処理装置ｅｘ１０１から配信された映像を視聴することができるので、障害物の影響を軽減することができる。
　また、障害物により見えない領域の映像として配信映像を表示する場合は、上述した画面スワイプのようなユーザによる入力処理に応じた表示の切り替え制御とは異なる表示の切り替え制御が行われてもよい。例えば、ユーザカメラの移動及び撮影方向の情報、並びに予め得られている障害物の位置情報に基づいて撮影領域に障害物が含まれると判定される場合に、撮影映像から配信映像への表示の切り替えが自動的に行われもよい。また、撮影映像データの解析により撮影対象ではない障害物が映っていると判定された場合に、撮影映像から配信映像への表示の切り替えが自動的に行われてもよい。また、撮影映像に含まれる障害物の面積（例えばピクセル数）が所定の閾値を超えた場合、又は撮影対象の面積に対する障害物の面積の比が所定の割合を超えた場合に、撮影映像から配信映像への表示の切り替えが自動的に行われてもよい。
　なお、ユーザの入力処理に応じて撮影映像から配信映像への表示の切り替え及び配信映像から撮影映像への表示の切り替えが行われてもよい。
　（変形例９）
　各カメラｅｘ１０２で撮影された映像データの重要度に基づき映像データを映像情報処理装置ｅｘ１０１に転送する速度が指示されてもよい。
　この場合、解析部ｅｘ１１２は保存部ｅｘ１１１に保存された映像データ、又は当該映像データを撮影したカメラｅｘ１０２の重要度を判定する。ここでの重要度の判定は、例えば映像中に含まれる人の数或いは移動物体の数、映像データの画質などの情報、又はその組み合わせに基づいて行われる。
　また、映像データの重要度の判定は、映像データが撮影されたカメラｅｘ１０２の位置又は映像データが撮影している領域に基づいてもよい。例えば、対象のカメラｅｘ１０２の近くに撮影中の他のカメラｅｘ１０２が複数存在する場合に、対象のカメラｅｘ１０２で撮影された映像データの重要度を低くする。また、対象のカメラｅｘ１０２の位置が他のカメラｅｘ１０２から離れていても同じ領域を撮影している他のカメラｅｘ１０２が複数存在する場合に、対象のカメラｅｘ１０２で撮影された映像データの重要度を低くする。また、映像データの重要度の判定は、映像配信サービスにおけるリクエストの多さに基づいて行われてもよい。なお、重要度の判定方法は、上述したものやその組み合わせに限られず、監視システム又は映像配信システムの構成又は目的に応じた方法であればよい。
　また、重要度の判定は撮影された映像データに基づくものでなくてもよい。例えば、映像情報処理装置ｅｘ１０１以外の端末へ映像データを送信するカメラｅｘ１０２の重要度が高く設定されてもよい。逆に、映像情報処理装置ｅｘ１０１以外の端末へ映像データを送信するカメラｅｘ１０２の重要度が低く設定されてもよい。これにより、例えば、映像データの伝送を必要とする複数のサービスが通信帯域を共有している場合に、各サービスの目的又は特性に応じた通信帯域の制御の自由度が高くなる。これにより、必要な映像データが得られないことによる各サービスの品質の劣化を防止できる。
　また、解析部ｅｘ１１２は、自由視点映像とカメラｅｘ１０２の撮影映像とを用いて、映像データの重要度を判定してもよい。
　映像情報処理装置ｅｘ１０１は、解析部ｅｘ１１２で行われた重要度の判定結果に基づき、カメラｅｘ１０２に対して通信速度指示信号を送信する。映像情報処理装置ｅｘ１０１は、例えば、重要度が高い映像を撮影しているカメラｅｘ１０２に対して高い通信速度を指示する。また、映像情報処理装置ｅｘ１０１は、速度の制御だけではなく、重要な情報については、欠落によるデメリットを低減するために複数回送るような方式を指示する信号を送信してもよい。これにより、施設内又はスタジアム内全体の通信を効率的に行うことができる。なお、カメラｅｘ１０２と映像情報処理装置ｅｘ１０１との通信は、有線通信であっても無線通信であってもよい。また、映像情報処理装置ｅｘ１０１は、有線通信及び無線通信のいずれか一方のみを制御してもよい。
　カメラｅｘ１０２は、通信速度指示信号に従った通信速度で、撮影映像データを映像情報処理装置ｅｘ１０１に送信する。なお、カメラｅｘ１０２は所定の回数再送が失敗した場合には、その撮影映像データの再送を停止し、次の撮影映像データの転送を開始してもよい。これにより、施設内又はスタジアム内全体の通信を効率的に行うことができ、解析部ｅｘ１１２における処理の高速化を実現できる。
　また、カメラｅｘ１０２は、それぞれに割り当てられた通信速度が撮影した映像データを転送するために十分な帯域でない場合は、撮影した映像データを、割り当てられた通信速度で送信可能なビットレートの映像データに変換し、変換後の映像データを送信してもよし、映像データの転送を中止してもよい。
　また、上述したように死角の発生を防止するために映像データが使用される場合、撮影された映像データに含まれる撮影領域のうちの一部の領域のみが死角を埋めるために必要である可能性がある。この場合、カメラｅｘ１０２は、少なくとも、映像データから、死角の発生を防止するために必要とされる領域のみを抽出することで抽出映像データを生成し、生成された抽出映像データを映像情報処理装置ｅｘ１０１に送信してもよい。この構成によると、死角の発生の抑制をより少ない通信帯域で実現できる。
　また、例えば、付加情報の重畳表示又は映像配信が行われる場合には、カメラｅｘ１０２は、映像情報処理装置ｅｘ１０１にカメラｅｘ１０２の位置情報及び撮影方向の情報を送信する必要がある。この場合、映像データを転送するためには十分ではない帯域しか割り当てられなかったカメラｅｘ１０２は、カメラｅｘ１０２で検出された位置情報及び撮影方向の情報のみを送信してもよい。また、映像情報処理装置ｅｘ１０１においてカメラｅｘ１０２の位置情報及び撮影方向の情報を推定する場合は、カメラｅｘ１０２は、撮影した映像データを、位置情報及び撮影方向の情報の推定に必要な解像度に変換し、変換された映像データを映像情報処理装置ｅｘ１０１に送信してもよい。この構成によると、少ない通信帯域しか割り当てられなかったカメラｅｘ１０２に対しても、付加情報の重畳表示又は映像配信のサービスを提供できる。また、映像情報処理装置ｅｘ１０１は、より多くのカメラｅｘ１０２から撮影領域の情報を取得できるため、例えば注目されている領域を検出する等の目的で、撮影領域の情報を利用するような場合においても有効である。
　なお、上述した割り当てられた通信帯域に応じた映像データの転送処理の切り替えは、通知された通信帯域に基づいてカメラｅｘ１０２が行ってもよいし、映像情報処理装置ｅｘ１０１が各カメラｅｘ１０２の動作を決定し、決定された動作を示す制御信号を各カメラｅｘ１０２に通知してもよい。これにより、動作の切り替えの判定に必要な計算量、カメラｅｘ１０２の処理能力、及び必要となる通信帯域等に応じて、適切に処理の分担を行える。
　（変形例１０）
　解析部ｅｘ１１２は、映像受信装置ｅｘ１０３から送信された視野情報（及び／又は、視点情報）に基づき、映像データの重要度を判定してもよい。例えば、解析部ｅｘ１１２は、視野情報（及び／又は、視点情報）が示す領域を多く含む撮影映像データの重要度を高く設定する。また、解析部ｅｘ１１２は、映像中に含まれる人の数、又は移動物体の数を考慮して、映像データの重要度を判定してもよい。なお、重要度の判定方法はこれに限らない。
　なお、本実施の形態で説明した通信制御方法は、必ずしも複数の映像データから三次元形状の再構築を行うシステムにおいて用いられる必要はない。例えば複数のカメラｅｘ１０２が存在する環境において、映像データを選択的又は伝送速度に差をつけて有線通信及び／又は無線通信で送信する場合であれば、本実施の形態で説明した通信制御方法は有効である。
　（変形例１１）
　映像配信システムにおいて、映像情報処理装置ｅｘ１０１は、撮影シーンの全体を示す概観映像を映像受信装置ｅｘ１０３に送信してもよい。
　具体的には、映像情報処理装置ｅｘ１０１は、映像受信装置ｅｘ１０３から送信された配信リクエストを受信した場合、保存部ｅｘ１１１から施設内又はスタジアム内全体の概観映像を読み出し、当該外観映像を映像受信装置ｅｘ１０３に送信する。この概観映像は更新間隔が長くてもよく（低フレームレートでもよく）、また画質が低くてもよい。視聴者は、映像受信装置ｅｘ１０３の画面上に表示された概観映像中で、見たい部分をタッチする。これにより、映像受信装置ｅｘ１０３は、タッチされた部分に対応する視野情報（及び／又は、視点情報）を映像情報処理装置ｅｘ１０１に送信する。
　映像情報処理装置ｅｘ１０１は、視野情報（及び／又は、視点情報）に応じた映像データを保存部ｅｘ１１１から読み出し、当該映像データを映像受信装置ｅｘ１０３に送信する。
　また、解析部ｅｘ１１２は、視野情報（及び／又は、視点情報）で示される領域に対して優先的に三次元形状の復元（三次元再構成）を行うことで自由視点映像を生成する。解析部ｅｘ１１２は、施設内又はスタジアム内全体の三次元形状を、概観を示す程度の精度で復元する。これにより、映像情報処理装置ｅｘ１０１は、三次元形状の復元を効率的に行うことができる。その結果、視聴者が見たい領域の自由視点映像の高フレームレート化、及び高画質を実現できる。
　（変形例１２）
　なお、映像情報処理装置ｅｘ１０１は、例えば、設計図面などから事前に生成された施設又はスタジアムの三次元形状復元データを事前映像として、予め保存しておいてもよい。なお、事前映像はこれに限らず、デプスセンサから得られる空間の凹凸と、過去又はキャリブレーション時の画像又は映像データから導出されるピクチャとをオブジェクトごとにマッピングした仮想空間データであってもよい。
　例えば、スタジアムでサッカーが行われている場合、解析部ｅｘ１１２は、選手及びボールのみに限定して三次元形状の復元を行い、得られた復元データと事前映像とを合成することで自由視点映像を生成してもよい。あるいは、解析部ｅｘ１１２は、選手及びボールに対して優先して三次元形状の復元を行ってもよい。これにより、映像情報処理装置ｅｘ１０１は、三次元形状の復元を効率的に行うことができる。その結果、視聴者が注目する選手及びボールに関する自由視点映像の高フレームレート化及び高画質化を実現できる。また、監視システムにおいては、解析部ｅｘ１１２は、人物及び移動物体のみに限定して、又はそれらを優先して三次元形状の復元を行ってもよい。
　（変形例１３）
　各装置の時刻は、サーバの基準時刻等に基づき、撮影開始時にキャリブレーションされてもよい。解析部ｅｘ１１２は、複数のカメラｅｘ１０２で撮影された複数の撮影映像データのうち、時刻設定の精度に応じて、予め設定された時間範囲内に属する時刻に撮影された複数の映像データを用いて、三次元形状の復元を行う。この時刻の検出には、例えば撮影映像データが保存部ｅｘ１１１に格納された時刻が用いられる。なお、時刻の検出方法はこれに限らない。これにより、映像情報処理装置ｅｘ１０１は、三次元形状の復元を効率的に行うことができるので、自由視点映像の高フレームレート化及び高画質化を実現できる。
　または、解析部ｅｘ１１２は、保存部ｅｘ１１１に保存された複数の映像データのうち、高画質データのみを用いて、又は高画質データを優先的に用いて、三次元形状の復元を行ってもよい。
　（変形例１４）
　解析部ｅｘ１１２は，カメラ属性情報を用いて、三次元形状の復元を行ってもよい。この場合、カメラｅｘ１０２は、撮影映像データとカメラ属性情報とを映像情報処理装置ｅｘ１０１に送信する。カメラ属性情報は、例えば、撮影位置、撮影角度、撮影時刻、又はズーム倍率などである。
　これにより、映像情報処理装置ｅｘ１０１は、三次元形状の復元を効率的に行うことができるので、自由視点映像の高フレームレート化及び高画質化を実現できる。
　具体的には、カメラｅｘ１０２は、施設内又はスタジアム内に三次元座標を定義し、カメラｅｘ１０２がどのあたりの座標をどの角度から、どれ位のズームで、どの時間に撮ったかという情報を映像と共にカメラ属性情報として映像情報処理装置ｅｘ１０１に送信する。また、カメラｅｘ１０２の起動時に、施設内又はスタジアム内の通信ネットワーク上の時計とカメラ内の時計との同期がとられ、時間情報が生成される。
　また、カメラｅｘ１０２の起動時又は任意のタイミングで施設内又はスタジアム内の特定のポイントにカメラｅｘ１０２を向けることにより、カメラｅｘ１０２の位置及び角度情報が取得される。図２０は、カメラｅｘ１０２に起動時に、カメラｅｘ１０２の画面上に表示される通知の一例を示す図である。ユーザがこの通知に従い、スタジアム北側の広告中のサッカーボール中心にある「＋」に、画面中央に表示された「＋」を合わせて、カメラｅｘ１０２のディスプレイをタッチすると、カメラｅｘ１０２は、カメラｅｘ１０２から広告までのベクトル情報を取得しカメラ位置及び角度の基準を特定する。その後、カメラｅｘ１０２のモーション情報からその時々のカメラ座標及び角度が特定される。もちろん、この表示に限るものではなく、矢印等を用いて撮影期間中も座標、角度、又は撮影領域の移動速度等を指示するような表示が用いられてもよい。
　カメラｅｘ１０２の座標の特定は、ＧＰＳ、ＷｉＦｉ（登録商標）、３Ｇ、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）、及び５Ｇ（無線ＬＡＮ）の電波を用いて行われてもよいし、ビーコン（Ｂｌｕｅｔｏｏｔｈ（登録商標）、超音波）など近距離無線を利用して行われてもよい。また、施設内又はスタジアム内のどの基地局に撮影映像データが届いたかという情報が用いられてもよい。
　（変形例１５）
　当該システムはスマートフォン等のモバイル端末上で動作するアプリケーションとして提供されてもよい。
　上記システムへのログインには、各種ＳＮＳ等のアカウントが用いられてもよい。なお、アプリ専用のアカウント、又は機能が制限されたゲストアカウントが用いられてもよい。このようにアカウントが用いられることで、好みの映像又は好みのアカウント等を評価することができる。また、撮影中又は視聴中の映像データに類似した映像データ、撮影中又は視聴中の映像データの視点に類似した視点の映像データなどに優先的に帯域を割り振ることで、これらの映像データの解像度を高めることができる。これにより、これらの視点からの三次元形状の復元をより精度よく行うことができる。
　また、ユーザは、当該アプリケーションで、好みの画像映像を選択し、相手方をフォローすることで、選択した画像を他のユーザよりも優先して見たり、相手方の承認などを条件にテキストチャット等でつながりをもつことができる。このように、新たなコミュニティの生成が可能である。
　このようにユーザ同士がコミュニティ内でつながることにより、撮影自体、また撮影した画像の共有などが活発化し、より精度の高い三次元形状の復元を促すことができる。
　また、コミュニティ内のつながりの設定に応じて、ユーザは、他人が撮影した画像又は映像を編集したり、他人の画像と自分の画像とをコラージュして新たな画像又は映像を作成したりできる。これにより、新たな画像又は映像を当該コミュニティ内の人のみでシェアするなど、新たな映像作品のシェアが可能になる。また、この編集においてＣＧのキャラクタを挿入するなどにより、拡張現実（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）のゲーム等にも映像作品を利用できる。
　また、当該システムによると三次元モデルデータが逐次出力可能になるため、ゴールシーンなどの特徴的なシーンでの三次元モデルデータに基づき、施設が有する３Ｄプリンタなどが立体オブジェクトを出力することができる。これにより、試合後に、その試合中のシーンに基づくオブジェクトをキーホルダーのようなお土産として売ったり、参加ユーザに配布することも可能である。もちろん通常の写真として、もっとも良い視点からの画像をプリントすることも可能である。
　（変形例１６）
　上記システムを用いて、例えば、警察の車載カメラ、及び警察官のウェアラブルカメラの映像などから、地域全体の大雑把な状態を、当該システムに接続されたセンターで管理することができる。
　一般のパトロールの時は、例えば数分おきで静止画の送受信が行なわれる。また、センターは、過去の犯罪データ等を用いて分析した結果に基づいた犯罪マップに基づいて犯罪発生の可能性が高い地域を特定する、もしくはこのように特定された犯罪発生確率に関連する地域データを保持している。特定された犯罪発生確率の高い地域では、画像の送受信の頻度を上げたり、画像を動画に変更したりしてもよい。また、事件発生時は、動画、又はＳｆＭ等を用いた三次元再構成データが用いられてもよい。また、センターもしくは各端末が、同時にデプスセンサ又はサーモセンサなど他のセンサの情報を用いて画像又は仮想空間を補正することで、警察官は、より正確に状況を把握できる。
　また、センターは、三次元再構成データを用いることで、複数の端末にそのオブジェクトの情報をフィードバックできる。これにより、各端末を持つ個々人がオブジェクトをトラッキングできる。
　また、最近では、建造物或いは環境の調査、又はスポーツなどの臨場感ある撮影等の目的で、クワッドコプター、ドローンなどの飛行可能な装置による空中からの撮影が行なわれる。このような自律移動装置による撮影は、画像がブレるということが問題になりやすいが、ＳｆＭは位置及び傾きによりそのブレを補正しながら三次元化を行なうことが可能である。これにより、画質の向上、及び空間の復元精度の向上を実現できる。
　また、車外を撮影する車載カメラの設置が、国によっては義務付けられている。このような車載カメラにおいても、複数の画像からモデル化された三次元データを用いることで、行き先の方向の天気及び路面の状態、並びに渋滞度合い等をより精度よく把握できる。
　（実施の形態５）
　上記各実施の形態で示した画像処理方法の構成を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。
　さらにここで、上記各実施の形態で示した画像処理方法の応用例とそれを用いたシステムを説明する。当該システムは、画像処理方法を用いた装置を有することを特徴とする。システムにおける他の構成について、場合に応じて適切に変更することができる。
　図２１は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ２００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ２０６、ｅｘ２０７、ｅｘ２０８、ｅｘ２０９、ｅｘ２１０が設置されている。
　このコンテンツ供給システムｅｘ２００は、インターネットｅｘ２０１にインターネットサービスプロバイダｅｘ２０２および通信網ｅｘ２０４、および基地局ｅｘ２０６からｅｘ２１０を介して、コンピュータｅｘ２１１、ＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔ）ｅｘ２１２、カメラｅｘ２１３、スマートフォンｅｘ２１４、ゲーム機ｅｘ２１５などの各機器が接続される。
　しかし、コンテンツ供給システムｅｘ２００は図２１のような構成に限定されず、いずれかの要素を組合せて接続するようにしてもよい。また、固定無線局である基地局ｅｘ２０６からｅｘ２１０を介さずに、各機器が電話線、ケーブルテレビ、又は光通信などの通信網ｅｘ２０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。
　カメラｅｘ２１３はデジタルビデオカメラ等の動画撮影が可能な機器であり、カメラｅｘ２１６はデジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、スマートフォンｅｘ２１４は、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ　Ｓｙｓｔｅｍ　ｆｏｒ　Ｍｏｂｉｌｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ　Ｄｉｖｉｓｉｏｎ　Ｍｕｌｔｉｐｌｅ　Ａｃｃｅｓｓ）方式、Ｗ－ＣＤＭＡ（Ｗｉｄｅｂａｎｄ－Ｃｏｄｅ　Ｄｉｖｉｓｉｏｎ　Ｍｕｌｔｉｐｌｅ　Ａｃｃｅｓｓ）方式、若しくはＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）方式、ＨＳＰＡ（Ｈｉｇｈ　Ｓｐｅｅｄ　Ｐａｃｋｅｔ　Ａｃｃｅｓｓ）、又は高周波帯域を利用した通信方式などに対応するスマートフォン機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ　Ｈａｎｄｙｐｈｏｎｅ　Ｓｙｓｔｅｍ）等であり、いずれでも構わない。
　コンテンツ供給システムｅｘ２００では、カメラｅｘ２１３等が基地局ｅｘ２０９、通信網ｅｘ２０４を通じてストリーミングサーバｅｘ２０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラｅｘ２１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して符号化処理を行い、ストリーミングサーバｅｘ２０３に送信する。一方、ストリーミングサーバｅｘ２０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ２１１、ＰＤＡｅｘ２１２、カメラｅｘ２１３、スマートフォンｅｘ２１４、ゲーム機ｅｘ２１５等がある。配信されたデータを受信した各機器では、受信したデータを復号化処理して再生する。
　なお、撮影したデータの符号化処理はカメラｅｘ２１３で行っても、データの送信処理をするストリーミングサーバｅｘ２０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号化処理はクライアントで行っても、ストリーミングサーバｅｘ２０３で行ってもよいし、互いに分担して行ってもよい。また、カメラｅｘ２１３に限らず、カメラｅｘ２１６で撮影した静止画像および／または動画像データを、コンピュータｅｘ２１１を介してストリーミングサーバｅｘ２０３に送信してもよい。この場合の符号化処理はカメラｅｘ２１６、コンピュータｅｘ２１１、ストリーミングサーバｅｘ２０３のいずれで行ってもよいし、互いに分担して行ってもよい。さらに復号された画像の表示についても、システムにつながった複数の機器が連動して同じ画像を表示してもよいし、大きな表示部を有する装置で全体の画像を表示し、スマートフォンｅｘ２１４等では画像の一部の領域を拡大して表示してもよい。
　また、これら符号化・復号化処理は、一般的にコンピュータｅｘ２１１や各機器が有するＬＳＩｅｘ５００において処理する。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化・復号化用のソフトウェアをコンピュータｅｘ２１１等で読み取り可能な何らかの記録メディア（ＣＤ－ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化・復号化処理を行ってもよい。さらに、スマートフォンｅｘ２１４がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データはスマートフォンｅｘ２１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。
　また、ストリーミングサーバｅｘ２０３は複数のサーバや複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。
　以上のようにして、コンテンツ供給システムｅｘ２００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムｅｘ２００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号化し、再生することができ、特別な権利や設備を有さないユーザでも個人放送を実現できる。
　なお、コンテンツ供給システムｅｘ２００の例に限らず、図２２に示すように、デジタル放送用システムｅｘ３００にも、上記各実施の形態を適用してもよい。具体的には、放送局ｅｘ３０１では映像データに音楽データなどが多重化された多重化データが電波を介して通信または衛星ｅｘ３０２に伝送される。この映像データは上記各実施の形態で説明した動画像符号化方法により符号化されたデータである。これを受けた放送衛星ｅｘ３０２は、放送用の電波を発信し、この電波を衛星放送の受信が可能な家庭のアンテナｅｘ３０４が受信する。受信した多重化データを、テレビ（受信機）ｅｘ４００またはセットトップボックス（ＳＴＢ）ｅｘ３１７等の装置が復号化して再生する。
　また、ＤＶＤ、ＢＤ等の記録メディアｅｘ３１５、もしくはＳＤなどのメモリｅｘ３１６に記録した多重化データを読み取り復号化する、または記録メディアｅｘ３１５もしくはメモリｅｘ３１６に映像信号を符号化し、さらに場合によっては音楽信号と多重化して書き込むリーダ／レコーダｅｘ３１８にも上記各実施の形態で示した動画像復号化装置または動画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ３１９に表示され、多重化データが記録された記録メディアｅｘ３１５、又はメモリｅｘ３１６により他の装置やシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルｅｘ３０３または衛星／地上波放送のアンテナｅｘ３０４に接続されたセットトップボックスｅｘ３１７内に動画像復号化装置を実装し、これをテレビのモニタｅｘ３１９で表示してもよい。このときセットトップボックスではなく、テレビ内に動画像復号化装置を組み込んでもよい。
　図２３は、スマートフォンｅｘ２１４を示す図である。また、図２４は、スマートフォンｅｘ２１４の構成例を示す図である。スマートフォンｅｘ２１４は、基地局ｅｘ２１０との間で電波を送受信するためのアンテナｅｘ４５０、映像、静止画を撮ることが可能なカメラ部ｅｘ４６５、カメラ部ｅｘ４６５で撮像した映像、アンテナｅｘ４５０で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ４５８を備える。スマートフォンｅｘ２１４は、さらに、タッチパネル等である操作部ｅｘ４６６、音声を出力するためのスピーカ等である音声出力部ｅｘ４５７、音声を入力するためのマイク等である音声入力部ｅｘ４５６、撮影した映像、静止画、録音した音声、または受信した映像、静止画、メール等の符号化されたデータもしくは復号化されたデータを保存可能なメモリ部ｅｘ４６７、又は図２２に例示されたメモリｅｘ３１６、もしくはユーザを特定し、ネットワークをはじめ各種データへのアクセスの認証をするためのＳＩＭｅｘ４６８とのインタフェース部であるスロット部ｅｘ４６４を備える。
　スマートフォンｅｘ２１４は、表示部ｅｘ４５８及び操作部ｅｘ４６６等を統括的に制御する主制御部ｅｘ４６０に対して、電源回路部ｅｘ４６１、操作入力制御部ｅｘ４６２、映像信号処理部ｅｘ４５５、カメラインタフェース部ｅｘ４６３、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）制御部ｅｘ４５９、変調／復調部ｅｘ４５２、多重／分離部ｅｘ４５３、音声信号処理部ｅｘ４５４、スロット部ｅｘ４６４、メモリ部ｅｘ４６７がバスｅｘ４７０を介して互いに接続されている。
　電源回路部ｅｘ４６１は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりスマートフォンｅｘ２１４を動作可能な状態に起動する。
　スマートフォンｅｘ２１４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有する主制御部ｅｘ４６０の制御に基づいて、音声通話モード時に音声入力部ｅｘ４５６で収音した音声信号を音声信号処理部ｅｘ４５４でデジタル音声信号に変換し、これを変調／復調部ｅｘ４５２でスペクトラム拡散処理し、送信／受信部ｅｘ４５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ４５０を介して送信する。またスマートフォンｅｘ２１４は、音声通話モード時にアンテナｅｘ４５０を介して受信した受信データを増幅して周波数変換処理およびアナログデジタル変換処理を施し、変調／復調部ｅｘ４５２でスペクトラム逆拡散処理し、音声信号処理部ｅｘ４５４でアナログ音声信号に変換した後、これを音声出力部ｅｘ４５７から出力する。
　さらにデータ通信モード時に電子メールを送信する場合、本体部の操作部ｅｘ４６６等の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ４６２を介して主制御部ｅｘ４６０に送出される。主制御部ｅｘ４６０は、テキストデータを変調／復調部ｅｘ４５２でスペクトラム拡散処理をし、送信／受信部ｅｘ４５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ４５０を介して基地局ｅｘ２１０へ送信する。電子メールを受信する場合は、受信したデータに対してこのほぼ逆の処理が行われ、表示部ｅｘ４５８に出力される。
　データ通信モード時に映像、静止画、または映像と音声を送信する場合、映像信号処理部ｅｘ４５５は、カメラ部ｅｘ４６５から供給された映像信号を上記各実施の形態で示した動画像符号化方法によって圧縮符号化し、符号化された映像データを多重／分離部ｅｘ４５３に送出する。また、音声信号処理部ｅｘ４５４は、映像、静止画等をカメラ部ｅｘ４６５で撮像中に音声入力部ｅｘ４５６で収音した音声信号を符号化し、符号化された音声データを多重／分離部ｅｘ４５３に送出する。
　多重／分離部ｅｘ４５３は、映像信号処理部ｅｘ４５５から供給された符号化された映像データと音声信号処理部ｅｘ４５４から供給された符号化された音声データを所定の方式で多重化し、その結果得られる多重化データを変調／復調部（変調／復調回路部）ｅｘ４５２でスペクトラム拡散処理をし、送信／受信部ｅｘ４５１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ４５０を介して送信する。
　データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、または映像およびもしくは音声が添付された電子メールを受信する場合、アンテナｅｘ４５０を介して受信された多重化データを復号化するために、多重／分離部ｅｘ４５３は、多重化データを分離することにより映像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ４７０を介して符号化された映像データを映像信号処理部ｅｘ４５５に供給するとともに、符号化された音声データを音声信号処理部ｅｘ４５４に供給する。映像信号処理部ｅｘ４５５は、上記各実施の形態で示した動画像符号化方法に対応した動画像復号化方法によって復号化することにより映像信号を復号し、ＬＣＤ制御部ｅｘ４５９を介して表示部ｅｘ４５８から、例えばホームページにリンクされた動画像ファイルに含まれる映像、静止画が表示される。また音声信号処理部ｅｘ４５４は、音声信号を復号し、音声出力部ｅｘ４５７から音声が出力される。
　また、上記スマートフォンｅｘ２１４等の端末は、テレビｅｘ４００と同様に、符号化器・復号化器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号化器のみの受信端末という３通りの実装形式が考えられる。さらに、デジタル放送用システムｅｘ３００において、映像データに音楽データなどが多重化された多重化データを受信、送信するとして説明したが、音声データ以外に映像に関連する文字データなどが多重化されたデータであってもよいし、多重化データではなく映像データ自体であってもよい。
　また、本発明はかかる上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
　本発明は、画像撮影方法及び画像撮影装置に適用できる。また、本発明は、画像撮影機能を備える、テレビ、デジタルビデオレコーダ、ドライブレコーダ、携帯電話、スマートフォン、デジタルカメラ、監視カメラ、及びデジタルビデオカメラ等の情報表示機器又は撮像機器に利用可能である。
　１０１，１０２，１０２Ａ，１０２Ｂ，１０５，１０６Ａ，１０６Ｂ，１０６Ｃ　カメラ
　１０３　被写体
　１０４　管理サーバ
　１０７　フラッシュ

Claims (13)

  1. 　複数のカメラで同一の被写体が撮影されることで得られる複数の画像、又は前記複数の画像から生成された画像、である共有画像を前記複数のカメラの複数のユーザで共有するための画像撮影方法であって、
    　前記複数のカメラの一つである対象カメラが前記被写体を撮影したかを判定する判定ステップと、
    　前記対象カメラが前記被写体を撮影したと判定された場合、前記対象カメラが前記被写体を撮影した期間に応じて、前記対象カメラのユーザに前記共有画像の閲覧を許可する許可ステップとを含む
    　画像撮影方法。
  2. 　前記対象カメラが前記被写体を撮影した期間を判定し、
    　前記許可ステップでは、前記対象カメラのユーザに、異なる期間において撮影又は生成された複数の前記共有画像のうち、前記対象カメラが前記被写体を撮影したと判定された期間において撮影された画像又は当該画像から生成された画像の閲覧を許可する
    　請求項１記載の画像撮影方法。
  3. 　前記対象カメラが前記被写体を撮影した期間を判定し、
    　前記許可ステップでは、前記対象カメラが前記被写体を撮影したと判定された期間内において、前記対象カメラのユーザによる前記共有画像の閲覧を許可する
    　請求項１記載の画像撮影方法。
  4. 　前記判定ステップでは、前記対象カメラの位置情報及び前記対象カメラで撮影された画像に前記被写体が写っているかに応じて、前記対象カメラが前記被写体を撮影したかを判定する
    　請求項１～３のいずれか１項に記載の画像撮影方法。
  5. 　前記画像撮影方法は、さらに、
    　新たなユーザが、前記共有画像を共有するためのセッションへ参加することを認証する認証ステップと、
    　前記新たなユーザが、既に前記セッションに参加している参加済みユーザのカメラで検知可能なイベントを行うイベント実行ステップと、
    　前記参加済みユーザの位置及び当該参加済みユーザのカメラで検知された前記イベントに基づき、前記新たなユーザの位置を推定する位置推定ステップとを含む
    　請求項１～４のいずれか１項に記載の画像撮影方法。
  6. 　前記イベントは、前記新たなユーザのカメラがフラッシュを発光することである
    　請求項５記載の画像撮影方法。
  7. 　前記イベントは、前記新たなユーザが特定のアクションを行うことである
    　請求項５記載の画像撮影方法。
  8. 　前記画像撮影方法は、さらに、
    　第１カメラが、前記共有画像を共有するためのセッションを生成するセッション生成ステップと、
    　前記第１カメラが、前記セッションに関するセッション情報をサーバに送信する第１送信ステップと、
    　前記サーバが、第２カメラに前記セッション情報を送信する第２送信ステップとを含む
    　請求項１～４のいずれか１項に記載の画像撮影方法。
  9. 　前記第２送信ステップでは、前記サーバは、複数のカメラから、前記第１カメラの近傍に位置する前記第２カメラを抽出する
    　請求項８記載の画像撮影方法。
  10. 　複数のカメラで同一の被写体が撮影されることで得られる複数の画像、又は前記複数の画像から生成された画像、である共有画像を前記複数のカメラの複数のユーザで共有するための画像撮影システムであって、
    　前記複数のカメラの一つである対象カメラが前記被写体を撮影したかを判定する判定部と、
    　前記対象カメラが前記被写体を撮影したと判定された場合、前記対象カメラが前記被写体を撮影した期間に応じて、前記対象カメラのユーザに前記共有画像の閲覧を許可する許可部とを備える
    　画像撮影システム。
  11. 　複数のカメラで同一の被写体が撮影されることで得られる複数の画像、又は前記複数の画像から生成された画像、である共有画像を前記複数のカメラの複数のユーザで共有するための画像撮影システムに含まれるサーバであって、
    　前記複数のカメラの一つである対象カメラが前記被写体を撮影したかを判定する判定部と、
    　前記対象カメラが前記被写体を撮影したと判定された場合、前記対象カメラが前記被写体を撮影した期間に応じて、前記対象カメラのユーザに前記共有画像の閲覧を許可する許可部とを備える
    　サーバ。
  12. 　複数のカメラで同一の被写体が撮影されることで得られる複数の画像、又は前記複数の画像から生成された画像、である共有画像を前記複数のカメラの複数のユーザで共有するための画像撮影システムに含まれる画像撮影装置であって、
    　前記複数のカメラの一つである対象カメラと、
    　前記共有画像を表示する表示部と、
    　前記共有画像を少なくとも一時的に保持する記憶部とを備え、
    　前記対象カメラが前記被写体を撮影したと判定された場合、前記対象カメラが前記被写体を撮影した期間に応じて設定された、前記共有画像の閲覧許可期間に限り、前記共有画像を外部から受信し、受信された前記共有画像を前記記憶部に保持する
    　画像撮影装置。
  13. 　複数のカメラで同一の被写体が撮影されることで得られる複数の画像、又は前記複数の画像から生成された画像、である共有画像を前記複数のカメラの複数のユーザで共有するための画像撮影プログラムであって、
    　前記複数のカメラの一つである対象カメラが前記被写体を撮影したかを判定する判定ステップと、
    　前記対象カメラが前記被写体を撮影したと判定された場合、前記対象カメラが前記被写体を撮影した期間に応じて、前記対象カメラのユーザに前記共有画像の閲覧を許可する許可ステップとをコンピュータに実行させる
    　画像撮影プログラム。
PCT/JP2015/002181 2014-05-27 2015-04-22 画像撮影方法、画像撮影システム、サーバ、画像撮影装置及び画像撮影プログラム WO2015182034A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/340,204 US10356183B2 (en) 2014-05-27 2016-11-01 Method for sharing photographed images between users
US16/431,017 US10862977B2 (en) 2014-05-27 2019-06-04 Method for sharing photographed images between users

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201462003189P 2014-05-27 2014-05-27
US62/003,189 2014-05-27
JP2014254544A JP5979396B2 (ja) 2014-05-27 2014-12-16 画像撮影方法、画像撮影システム、サーバ、画像撮影装置及び画像撮影プログラム
JP2014-254544 2014-12-16

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/340,204 Continuation US10356183B2 (en) 2014-05-27 2016-11-01 Method for sharing photographed images between users

Publications (1)

Publication Number Publication Date
WO2015182034A1 true WO2015182034A1 (ja) 2015-12-03

Family

ID=54698396

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/002181 WO2015182034A1 (ja) 2014-05-27 2015-04-22 画像撮影方法、画像撮影システム、サーバ、画像撮影装置及び画像撮影プログラム

Country Status (1)

Country Link
WO (1) WO2015182034A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018020673A1 (ja) * 2016-07-29 2018-02-01 株式会社ソニー・インタラクティブエンタテインメント 画像管理システムおよび無人飛行体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010109783A (ja) * 2008-10-31 2010-05-13 Casio Computer Co Ltd 電子カメラ
JP2012216885A (ja) * 2011-03-31 2012-11-08 Nikon Corp 撮像装置及び画像共有システム
WO2013047071A1 (ja) * 2011-09-27 2013-04-04 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 コンテンツ共有システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010109783A (ja) * 2008-10-31 2010-05-13 Casio Computer Co Ltd 電子カメラ
JP2012216885A (ja) * 2011-03-31 2012-11-08 Nikon Corp 撮像装置及び画像共有システム
WO2013047071A1 (ja) * 2011-09-27 2013-04-04 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 コンテンツ共有システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018020673A1 (ja) * 2016-07-29 2018-02-01 株式会社ソニー・インタラクティブエンタテインメント 画像管理システムおよび無人飛行体
JPWO2018020673A1 (ja) * 2016-07-29 2019-03-28 株式会社ソニー・インタラクティブエンタテインメント 画像管理システムおよび無人飛行体
US10721378B2 (en) 2016-07-29 2020-07-21 Sony Interactive Entertainment Inc. Image management system and unmanned flying body

Similar Documents

Publication Publication Date Title
JP6607433B2 (ja) 映像配信方法及びサーバ
JP6948624B2 (ja) 映像配信方法及びサーバ
US10862977B2 (en) Method for sharing photographed images between users
JP7054677B2 (ja) カメラワーク生成方法及び映像処理装置
JP7203356B2 (ja) 撮像システム
JP7113294B2 (ja) 多視点撮像システム
JP6820527B2 (ja) 映像同期装置及び映像同期方法
US10271082B2 (en) Video distribution method, video reception method, server, terminal apparatus, and video distribution system
JP6460105B2 (ja) 撮影方法、撮影システムおよび端末装置
JP7122694B2 (ja) 撮像システムおよび校正方法
WO2017134706A1 (ja) 映像表示方法及び映像表示装置
WO2019225681A1 (ja) 校正装置および校正方法
WO2015159487A1 (ja) 映像配信方法、映像受信方法、サーバ、端末装置及び映像配信システム
JP2017139725A (ja) 映像表示方法及び映像表示装置
WO2015194082A1 (ja) 画像処理方法および画像処理システム
WO2015182034A1 (ja) 画像撮影方法、画像撮影システム、サーバ、画像撮影装置及び画像撮影プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15800381

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15800381

Country of ref document: EP

Kind code of ref document: A1