JP2014082746A - 情報処理装置、情報処理方法 - Google Patents
情報処理装置、情報処理方法 Download PDFInfo
- Publication number
- JP2014082746A JP2014082746A JP2013138442A JP2013138442A JP2014082746A JP 2014082746 A JP2014082746 A JP 2014082746A JP 2013138442 A JP2013138442 A JP 2013138442A JP 2013138442 A JP2013138442 A JP 2013138442A JP 2014082746 A JP2014082746 A JP 2014082746A
- Authority
- JP
- Japan
- Prior art keywords
- sound
- image
- focus
- information processing
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/87—Regeneration of colour television signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
- H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
Abstract
【解決手段】 複数視点から撮影して取得された複数の画像から、第1のピントで合っている領域を有する第1の画像、該第1のピントとは異なる第2のピントで合っている領域を有する第2の画像、第1のピントと第2のピントとの間のピントで合っている領域を有する第3の画像、を生成する。第1の画像、第3の画像、第2の画像、を表示部に表示する。第1の画像に関連づけられている音と、第2の画像に関連づけられている音と、から、音を生成する。第1の画像、第3の画像、第2の画像を表示部に1つずつ表示している間に、生成した音を再生する。
【選択図】 図1
Description
本実施形態に係る情報処理装置の機能構成例について、図13のブロック図を用いて説明する。
本実施形態に係る情報処理装置は、複数の撮像部と複数の音声収集部とを備える撮像装置であり、多視点の映像の撮影及び複数の音声の収集を行うと共に、リフォーカス画像の再生表示と同期させて対応する音声を再生する。
動画の再生中にデジタルリフォーカスを行う情報処理装置の機能構成例について、図6のブロック図を用いて説明する。
本実施形態では、リフォーカス処理中に、移行元、中間、移行先の3点でピントが合う場合における音声の合成について説明する。
本実施形態では、リフォーカス処理中に、移行元、中間、移行先の3点でピントが合う場合であって、音の発生時間が異なる場合における音声の合成について説明する。
本実施形態では、リフォーカス中に、ピント領域が同時に複数ある場合の再生音声の合成について説明する。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (15)
- 情報処理装置であって、
複数の視点から撮影して取得された複数の画像から、第1のピントで合っている領域を有する第1の画像と、該第1のピントとは異なる第2のピントで合っている領域を有する第2の画像と、前記第1のピントと前記第2のピントとの間のピントで合っている領域を有する第3の画像と、を生成する画像生成手段と、
前記第1の画像、前記第3の画像、前記第2の画像、を表示部に表示する表示制御手段と、
前記第1の画像に関連づけられている音と、前記第2の画像に関連づけられている音と、から、音を生成する音生成手段と、
前記音生成手段が生成した音を再生する再生手段と
を備え、
前記再生手段は、前記第1の画像、前記第3の画像、前記第2の画像を前記表示部に1つずつ表示している間に、前記音生成手段が生成した音を再生することを特徴とする情報処理装置。 - 前記第1の画像に関連づけられている音は、前記第1のピントで合っている対象の位置に関連する音であり、前記第2の画像に関連づけられている音は、前記第2のピントで合っている対象の位置に関連する音であることを特徴とする請求項1に記載の情報処理装置。
- 前記第1の画像に関連づけられている音、前記第2の画像に関連づけられている音、のそれぞれは、複数の音収集部を用いて収集された音を分離して得られた音であることを特徴とする請求項1又は2に記載の情報処理装置。
- 前記音生成手段は、前記第1の画像に関連づけられている音の音量と、前記第2の画像に関連づけられている音の音量と、を調整して、音を生成することを特徴とする請求項1乃至3の何れか1項に記載の情報処理装置。
- 情報処理装置であって、
複数の視点から撮影して取得された複数の画像から、ピントが合っている領域を有し、且つ該ピントがそれぞれ異なる複数の画像を生成する画像生成手段と、
複数の音収集部を用いて収集された音を分離し、分離したそれぞれの音の音源位置を求める分離手段と、
前記画像生成手段が生成したそれぞれの画像について、該画像内でピントが合っている対象の位置と、該位置に関連する音源位置の音と、を関連づけて保持部に登録する登録手段と
を備えることを特徴とする情報処理装置。 - 前記登録手段は、前記画像生成手段が生成した画像内でピントが合っている対象の位置と、該位置と同じ音源位置の音と、を関連づけて前記保持部に登録することを特徴とする請求項5に記載の情報処理装置。
- 前記登録手段は、前記画像生成手段が生成した画像内でピントが合っている対象の位置と、該位置と同じ若しくは近傍の音源位置の音と、を関連づけて前記保持部に登録することを特徴とする請求項5に記載の情報処理装置。
- 情報処理装置が行う情報処理方法であって、
前記情報処理装置の画像生成手段が、複数の視点から撮影して取得された複数の画像から、第1のピントで合っている領域を有する第1の画像と、該第1のピントとは異なる第2のピントで合っている領域を有する第2の画像と、前記第1のピントと前記第2のピントとの間のピントで合っている領域を有する第3の画像と、を生成する画像生成工程と、
前記情報処理装置の表示制御手段が、前記第1の画像、前記第3の画像、前記第2の画像、を表示部に表示する表示制御工程と、
前記情報処理装置の音生成手段が、前記第1の画像に関連づけられている音と、前記第2の画像に関連づけられている音と、から、音を生成する音生成工程と、
前記情報処理装置の再生手段が、前記音生成工程で生成した音を再生する再生工程と
を備え、
前記再生工程では、前記第1の画像、前記第3の画像、前記第2の画像を前記表示部に1つずつ表示している間に、前記音生成工程で生成した音を再生することを特徴とする情報処理方法。 - 前記第1の画像に関連づけられている音は、前記第1のピントで合っている対象の位置に関連する音であり、前記第2の画像に関連づけられている音は、前記第2のピントで合っている対象の位置に関連する音であることを特徴とする請求項8に記載の情報処理方法。
- 前記第1の画像に関連づけられている音、前記第2の画像に関連づけられている音、のそれぞれは、複数の音収集部を用いて収集された音を分離して得られた音であることを特徴とする請求項8又は9に記載の情報処理方法。
- 前記音生成工程では、前記第1の画像に関連づけられている音の音量と、前記第2の画像に関連づけられている音の音量と、を調整して、音を生成することを特徴とする請求項8乃至10の何れか1項に記載の情報処理方法。
- 情報処理装置が行う情報処理方法であって、
前記情報処理装置の画像生成手段が、複数の視点から撮影して取得された複数の画像から、ピントが合っている領域を有し、且つ該ピントがそれぞれ異なる複数の画像を生成する画像生成工程と、
前記情報処理装置の分離手段が、複数の音収集部を用いて収集された音を分離し、分離したそれぞれの音の音源位置を求める分離工程と、
前記情報処理装置の登録手段が、前記画像生成工程で生成したそれぞれの画像について、該画像内でピントが合っている対象の位置と、該位置に関連する音源位置の音と、を関連づけて保持部に登録する登録工程と
を備えることを特徴とする情報処理方法。 - 前記登録工程では、前記画像生成工程で生成した画像内でピントが合っている対象の位置と、該位置と同じ音源位置の音と、を関連づけて前記保持部に登録することを特徴とする請求項12に記載の情報処理方法。
- 前記登録工程では、前記画像生成工程で生成した画像内でピントが合っている対象の位置と、該位置と同じ若しくは近傍の音源位置の音と、を関連づけて前記保持部に登録することを特徴とする請求項12に記載の情報処理方法。
- コンピュータを、請求項1乃至7の何れか1項に記載の情報処理装置の各手段として機能させるためのコンピュータプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013138442A JP6216169B2 (ja) | 2012-09-26 | 2013-07-01 | 情報処理装置、情報処理方法 |
US14/024,969 US20140086551A1 (en) | 2012-09-26 | 2013-09-12 | Information processing apparatus and information processing method |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012212966 | 2012-09-26 | ||
JP2012212966 | 2012-09-26 | ||
JP2013138442A JP6216169B2 (ja) | 2012-09-26 | 2013-07-01 | 情報処理装置、情報処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014082746A true JP2014082746A (ja) | 2014-05-08 |
JP2014082746A5 JP2014082746A5 (ja) | 2016-08-18 |
JP6216169B2 JP6216169B2 (ja) | 2017-10-18 |
Family
ID=50338939
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013138442A Expired - Fee Related JP6216169B2 (ja) | 2012-09-26 | 2013-07-01 | 情報処理装置、情報処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20140086551A1 (ja) |
JP (1) | JP6216169B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105075288B (zh) * | 2013-02-15 | 2018-10-19 | 松下知识产权经营株式会社 | 指向性控制系统、校准方法、水平偏差角计算方法及指向性控制方法 |
US11783864B2 (en) * | 2015-09-22 | 2023-10-10 | Fyusion, Inc. | Integration of audio into a multi-view interactive digital media representation |
EP3151535A1 (en) | 2015-09-29 | 2017-04-05 | Thomson Licensing | Plenoptic camera having an array of sensors for generating digital images and method of capturing an image using a plenoptic camera |
US9756421B2 (en) * | 2016-01-22 | 2017-09-05 | Mediatek Inc. | Audio refocusing methods and electronic devices utilizing the same |
JP6700813B2 (ja) * | 2016-01-29 | 2020-05-27 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
WO2017208820A1 (ja) * | 2016-05-30 | 2017-12-07 | ソニー株式会社 | 映像音響処理装置および方法、並びにプログラム |
US10579879B2 (en) | 2016-08-10 | 2020-03-03 | Vivint, Inc. | Sonic sensing |
JP2018101452A (ja) * | 2016-12-20 | 2018-06-28 | カシオ計算機株式会社 | 出力制御装置、コンテンツ記憶装置、出力制御方法、コンテンツ記憶方法、プログラム及びデータ構造 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009025340A (ja) * | 2007-07-17 | 2009-02-05 | Nec Electronics Corp | オーディオデータ再生装置及びオーディオデータ再生速度制御方法 |
JP2011013600A (ja) * | 2009-07-06 | 2011-01-20 | Fujifilm Corp | レンズアレイ構造体、複眼撮像装置および複眼表示装置 |
JP2012015651A (ja) * | 2010-06-29 | 2012-01-19 | Sanyo Electric Co Ltd | 電子機器 |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5514408B2 (ja) * | 1972-08-29 | 1980-04-16 | ||
JPS5271209A (en) * | 1975-12-11 | 1977-06-14 | Matsushita Electric Ind Co Ltd | Three dimensional sound collecting device |
US4720712A (en) * | 1985-08-12 | 1988-01-19 | Raytheon Company | Adaptive beam forming apparatus |
JPS6359300A (ja) * | 1986-08-29 | 1988-03-15 | Matsushita Electric Ind Co Ltd | ビデオカメラ |
JP3528284B2 (ja) * | 1994-11-18 | 2004-05-17 | ヤマハ株式会社 | 3次元サウンドシステム |
US5714997A (en) * | 1995-01-06 | 1998-02-03 | Anderson; David P. | Virtual reality television system |
JP3195920B2 (ja) * | 1999-06-11 | 2001-08-06 | 科学技術振興事業団 | 音源同定・分離装置及びその方法 |
KR100542129B1 (ko) * | 2002-10-28 | 2006-01-11 | 한국전자통신연구원 | 객체기반 3차원 오디오 시스템 및 그 제어 방법 |
JP4091850B2 (ja) * | 2003-01-20 | 2008-05-28 | 富士フイルム株式会社 | 画像撮影装置 |
JP2004279845A (ja) * | 2003-03-17 | 2004-10-07 | Univ Waseda | 信号分離方法およびその装置 |
JP2006314078A (ja) * | 2005-04-06 | 2006-11-16 | Sony Corp | 撮像装置、音声記録装置および音声記録方法 |
EA011601B1 (ru) * | 2005-09-30 | 2009-04-28 | Скуэрхэд Текнолоджи Ас | Способ и система для направленного захвата аудиосигнала |
US7970123B2 (en) * | 2005-10-20 | 2011-06-28 | Mitel Networks Corporation | Adaptive coupling equalization in beamforming-based communication systems |
US8559705B2 (en) * | 2006-12-01 | 2013-10-15 | Lytro, Inc. | Interactive refocusing of electronic images |
JP4897519B2 (ja) * | 2007-03-05 | 2012-03-14 | 株式会社神戸製鋼所 | 音源分離装置,音源分離プログラム及び音源分離方法 |
US8218033B2 (en) * | 2007-09-10 | 2012-07-10 | Sanyo Electric Co., Ltd. | Sound corrector, sound recording device, sound reproducing device, and sound correcting method |
DE102008023370B4 (de) * | 2008-05-13 | 2013-08-01 | Siemens Medical Instruments Pte. Ltd. | Verfahren zum Betreiben eines Hörgeräts und Hörgerät |
US8244058B1 (en) * | 2008-05-30 | 2012-08-14 | Adobe Systems Incorporated | Method and apparatus for managing artifacts in frequency domain processing of light-field images |
CN101350931B (zh) * | 2008-08-27 | 2011-09-14 | 华为终端有限公司 | 音频信号的生成、播放方法及装置、处理系统 |
US8319858B2 (en) * | 2008-10-31 | 2012-11-27 | Fortemedia, Inc. | Electronic apparatus and method for receiving sounds with auxiliary information from camera system |
US20100123785A1 (en) * | 2008-11-17 | 2010-05-20 | Apple Inc. | Graphic Control for Directional Audio Input |
US9094645B2 (en) * | 2009-07-17 | 2015-07-28 | Lg Electronics Inc. | Method for processing sound source in terminal and terminal using the same |
US8755432B2 (en) * | 2010-06-30 | 2014-06-17 | Warner Bros. Entertainment Inc. | Method and apparatus for generating 3D audio positioning using dynamically optimized audio 3D space perception cues |
US20130076966A1 (en) * | 2011-09-22 | 2013-03-28 | John Norvold Border | Digital imaging system with refocusable imaging mode |
US9258644B2 (en) * | 2012-07-27 | 2016-02-09 | Nokia Technologies Oy | Method and apparatus for microphone beamforming |
JP6012342B2 (ja) * | 2012-09-03 | 2016-10-25 | キヤノン株式会社 | 再生装置、再生装置の制御方法 |
WO2014080074A1 (en) * | 2012-11-20 | 2014-05-30 | Nokia Corporation | Spatial audio enhancement apparatus |
-
2013
- 2013-07-01 JP JP2013138442A patent/JP6216169B2/ja not_active Expired - Fee Related
- 2013-09-12 US US14/024,969 patent/US20140086551A1/en not_active Abandoned
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009025340A (ja) * | 2007-07-17 | 2009-02-05 | Nec Electronics Corp | オーディオデータ再生装置及びオーディオデータ再生速度制御方法 |
JP2011013600A (ja) * | 2009-07-06 | 2011-01-20 | Fujifilm Corp | レンズアレイ構造体、複眼撮像装置および複眼表示装置 |
JP2012015651A (ja) * | 2010-06-29 | 2012-01-19 | Sanyo Electric Co Ltd | 電子機器 |
Also Published As
Publication number | Publication date |
---|---|
US20140086551A1 (en) | 2014-03-27 |
JP6216169B2 (ja) | 2017-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6216169B2 (ja) | 情報処理装置、情報処理方法 | |
KR102650850B1 (ko) | 영상 음향 처리 장치 및 방법, 및 프로그램이 저장된 컴퓨터 판독 가능한 기록 매체 | |
JP4760892B2 (ja) | 表示制御装置、表示制御方法及びプログラム | |
US11783864B2 (en) | Integration of audio into a multi-view interactive digital media representation | |
US20160316253A1 (en) | Localized audio source extraction from video recordings | |
KR20170035608A (ko) | 화상 통화 시스템, 영상표시장치, 영상표시장치의 구동 방법, 실감 영상 생성 방법 및 컴퓨터 판독가능 기록매체 | |
JP4934580B2 (ja) | 映像音声記録装置および映像音声再生装置 | |
US20110001800A1 (en) | Image capturing apparatus, image processing method and program | |
US20140337742A1 (en) | Method, an apparatus and a computer program for determination of an audio track | |
TW200536389A (en) | Intelligent key-frame extraction from a video | |
CN112165590A (zh) | 视频的录制实现方法、装置及电子设备 | |
JP7347597B2 (ja) | 動画編集装置、動画編集方法及びプログラム | |
JP2017534940A (ja) | 3dシーンでオブジェクトを再現するシステム及び方法 | |
JP2014064135A (ja) | 撮像制御装置、撮像制御方法、再生制御装置、再生制御方法及びプログラム | |
CN107172413A (zh) | 现实场景视频显示方法和系统 | |
US20170215005A1 (en) | Audio refocusing methods and electronic devices utilizing the same | |
JP6410769B2 (ja) | 情報処理システム及びその制御方法、コンピュータプログラム | |
JP2001169309A (ja) | 情報記録装置および情報再生装置 | |
CN104780341B (zh) | 一种信息处理方法以及信息处理装置 | |
JP6456171B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2009239349A (ja) | 撮影装置 | |
WO2010061791A1 (ja) | 映像制御装置およびそれを備えた撮像装置、表示装置 | |
JP2019033497A (ja) | 情報処理システム及びその制御方法、コンピュータプログラム | |
JP2018155897A (ja) | 情報処理方法 | |
JP3734805B2 (ja) | 情報記録装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160627 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160627 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170306 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170404 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170825 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170922 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6216169 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |