JP2012015807A - グラフィクスプロセッシングユニットおよび情報処理装置 - Google Patents

グラフィクスプロセッシングユニットおよび情報処理装置 Download PDF

Info

Publication number
JP2012015807A
JP2012015807A JP2010150457A JP2010150457A JP2012015807A JP 2012015807 A JP2012015807 A JP 2012015807A JP 2010150457 A JP2010150457 A JP 2010150457A JP 2010150457 A JP2010150457 A JP 2010150457A JP 2012015807 A JP2012015807 A JP 2012015807A
Authority
JP
Japan
Prior art keywords
processing
video data
data
audio
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010150457A
Other languages
English (en)
Other versions
JP4818450B1 (ja
Inventor
Tsutomu Iwaki
力 岩城
Koji Hachiya
好司 八矢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2010150457A priority Critical patent/JP4818450B1/ja
Priority to US13/087,246 priority patent/US8174529B2/en
Priority to TW100113550A priority patent/TWI439942B/zh
Priority to CN2011101340539A priority patent/CN102314671B/zh
Application granted granted Critical
Publication of JP4818450B1 publication Critical patent/JP4818450B1/ja
Publication of JP2012015807A publication Critical patent/JP2012015807A/ja
Priority to US13/429,122 priority patent/US20120182302A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42653—Internal components of the client ; Characteristics thereof for processing graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42646—Internal components of the client ; Characteristics thereof for reading from or writing on a non-volatile solid state storage medium, e.g. DVD, CD-ROM
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】オーディオデータをビデオデータに連携させて処理することができるグラフィクスプロセッシングユニットを実現する。
【解決手段】実施形態によれば、グラフィクスプロセッシングユニットは、複数のプロセッシングコア内の少なくとも一つの第１プロセッシングコアを用いてビデオデータのフレーム群を解析して前記ビデオデータの特徴を検出すると共に、前記複数のプロセッシングコア内の少なくとも一つの第２プロセッシングコアを用いて、メモリ上のオーディオデータに前記検出されたビデオデータの特徴に関連付けられた加工を施す。グラフィクスプロセッシングユニットは、オーディオ信号出力インタフェースを有しており、加工が施されたオーディオデータに対応するオーディオ信号をサウンド機器に出力する。
【選択図】図３

Description

本発明の実施形態は、グラフィクスプロセッシングユニットおよび同グラフィクスプロセッシングユニットを用いた情報処理装置に関する。
一般に、パーソナルコンピュータのような情報処理装置においては、その情報処理装置の描画性能を高めるためにグラフィクスプロセッシングユニット（ＧＰＵ）が用いられている。最近のＧＰＵの多くは、並列動作可能な複数のプロセッシングコアを含み、例えば２次元または３次元のグラフィクス演算等を高速に実行することができる。
一方、情報処理装置におけるオーディオデータ（サウンドデータとも云う）の処理は、通常、サウンドコントローラと称されるデジタル信号プロセッサ（ＤＳＰ）によって実行される。しかし、一般に、ＤＳＰの演算処理能力は比較的低い。このため、ＤＳＰ単体でオーディオデータに高度な処理を施すことは困難である。
また、最近では、ビデオデータとオーディオデータの双方を扱うように設計されたメディア処理ＬＳＩも開発されている。
再公表特許第２００５／０９６１６８号公報
しかし、通常のメディア処理ＬＳＩによって実現されるのは、せいぜい、ビデオデータをエンコードまたはデコードする機能と、オーディオデータをエンコードまたはデコードする機能程度である。また、通常のメディア処理ＬＳＩでは、ビデオデータに対する処理とオーディオデータに対する処理は互いに独立されている。
ビデオデータとオーディオデータとを含むデジタルコンテンツ（例えば、ムービー、ＤＶＤビデオ、放送番組データ等）においては、それらビデオデータとオーディオデータとは互いに関連している。このため、デジタルコンテンツを再生する装置においては、ビデオデータに対する処理とオーディオデータに対する処理とを互いに連携させるための新たな機能の実現が必要である。
本発明は上述の事情を考慮してなされたものであり、オーディオデータをビデオデータに連携させて処理することができるグラフィクスプロセッシングユニットおよび情報処理装置を提供することを目的とする。
実施形態によれば、グラフィクスプロセッシングユニットは、ホストインタフェースと、メモリコントローラと、複数のプロセッシングコアと、演算制御手段と、映像信号出力インタフェースと、オーディオ信号出力インタフェースとを具備する。ホストインタフェースは、ホストからビデオデータおよびオーディオデータを受信する。メモリコントローラは、前記受信されたビデオデータおよびオーディオデータをメモリに格納する。前記複数のプロセッシングコアは前記メモリに結合されている。演算制御手段は、前記複数のプロセッシングコア内の少なくとも一つの第１プロセッシングコアを用いて前記メモリ上のビデオデータのフレーム群を解析して前記ビデオデータの特徴を検出すると共に、前記複数のプロセッシングコア内の少なくとも一つの第２プロセッシングコアを用いて、前記メモリ上のオーディオデータに前記検出されたビデオデータの特徴に関連付けられた加工を施す。映像信号出力インタフェースは、ビデオデータに対応する映像信号を生成し、生成された映像信号をディスプレイ機器に出力する。オーディオ信号出力インタフェースは、加工が施されたオーディオデータに対応するオーディオ信号を生成し、生成されたオーディオ信号をサウンド機器に出力する。
実施形態に係る情報処理装置の構成を示す斜視図。 同実施形態の情報処理装置のシステム構成を示すブロック図。 同実施形態の情報処理装置に設けられるグラフィクスプロセッシングユニットの構成を示すブロック図。 図３のグラフィクスプロセッシングユニットによって実行される処理の流れを説明するための図。 図３のグラフィクスプロセッシングユニットによって実行されるリバーブ処理の流れを説明するための図。 図３のグラフィクスプロセッシングユニットによってビデオデータおよびオーディオデータに対して実行される処理の流れを説明するための図。 図３のグラフィクスプロセッシングユニットがビデオデータの解析結果に基づいて実行するオーディオ処理の例を説明するための図。 従来のグラフィクスプロセッシングユニットを用いたシステムにおけるビデオデータおよびオーディオデータの流れを説明するための図。 図３のグラフィクスプロセッシングユニットを用いたシステムにおけるビデオデータおよびオーディオデータの流れを説明するための図。 図３のグラフィクスプロセッシングユニットの機能構成を説明するための図。
以下、図面を参照して、実施形態を説明する。
図１は、本発明の一実施形態に係る情報処理装置の外観を示す斜視図である。この情報処理装置は、例えばノートブックタイプのパーソナルコンピュータ１０として実現されている。図１に示すように、本コンピュータ１０は、コンピュータ本体１１と、ディスプレイユニット１２とから構成されている。ディスプレイユニット１２には、ＬＣＤ（liquid crystal display）１７が組み込まれている。ディスプレイユニット１２は、コンピュータ本体１１の上面が露出される開放位置とコンピュータ本体１１の上面を覆う閉塞位置との間を回動自在にコンピュータ本体１１に取り付けられている。
コンピュータ本体１１は、薄い箱形の筐体を有しており、その上面には、キーボード１３、本コンピュータ１０を電源オン／電源オフするためのパワーボタン１４、入力操作パネル１５、タッチパッド１６、スピーカ１８Ａ，１８Ｂなどが配置されている。入力操作パネル１５上には、各種操作ボタンが設けられている。
また、コンピュータ本体１１の右側面には、例えばＵＳＢ（universal serial bus）２．０規格のＵＳＢケーブルやＵＳＢデバイスを接続するためのＵＳＢコネクタ１９が設けられている。さらに、コンピュータ本体１１の背面には、例えばＨＤＭＩ(high-definition multimedia interface)規格に対応した外部ディスプレイ接続端子（図示せず）が設けられている。この外部ディスプレイ接続端子は、デジタル映像信号を外部ディスプレイに出力するために用いられる。
図２は、本コンピュータ１０のシステム構成を示す図である。
本コンピュータ１０は、図２に示されているように、ＣＰＵ１０１、ノースブリッジ１０２、主メモリ１０３、サウスブリッジ１０４、グラフィクスプロセッシングユニット（ＧＰＵ）１０５、メモリ１０５Ａ、ＢＩＯＳ−ＲＯＭ１０７、ＬＡＮコントローラ１０８、ハードディスクドライブ（ＨＤＤ）１０９、光ディスクドライブ（ＯＤＤ）１１０、ＵＳＢコントローラ１１１Ａ、カードコントローラ１１１Ｂ、無線ＬＡＮコントローラ１１２、エンベデッドコントローラ／キーボードコントローラ（ＥＣ／ＫＢＣ）１１３、ＥＥＰＲＯＭ１１４等を備える。
ＣＰＵ１０１は、本コンピュータ１０内の各部の動作を制御するプロセッサである。ＣＰＵ１０１は、ＨＤＤ１０９から主メモリ１０３にロードされる、オペレーティングシステム（ＯＳ）、及び各種アプリケーションプログラムを実行する。アプリケーションプログラムには、各種デジタルコンテンツ（例えば、ムービー、ＤＶＤビデオ、放送番組データ等）を再生するための動画プレーヤが含まれている。この動画プレーヤは、デジタルコンテンツ内のビデオデータおよびオーディオデータをＧＰＵ１０５を用いて再生するように構成されている。また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０７に格納されたＢＩＯＳも実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。
ノースブリッジ１０２は、ＣＰＵ１０１のローカルバスとサウスブリッジ１０４との間を接続するブリッジデバイスである。ノースブリッジ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１０２は、例えば、PCI Express規格のシリアルバスなどを介してＧＰＵ１０５との通信を実行する機能も有している。
ＧＰＵ１０５は、本コンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７および外部ディスプレイを制御する。ＧＰＵ１０５によって生成される映像信号はＬＣＤ１７に送られる。また、ＧＰＵ１０５は、ＨＤＭＩ制御回路３およびＨＤＭＩ端子２を介して、外部ディスプレイ１にデジタル映像信号を送出することもできる。ＨＤＭＩ端子２は、前述の外部ディスプレイ接続端子である。ＨＤＭＩ端子２は、非圧縮のデジタル映像信号とデジタルオーディオ信号とを１本のケーブルでテレビのような外部ディスプレイ１に送出することができる。ＨＤＭＩ制御回路３は、ＨＤＭＩモニタと称される外部ディスプレイ１にデジタル映像信号をＨＤＭＩ端子２を介して送出するためのインタフェースである。
ＧＰＵ１０５は、PCI Express規格のシリアルバス等を介してＣＰＵ１０１に結合されており、ＣＰＵ１０１からの要求に応じてグラフィクスデータ、ビデオデータおよびオーディオデータを処理するように構成されている。より詳しくは、ＧＰＵ１０５は、オーディオデータ（サウンドデータとも云う）をスピーカまたは他の外部サウンド機器に出力するためのオーディオ信号出力インタフェースと、オーディオデータを解析および処理する機能とを有している。したがって、本コンピュータ１０においては、グラフィクスデータのみならず、ビデオデータおよびオーディオデータもＧＰＵ１０５によって処理することができる。そしてＧＰＵ１０５によってそれぞれ生成される映像信号およびオーディオ信号（サウンド信号とも云う）は、ＧＰＵ１０５から直接的にディスプレイ機器（例えば、ＬＣＤ１７、外部ディスプレイ）およびサウンド機器（スピーカ１８Ａ，１８Ｂ、外部サウンド機器）にそれぞれ出力される。
このように、本実施形態では、ＧＰＵ１０５はビデオデータおよびオーディオデータを同時に処理し、そしてビデオデータに対応する映像信号およびオーディオデータに対応するオーディオ信号を外部に直接的に出力することができる。
ＧＰＵ１０５は、複数のプロセッシングコア（ストリーミングプロセッサ）を内蔵している。ＧＰＵ１０５は、例えば、PCI EXPRESSバスを介してＣＰＵ１０１からオーディオデータを受信し、その受信したオーディオデータを複数のプロセッシングコア内の少なくとも一つを用いて処理する。プロセッシングコアによるオーディオデータの処理は、プロセッシングコアに対応する命令セットをファームウェアまたはソフトウェアによってコントロールする事によって実現してもよい。これによって、ＧＰＵ１０５によって実行されるオーディオデータの処理をプログラマブルにすることが可能となり、ＧＰＵ１０５によってオーディオデータに対する様々な処理（編集）を実行することができる。オーディオデータの編集とは、オーディオデータに加工を施すことを意味する。オーディオデータの編集には、例えば、各種サウンドエフェクト、各種フィルタ、２Ｄ−３Ｄサウンド変換、音量調節、等が含まれる。たとえば、ＧＰＵ１０５は、プロセッシングコア上にロードされたプログラムに従って、オーディオデータを解析し、その解析結果に従ってオーディオデータを適応的に処理（編集）することが出来る。
同様に、ＧＰＵ１０５は、例えば、PCI EXPRESSバスを介してＣＰＵ１０１からビデオデータを受信し、その受信したビデオデータを複数のプロセッシングコア内の少なくとも一つを用いて処理することもできる。プロセッシングコアによるビデオデータの処理も、プロセッシングコアに対応する命令セットをファームウェアまたはソフトウェアによってコントロールする事によって実現してもよい。これによって、ＧＰＵ１０５によって実行されるビデオデータの処理をプログラマブルにすることが可能となり、ＧＰＵ１０５によってビデオデータに対する様々な処理（編集）を実行することができる。ビデオデータの編集とは、ビデオデータに加工を施すことを意味する。ビデオデータの編集には、例えば、高解像度変換、２Ｄ−３Ｄ変換、リサイズ、回転、等が含まれる。ＧＰＵ１０５は、プロセッシングコア上にロードされたプログラムに従って、ビデオデータのフレームそれぞれを解析し、その解析結果に従ってビデオデータを適応的に処理することが出来る。
さらに、ＧＰＵ１０５は、ビデオデータの内容に応じてオーディオデータを適応的に処理することもできる。この場合、ＧＰＵ１０５は、ビデオデータのフレーム群を解析してそのビデオデータの特徴を検出し、オーディオデータに、検出されたビデオデータの特徴に関連付けられた加工を施す。例えば、ＧＰＵ１０５は、ビデオデータの特徴に基づいてそのビデオデータ内の特定のシーン（例えば、会話シーン、画像の暗いシーン、画像が明るいシーン、動きの激しいシーン、動きの少ないシーン、等）を検出し、検出された特定のシーンに属するオーディオデータ内の各フレームに対して、その特定のシーンに関連付けられた所定の加工を施す。各ビデオフレームの解析においては、例えば、ＧＰＵ１０５は、ビデオデータの各フレームのヒストグラムを生成し、そのヒストグラムに基づいて各ビデオフレームの特徴を検出してもよい。
逆に、ＧＰＵ１０５は、１以上のプロセッシングコアを用いてオーディオデータのフレーム群を解析してそのオーディオデータの特徴を検出し、別の１以上のプロセッシングコアを用いて、ビデオデータに、検出されたオーディオデータの特徴に関連付けられた加工を施すこともできる。
ビデオデータの処理結果およびオーディオデータの処理結果は映像信号およびオーディオ信号として直接的に外部に出力してもよいが、代わりに、ビデオデータの処理結果およびオーディオデータの処理結果をＣＰＵ１０１に転送してもよい。また、ビデオデータの処理およびオーディオデータの処理を再帰的に実行するために、ビデオデータの処理結果およびオーディオデータの処理結果をＧＰＵ１０５内の対応するプロセッシングコアにそれぞれフィードバックしてもよい。
さらに、ＧＰＵ１０５は、ビデオデータ内の各ビデオフレームおよびオーディオデータ内の各オーディオフレームにタイムスタンプ（タイムコード）を付与してもよい。このタイムスタンプにより、処理されたビデオデータと処理されたオーディオデータとを同期化することができ、処理されたビデオデータに対応する映像信号と処理されたオーディオデータに対応するオーディオ信号とを互いに同期した状態で外部に出力することが出来る。
サウスブリッジ１０４は、ＰＣＩ（Peripheral Component Interconnect）バス上の各デバイス及びＬＰＣ（Low Pin Count）バス上の各デバイスを制御する。また、サウスブリッジ１０４は、ＨＤＤ１０９及びＯＤＤ１１０を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。
ＬＡＮコントローラ１０８は、例えばIEEE 802.3規格の有線通信を実行する有線通信デバイスであり、一方、無線ＬＡＮコントローラ１１２は、例えばIEEE 802.11g規格の無線通信を実行する無線通信デバイスである。ＵＳＢコントローラ１１１Ａは、（ＵＳＢコネクタ１９を介して接続される）例えばUSB 2.0規格に対応した外部機器との通信を実行する。カードコントローラ１１１Ｂは、コンピュータ本体１１に設けられたカードスロットに挿入される、ＳＤカードのようなメモリカードに対するデータの書き込み及び読み出しを実行する。
ＥＣ／ＫＢＣ１１３は、電力管理のためのエンベデッドコントローラと、キーボード１３及びタッチパッド１６を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。ＥＣ／ＫＢＣ１１３は、ユーザによるパワーボタン１４の操作に応じて本コンピュータ１０を電源オン／電源オフする機能を有している。
次いで、図３を参照して、ＧＰＵ１０５の構成を説明する。
ＧＰＵ１０５は、PCI Expressインタフェース２０１、ハブ２０２、グラフィクスエンジン２０３、複数のストリーミングプロセッサ（ＳＰ）２０４、メモリコントローラ２０５、メモリ１０５Ａ、映像信号出力インタフェース２０６、オーディオ信号入出力インタフェース２０７を備えている。
PCI Expressインタフェース２０１は、ホスト（ＣＰＵ１０１、主メモリ１０３）と通信するためのホストインタフェースである。PCI Expressインタフェース２０１は、ホスト（ＣＰＵ１０１、主メモリ１０３）からグラフィスクデータ、ビデオデータおよびオーディオデータを受信する。また、PCI Expressインタフェース２０１は、ホストからグラフィスクデータ、ビデオデータおよびオーディオデータを処理するための要求（命令群）も受信する。PCI Expressインタフェース２０１によってＣＰＵ１０１から受信されたグラフィスクデータ、ビデオデータおよびオーディオデータは、メモリコントローラ２０５によってメモリ１０５Ａに格納される（バッファリング）。メモリ１０５Ａはフレームバッファまたはビデオメモリと称されるメモリである。メモリ１０５ＡはＧＰＵ１０５のローカルメモリとして使用される。メモリ１０５Ａは、例えば、ＧＰＵ１０５にメモリバスを介して接続される外部メモリまたはＧＰＵ１０５に内蔵される内部メモリのいずれか一方、または双方によって実現される。内部メモリはキャッシュメモリであってもよい。
グラフィクスエンジン２０３は、グラフィスクデータ、ビデオデータおよびオーディオデータそれぞれに対する処理を、複数のストリーミングプロセッサ（ＳＰ）２０４を用いて実行する。各ストリーミングプロセッサ（ＳＰ）２０４はグラフィクス演算および汎用演算を実行可能なプロセッシングコア（プログラマブルシェーダ）として機能する。各ストリーミングプロセッサ（ＳＰ）２０４によって実行される演算の内容は、グラフィクスエンジン２０３から各ストリーミングプロセッサ（ＳＰ）２０４にロードされる命令群によって決定することができる。各ストリーミングプロセッサ（ＳＰ）２０４は、メモリコントローラ２０５を介してメモリ１０５Ａ上のグラフィスクデータ、ビデオデータおよびオーディオデータそれぞれを参照することができる。さらに、各ストリーミングプロセッサ（ＳＰ）２０４は、グラフィスクデータ、ビデオデータまたはオーディオデータに対する処理結果を、メモリコントローラ２０５を介してメモリ１０５Ａにライトすることができる。
複数のストリーミングプロセッサ（ＳＰ）２０４には、実行すべき処理がグラフィクスエンジン２０３によって割り当てられる。この意味で、グラフィクスエンジン２０３は、複数の処理を並列実行する為にそれら複数の処理を複数のストリーミングプロセッサ（ＳＰ）２０４に割り当てるディスパッチャ（スケジューラとも云う）である。
本実施形態では、ビデオデータの各フレームの解析結果に応じてオーディオデータの各フレームを適応的に処理できるようにするために、グラフィクスエンジン２０３は、演算制御部２０３Ａを含む。
演算制御部２０３Ａは、例えば、複数のストリーミングプロセッサ（ＳＰ）２０４内の少なくとも一つの第１ストリーミングプロセッサ（ＳＰ）２０４に、メモリ１０４Ａ上のビデオデータのフレーム群を解析してビデオデータの特徴を検出するための第１のタスクを割り当てる。タスクはスレッドとして実現しても良い。さらに、演算制御部２０３Ａは、複数のストリーミングプロセッサ（ＳＰ）２０４内の少なくとも一つの第２ストリーミングプロセッサ（ＳＰ）２０４に、メモリ１０４Ａ上のオーディオデータに対して、検出されたビデオデータの特徴に関連付けられた加工を施すための第２のタスクを割り当てる。第１のタスクと第２のタスクは並列に実行される。
第１のタスクが割り当てられた各第１ストリーミングプロセッサ（ＳＰ）２０４は、演算制御部２０３Ａからその第１ストリーミングプロセッサ（ＳＰ）２０４にロードされる命令を実行する。そして、各第１ストリーミングプロセッサ（ＳＰ）２０４は、メモリ１０５Ａからビデオデータのフレームをフェッチし、そのフレームの画像を解析する。解析処理では、例えば、各ビデオフレームの画像特徴を検出する処理、ビデオフレームに出現する特定のオブジェクト（例えば人物）を検出する処理、特定のオブジェクトの動きを検出する処理、ビデオフレーム内の特定のオブジェクトの位置を検出する処理などを実行してもよい。各ビデオフレームの特徴を示す解析処理結果は、メモリ１０５Ａに格納される。
第２のタスクが割り当てられた各第２ストリーミングプロセッサ（ＳＰ）２０４は、演算制御部２０３Ａからロードされる命令を実行する。そして、各第２ストリーミングプロセッサ（ＳＰ）２０４は、例えば、メモリ１０５Ａに格納された各ビデオフレームの特徴を示す解析処理結果に基づいて、各オーディオフレームに対して、対応するビデオフレームの特徴に関連付けられた加工（編集）を施す。この場合、各第２ストリーミングプロセッサ（ＳＰ）２０４は、メモリ１０５Ａからオーディオデータのフレームをフェッチし、そのフェッチしたオーディオデータのフレームに対して、対応するビデオフレームの特徴に関連付けられた加工（編集）を施す。
このように、本実施形態では、複数のストリーミングプロセッサ（ＳＰ）２０４を用いて、メモリ１０５Ａ上のビデオデータを解析する処理と、ビデオデータの解析結果に応じてメモリ１０５Ａ上のオーディオデータを加工（編集）する処理とを並列に実行することができる。
映像信号出力インタフェース２０６は、ストリーミングプロセッサ（ＳＰ）２０４によって処理されたビデオデータに対応する映像信号を生成し、生成された映像信号をディスプレイ機器に出力する。この映像信号出力インタフェース２０６は、デジタル−アナログコンバータ（ＤＡＣ）３０１、ディスプレイアナログ出力インタフェース３０２、ディスプレイディジタル出力インタフェース３０３を含む。デジタル−アナログコンバータ（ＤＡＣ）３０１とデジタル−アナログコンバータ（ＤＡＣ）３０１は、処理されたビデオデータからアナログ映像信号（ＲＧＢ）を生成する。アナログ映像信号（ＲＧＢ）はＧＰＵ１０５に設けられたアナログ映像信号出力ピンを介して外部のＲＧＢモニタに出力される。ディスプレイディジタル出力インタフェース３０３は、処理されたビデオデータからデジタル映像信号を生成する。デジタル映像信号は、ＧＰＵ１０５に設けられたデジタル映像信号出力ピンを介して外部のデジタルモニタ（ＤＶＩモニタ、ＨＤＭＩモニタ、ＤＰモニタ等）に出力される。
オーディオ信号入出力インタフェース２０７は、オーディオ信号を外部機器から入力すると共に、オーディオ信号を外部機器へ出力する。オーディオ信号入出力インタフェース２０７は、デジタル−アナログコンバータ（ＤＡＣ）３１１、サウンドアナログ出力インタフェース３１２、アナログ−ディジタルコンバータ（ＡＤＣ）３１３、サウンドアナログ入力インタフェース３１４、サウンドデジタル出力インタフェース３１５、およびサウンドデジタル入力インタフェース３１６を含む。
デジタル−アナログコンバータ（ＤＡＣ）３１１とサウンドアナログ出力インタフェース３１２は、処理されたオーディオデータからアナログオーディオ信号（アナログサウンド信号とも云う）を生成する。アナログオーディオ信号はＧＰＵ１０５に設けられたアナログオーディオ信号出力ピンを介してスピーカまたは他の外部アナログサウンド機器に出力される。サウンドアナログ入力インタフェース３１４はマイクロフォンなどからアナログオーディオ信号を入力し、アナログ−ディジタルコンバータ（ＡＤＣ）３１３は入力されたアナログオーディオ信号をデジタルオーディオ信号に変換する。
サウンドデジタル出力インタフェース３１５は、処理されたオーディオデータからデジタルオーディオ信号（デジタルサウンド信号とも云う）を生成する。デジタルオーディオ信号は、ＧＰＵ１０５に設けられたデジタルオーディオ信号出力ピンを介して外部のデジタルサウンド機器に出力される。サウンドデジタル入力インタフェース３１６は外部からデジタルオーディオ信号を入力する。
入力されたオーディオ信号もストリーミングプロセッサ（ＳＰ）２０４によって処理することが出来る。例えば、演算制御部２０３Ａは、１以上のストリーミングプロセッサ（ＳＰ）２０４を用いて、マイクから入力された音声信号を認識する音声認識処理を実行することもできる。音声認識の結果はPCI Expressインタフェース２０１を介してホストに送信することが出来る。
このように、本実施形態においては、ＧＰＵ１０５には、オーディオ信号の入出力の為に必要な外部インタフェースが追加されており、さらに、従来、ＤＳＰで行われていたオーディオ処理を拡張した高度なオーディオ処理がＧＰＵ１０５のメモリ１０５Ａとストリーミングプロセッサ２０４を用いて実行される。これによって、コンピュータ１０のシステムからオーディオ処理用のＤＳＰを排除する事が可能になり、システムのトータルコストを削減できる。
図４は、ストリーミングプロセッサ（ＳＰ）２０４によって実行される演算処理を示している。演算制御部２０３Ａからの１以上の命令はストリーミングプロセッサ２０４に入力される(Input Assembler)。ストリーミングプロセッサ（ＳＰ）２０４は、命令に従って、メモリ１０５Ａからデータをフェッチし、フェッチしたデータに各種演算を施す。実行される演算内容は、命令によって決定される。ストリーミングプロセッサ（ＳＰ）２０４は、演算結果を必要に応じてメモリ１０５Ａにライトするかストリーミングプロセッサ（ＳＰ）２０４自身にフィードバックしながら、データのフェッチおよび演算を順次実行する。
図５は、ストリーミングプロセッサ（ＳＰ）２０４によって実行されるリバーブ処理のための演算処理の例を示している。ストリーミングプロセッサ（ＳＰ）２０４には以下の命令が予めロードされる。
data[n] = data[n]+data[n-1]×R
ここで、Rはリバーブ処理における残響の強さを示す係数である。
オーディオデータは時系列状に並んだ一連のデータ（Ａ，Ｂ，Ｃ，Ｄ，……）から構成される。オーディオデータは予めメモリ１０５Ａにバッファリングされる。ストリーミングプロセッサ（ＳＰ）２０４は、メモリ１０５Ａからオーディオデータを離散データとして取得していき、あらかじめ与えられた命令を実行する。これにより、最終的には、各離散データに残響効果が適用されたオーディオデータがストリーミングプロセッサ（ＳＰ）２０４によって生成される。図５の「Output」の部分で、ＧＰＵ１０５は、リバーブ処理されたオーディオデータに対応するオーディオ信号を外部に出力する。
以上のようにして、ＤＳＰの代替処理をＧＰＵ１０５内のストリーミングプロセッサ（ＳＰ）２０４によって実行することができる。
次に、図６を参照して、ＧＰＵ１０５によって実行されるビデオデータおよびオーディオデータに対する処理の流れを説明する。本実施形態では、以下の処理が全てＧＰＵ１０５によって完結可能である。
（１）ＧＰＵ１０５はビデオデータおよびオーディオデータをホストから受信し、受信したビデオデータおよびオーディオデータをメモリ１０５Ａに格納する。また、ＧＰＵ１０５はビデオデータとオーディオデータとがマルチプレクスされたストリーミングデータをホストから受信し、受信したストリーミングデータをメモリ１０５Ａに格納してもよい。
（２）ＧＰＵ１０５はビデオデータを解析し、その解析結果に応じてビデオデータを処理する。ビデオデータの解析および処理はＧＰＵ１０５内の１以上のストリーミングプロセッサ（ＳＰ）２０４によって実行される。ストリーミングプロセッサ（ＳＰ）２０４によるビデオデータの解析および処理はストリーミングプロセッサ（ＳＰ）２０４にロードされた命令に従って実行される。ビデオデータの解析および処理に並行して、ＧＰＵ１０５はオーディオデータを解析し、その解析結果に応じてオーディオデータを処理することができる。オーディオデータの解析および処理はＧＰＵ１０５内の別の１以上のストリーミングプロセッサ（ＳＰ）２０４によって実行される。ストリーミングプロセッサ（ＳＰ）２０４によるオーディオデータの解析および処理はストリーミングプロセッサ（ＳＰ）２０４にロードされた命令に従って実行される。
（３）ビデオデータの処理では、１つ前のビデオフレームの演算結果を現在のビデオフレームの演算のためにフィードバックしてもよい。同様に、オーディオデータ処理でも、１つ前のオーディオフレームの演算結果を現在のオーディオフレームの演算のためにフィードバックしてもよい。さらに、ＧＰＵ１０５は、上述したように、ビデオフレームそれぞれの解析結果に基づいて対応するオーディオフレームを処理することもできる。
（４）ＧＰＵ１０５は、処理されたビデオデータに対応する映像信号および処理されたオーディオデータに対応するオーディオ信号を外部に直接的に出力する。
これによって、一度データがＧＰＵ１０５のメモリ１０５Ａにロードされた後は、ＧＰＵ１０５はＣＰＵ１０１との通信を行う必要がなくなる為、ＣＰＵリソースを削減できる。
次に、図７を参照して、ビデオフレームの解析結果に基づいてオーディオフレームを処理する例について説明する。ここでは、人が喋っているシーンに属するオーディオデータ内のフレームそれぞれに対して、聞き取りやすいよう人の声を強調するという加工を施す場合を例示して説明する。
ストリーミングプロセッサ（ＳＰ）２０４には、以下の処理の実行を指示する命令群が予めロードされる。
（１）ビデオデータの各フレームの画像を解析して、唇を探索し、唇の動きを認識する。
（２）唇の動きから「人が喋っているシーン」を検出（認識）する。
（３）人が喋っているシーンに属するオーディオデータのフレームそれぞれに対して、人の声帯音域が強調されるように、音域のゲーティング、イコライジング等の加工を施す。
（４）加工されたオーディオデータの各フレームを、メモリ１０５Ａ上の対応するオーディオフレームにフィードバックする。
この後、幾つかのストリーミングプロセッサ（ＳＰ）２０４は、ビデオデータとオーディオデータをメモリ１０５Ａからフェッチしていき、あらかじめ与えられた命令を実行する。これにより、最終的には、人が喋っているシーンでは、人の声帯音域が強調されたオーディオデータがストリーミングプロセッサ（ＳＰ）２０４によって生成される。そして、ビデオデータに対応する映像信号および処理されたオーディオデータに対応するオーディオ信号が外部に直接的に出力される。
なお、ビデオフレームの解析結果に基づいてオーディオフレームを処理する例は上述の例に制限されない。例えば、ビデオデータ内のフレームそれぞれの輝度に応じてオーディオデータ内のフレームそれぞれの音量を調整してもよい。この場合、比較的暗いシーンに対応するオーディオデータの音量はダウンし、比較的明るいシーンに対応するオーディオデータの音量はアップしてもよい。また、特定のシーンに属する各オーディオフレームに対してリバーブ処理やサラウンド処理等を適用するようにしてもよい。
ところで、近年では、ＧＰＵを汎用演算に使用するといういわゆる「ＧＰＧＰＵ」環境も開発され始めている。「ＧＰＧＰＵ」環境は、科学技術演算のような汎用演算をＧＰＵに実行させるために使用される。「ＧＰＧＰＵ」環境では、ＣＰＵからＧＰＵに命令群およびデータが送られ、そしてＧＰＵによって得られた演算結果がＧＰＵからＣＰＵに戻される。したがって、たとえ図８のように、（１）ＣＰＵ５０１から従来のＧＰＵ５０３に対してオーディオデータをインプットしたとしても、（２）ＧＰＵ５０３からＣＰＵ５０１にオーディオデータの処理結果を戻すことが必要となり、さらには、（３）オーディオデータの処理結果をＣＰＵ５０１からＤＳＰ５０４に転送することが必要となる。よって、多くのバス帯域が消費されることになる。
本実施形態では、図９に示すように、ＧＰＵ１０５がビデオデータおよびオーディオデータの双方を複数のストリーミングプロセッサ（ＳＰ）２０４を用いて処理でき、且つＧＰＵ１０５が映像信号およびオーディオ信号を直接的に出力することができる。よって、（１）ＣＰＵ１０１からＧＰＵ１０５にビデオデータおよびオーディオデータを転送するだけで、（２）ＧＰＵ１０５が映像信号およびオーディオ信号を出力することが可能となる。よって、ＣＰＵリソースやバス帯域を消費しなくて済むようになる。
次に、図１０を参照して、ＧＰＵ１０５の機能構成について説明する。
ＧＰＵ１０５は、ビデオストリームバッファ６０１、ビデオデコーダ６０２、ビデオフレームバッファ６０３、オーディオストリームバッファ６０４、オーディオデコーダ６０５、ビデオフレームバッファ６０６、ビデオ＆オーディオ編集処理部６０７、およびビデオ＆オーディオ同期化処理部６０８を含む。ビデオストリームバッファ６０１、ビデオフレームバッファ６０３、オーディオストリームバッファ６０４、およびビデオフレームバッファ６０６は、それぞれメモリ１０５Ａ上の記憶領域である。
ビデオストリームバッファ６０１はホストから転送されるビデオデータのストリームを格納するためのバッファである。ビデオデータのストリームは符号化されていてもよい。オーディオストリームバッファ６０４はホストから転送されるオーディオデータのストリームを格納するためのバッファである。オーディオデータのストリームも符号化されていてもよい。
ビデオデコーダ６０２は、ビデオストリームバッファ６０１からビデオデータをフェッチし、フェッチしたビデオデータをデコードする。ビデオデータをデコードすることにより、フレーム単位のデータ、および、その各フレームに付随する各情報（例えばカラー情報等）、同期を行う為のタイムコードが取り出される。カラー情報は、対応するビデオフレームのカラーフォーマット（ＹＵＶ、ＲＧＢ等）を示す。デコードによってフレーム毎に得られるビデオフレーム（画像データ）、カラー情報およびタイムコードは、ビデオフレームバッファ６０３に格納される。ビデオデコーダ６０２は、例えば、１以上のストリーミングプロセッサ（ＳＰ）２０４にデコード処理を実行させることによって実現してもよい。換言すれば、ビデオデコーダ６０２は、演算制御部２０３Ａと、演算制御部２０３Ａによってビデオデコードのためのタスクが割り当てられる１以上のストリーミングプロセッサ（ＳＰ）２０４とによって実現してもよい。
オーディオデコーダ６０５は、オーディオストリームバッファ６０４からオーディオデータをフェッチし、フェッチしたオーディオデータをデコードする。オーディオデータをデコードすることにより、フレーム単位のデータ、および、その各フレームに付随する各情報、同期を行う為のタイムコードが取り出される。デコードによってフレーム毎に得られるオーディオフレーム（データ）、タイムコードは、オーディオフレームバッファ６０６に格納される。
ビデオ＆オーディオ編集処理部６０７は、ビデオフレームバッファ６０３上のビデオデータの解析および処理を実行すると共に、オーディオフレームバッファ６０６上のオーディオデータの解析および処理を実行する。さらに、このビデオ＆オーディオ編集処理部６０７は、ビデオフレームバッファ６０３上のビデオデータのフレームそれぞれの解析結果に基づいて、オーディオフレームバッファ６０６上のオーディオデータを処理することもできる。このビデオ＆オーディオ編集処理部６０７は、演算制御部２０３Ａと、演算制御部２０３Ａによってビデオ解析用のタスクが割り当てられる１以上のストリーミングプロセッサ（ＳＰ）２０４と、演算制御部２０３Ａによってオーディオ編集用のタスクが割り当てられる１以上のストリーミングプロセッサ（ＳＰ）２０４とによって実現してもよい。
なお、このビデオ＆オーディオ編集処理部６０７は、オーディオフレームバッファ６０６上のオーディオデータの各フレームの解析結果に基づいて、ビデオフレームバッファ６０３上のビデオデータの各フレームを処理することもできる。このビデオ＆オーディオ編集処理部６０７は、演算制御部２０３Ａと、演算制御部２０３Ａによってオーディオ解析用のタスクが割り当てられる１以上のストリーミングプロセッサ（ＳＰ）２０４と、演算制御部２０３Ａによってビデオ編集用のタスクが割り当てられる１以上のストリーミングプロセッサ（ＳＰ）２０４とによって実現してもよい。
ビデオ＆オーディオ同期化処理部６０８は、解析および処理された各ビデオフレームのタイムコードと解析および処理された各オーディオフレームのタイムコードとを用いて、ビデオデータとオーディオデータとを同期化する。そして、処理されたビデオデータに対応する映像信号は映像信号出力インタフェース２０６を介して外部に出力される。同時に、処理されたオーディオデータに対応するオーディオ信号はオーディオ信号入出力インタフェース２０７を介して外部に出力される。
なお、ここでは、ビデオデータとオーディオデータとを連携して処理する例を中心に説明したが、同様にして、グラフィクスデータの各フレームの解析結果に応じてオーディオデータの各フレームを処理することもできる。
以上説明したように、本実施形態によれば、ＧＰＵ１０５はビデオデータの各シーンの特徴等に対応する様々な加工をオーディオデータに適応的に施すことができ、そしてビデオデータに対応する映像信号およびオーディオデータに対応するオーディオ信号を外部に直接的に出力することができる。よって、オーディオデータをビデオデータに連携させて処理することができる。
なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１０１…ＣＰＵ、１０３…主メモリ、１０５…ＧＰＵ、２０１…PCI Expressインタフェース、２０２…ハブ、２０３…グラフィクスエンジン、２０４…ストリーミングプロセッサ（ＳＰ）、２０５…メモリコントローラ、１０５Ａ…メモリ、２０６…映像信号出力インタフェース、２０７…オーディオ信号入出力インタフェース。

Claims (8)

  1. ホストからビデオデータおよびオーディオデータを受信するホストインタフェースと、
    前記受信されたビデオデータおよびオーディオデータをメモリに格納するメモリコントローラと、
    前記メモリに結合された複数のプロセッシングコアと、
    前記複数のプロセッシングコア内の少なくとも一つの第１プロセッシングコアを用いて前記メモリ上のビデオデータのフレーム群を解析して前記ビデオデータの特徴を検出すると共に、前記複数のプロセッシングコア内の少なくとも一つの第２プロセッシングコアを用いて、前記メモリ上のオーディオデータに前記検出されたビデオデータの特徴に関連付けられた加工を施す演算制御手段と、
    前記ビデオデータに対応する映像信号を生成し、生成された映像信号をディスプレイ機器に出力する映像信号出力インタフェースと、
    前記加工が施されたオーディオデータに対応するオーディオ信号を生成し、生成されたオーディオ信号をサウンド機器に出力するオーディオ信号出力インタフェースとを具備するグラフィクスプロセッシングユニット。
  2. 前記演算制御手段は、前記ビデオデータの特徴に基づいて前記ビデオデータ内の特定のシーンを検出し、前記特定のシーンに属する前記オーディオデータ内の各フレームに対して所定の加工を施す請求項１記載のグラフィクスプロセッシングユニット。
  3. 前記演算制御手段は、前記少なくとも一つの第１プロセッシングコアに前記メモリ上のビデオデータのフレーム群を解析して前記ビデオデータの特徴を検出するための第１のタスクを割り当て、前記少なくとも一つの第２プロセッシングコアに前記メモリ上のオーディオデータに前記検出されたビデオデータの特徴に関連付けられた加工を施すための第２のタスクを割り当てる請求項１記載のグラフィクスプロセッシングユニット。
  4. 前記演算制御手段は、前記複数のプロセッシングコア内の少なくとも一つのプロセッシングコアを用いて前記メモリ上のオーディオデータのフレーム群を解析して前記オーディオデータの特徴を検出すると共に、前記複数のプロセッシングコア内の少なくとも一つのプロセッシングコアを用いて、前記メモリ上のビデオデータに前記検出されたオーディオデータの特徴に関連付けられた加工を施す請求項１記載のグラフィクスプロセッシングユニット。
  5. サウンド機器からのオーディオ信号を入力するオーディオ信号入力インタフェースをさらに具備する請求項１記載のグラフィクスプロセッシングユニット。
  6. ＣＰＵと、
    前記ＣＰＵに結合され、前記ＣＰＵからの要求に応じてグラフィクスデータ、ビデオデータおよびオーディオデータを処理するように構成されたグラフィクスコントローラとを具備し、
    前記グラフィクスコントローラは、
    前記ＣＰＵからビデオデータおよびオーディオデータを受信するホストインタフェースと、
    前記受信されたビデオデータおよびオーディオデータをメモリに格納するメモリコントローラと、
    前記メモリに結合された複数のプロセッシングコアと、
    前記複数のプロセッシングコア内の少なくとも一つの第１プロセッシングコアを用いて前記メモリ上のビデオデータのフレーム群を解析して前記ビデオデータの特徴を検出すると共に、前記複数のプロセッシングコア内の少なくとも一つの第２プロセッシングコアを用いて、前記メモリ上のオーディオデータに前記検出されたビデオデータの特徴に関連付けられた加工を施す演算制御手段と、
    前記ビデオデータに対応する映像信号を生成し、生成された映像信号をディスプレイ機器に出力する映像信号出力インタフェースと、
    前記加工が施されたオーディオデータに対応するオーディオ信号を生成し、生成されたオーディオ信号をサウンド機器に出力するオーディオ信号出力インタフェースとを具備する情報処理装置。
  7. 前記演算制御手段は、前記ビデオデータの特徴に基づいて前記ビデオデータ内の特定のシーンを検出し、前記特定のシーンに属する前記オーディオデータ内の各フレームに対して所定の加工を施す請求項６記載の情報処理装置。
  8. 前記演算制御手段は、前記少なくとも一つの第１プロセッシングコアに前記メモリ上のビデオデータのフレーム群を解析して前記ビデオデータの特徴を検出するための第１のタスクを割り当て、前記少なくとも一つの第２プロセッシングコアに前記メモリ上のオーディオデータに前記検出されたビデオデータの特徴に関連付けられた加工を施すための第２のタスクを割り当てる請求項６記載の情報処理装置。
JP2010150457A 2010-06-30 2010-06-30 グラフィクスプロセッシングユニットおよび情報処理装置 Active JP4818450B1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2010150457A JP4818450B1 (ja) 2010-06-30 2010-06-30 グラフィクスプロセッシングユニットおよび情報処理装置
US13/087,246 US8174529B2 (en) 2010-06-30 2011-04-14 Graphics processing unit and information processing apparatus
TW100113550A TWI439942B (zh) 2010-06-30 2011-04-19 圖形處理單元及資訊處理裝置
CN2011101340539A CN102314671B (zh) 2010-06-30 2011-05-12 图形处理单元和信息处理设备
US13/429,122 US20120182302A1 (en) 2010-06-30 2012-03-23 Graphics processing unit and information processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010150457A JP4818450B1 (ja) 2010-06-30 2010-06-30 グラフィクスプロセッシングユニットおよび情報処理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2011183959A Division JP5361962B2 (ja) 2011-08-25 2011-08-25 グラフィクスプロセッシングユニットおよび情報処理装置

Publications (2)

Publication Number Publication Date
JP4818450B1 JP4818450B1 (ja) 2011-11-16
JP2012015807A true JP2012015807A (ja) 2012-01-19

Family

ID=45327035

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010150457A Active JP4818450B1 (ja) 2010-06-30 2010-06-30 グラフィクスプロセッシングユニットおよび情報処理装置

Country Status (4)

Country Link
US (2) US8174529B2 (ja)
JP (1) JP4818450B1 (ja)
CN (1) CN102314671B (ja)
TW (1) TWI439942B (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8515052B2 (en) 2007-12-17 2013-08-20 Wai Wu Parallel signal processing system and method
US8755515B1 (en) 2008-09-29 2014-06-17 Wai Wu Parallel signal processing system and method
US10013731B2 (en) * 2011-06-30 2018-07-03 Intel Corporation Maximizing parallel processing in graphics processors
US9311169B2 (en) * 2012-05-02 2016-04-12 Nvidia Corporation Server based graphics processing techniques
US9805439B2 (en) 2012-05-02 2017-10-31 Nvidia Corporation Memory space mapping techniques for server based graphics processing
US9542715B2 (en) 2012-05-02 2017-01-10 Nvidia Corporation Memory space mapping techniques for server based graphics processing
US9613390B2 (en) 2012-05-02 2017-04-04 Nvidia Corporation Host context techniques for server based graphics processing
CN102867371A (zh) * 2012-09-19 2013-01-09 四川德源电气有限公司 一种充电桩
US9361116B2 (en) * 2012-12-28 2016-06-07 Intel Corporation Apparatus and method for low-latency invocation of accelerators
US10140129B2 (en) 2012-12-28 2018-11-27 Intel Corporation Processing core having shared front end unit
US9417873B2 (en) 2012-12-28 2016-08-16 Intel Corporation Apparatus and method for a hybrid latency-throughput processor
US10346195B2 (en) 2012-12-29 2019-07-09 Intel Corporation Apparatus and method for invocation of a multi threaded accelerator
US9274743B2 (en) 2013-08-01 2016-03-01 Nvidia Corporation Dedicated voice/audio processing through a graphics processing unit (GPU) of a data processing device
US20180308450A1 (en) * 2017-04-21 2018-10-25 Intel Corporation Color mapping for better compression ratio
US10417731B2 (en) 2017-04-24 2019-09-17 Intel Corporation Compute optimization mechanism for deep neural networks
US10417734B2 (en) 2017-04-24 2019-09-17 Intel Corporation Compute optimization mechanism for deep neural networks
US10602139B2 (en) * 2017-12-27 2020-03-24 Omnivision Technologies, Inc. Embedded multimedia systems with adaptive rate control for power efficient video streaming
CN109062385A (zh) * 2018-09-28 2018-12-21 湖南长城银河科技有限公司 基于飞腾处理器的主板和计算机
CN115100020A (zh) * 2019-01-18 2022-09-23 奇跃公司 虚拟、增强和混合现实系统以及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002074384A (ja) * 2000-09-05 2002-03-15 Sharp Corp 画像処理装置
WO2005096168A1 (ja) * 2004-04-01 2005-10-13 Matsushita Electric Industrial Co., Ltd. 映像音声処理用集積回路

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7184059B1 (en) * 2000-08-23 2007-02-27 Nintendo Co., Ltd. Graphics system with copy out conversions between embedded frame buffer and main memory
JP4683760B2 (ja) 2000-08-23 2011-05-18 任天堂株式会社 再構成可能なピクセルフォーマットを有する組み込みフレームバッファを有するグラフィックスシステム
JP2005096168A (ja) 2003-09-24 2005-04-14 Fuji Photo Film Co Ltd ヘッドクリーニング方法及び感熱プリンタ
US20060059510A1 (en) * 2004-09-13 2006-03-16 Huang Jau H System and method for embedding scene change information in a video bitstream
US7612832B2 (en) * 2005-03-29 2009-11-03 Microsoft Corporation Method and system for video clip compression
CN101674442B (zh) * 2009-09-22 2015-01-21 北京中星微电子有限公司 用于检测中频信号音频模式的装置和方法
US8572356B2 (en) * 2010-01-05 2013-10-29 Oracle America, Inc. Space-efficient mechanism to support additional scouting in a processor using checkpoints

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002074384A (ja) * 2000-09-05 2002-03-15 Sharp Corp 画像処理装置
WO2005096168A1 (ja) * 2004-04-01 2005-10-13 Matsushita Electric Industrial Co., Ltd. 映像音声処理用集積回路

Also Published As

Publication number Publication date
CN102314671B (zh) 2013-12-25
TW201214287A (en) 2012-04-01
US20120182302A1 (en) 2012-07-19
CN102314671A (zh) 2012-01-11
JP4818450B1 (ja) 2011-11-16
US8174529B2 (en) 2012-05-08
TWI439942B (zh) 2014-06-01
US20120001930A1 (en) 2012-01-05

Similar Documents

Publication Publication Date Title
JP4818450B1 (ja) グラフィクスプロセッシングユニットおよび情報処理装置
KR101128748B1 (ko) 휴대용 컴퓨팅 시스템에서의 저전력 ｄｖｄ 재생
WO2019001347A1 (zh) 移动设备的投屏方法、存储介质、终端及投屏系统
TWI540891B (zh) 媒體播放工作量排程器
CA2563782A1 (en) System and methods for using graphics hardware for real time two and three dimensional, single definition, and high definition video effects
WO2020108099A1 (zh) 视频处理方法、装置、电子设备和计算机可读介质
JP6284931B2 (ja) 多重動画再生方法及び装置
CN112992171B (zh) 一种显示设备及消除麦克风接收回声的控制方法
US11942096B2 (en) Computer system for transmitting audio content to realize customized being-there and method thereof
JP2019015951A (ja) 電子機器のウェイクアップ方法、装置、デバイス及びコンピュータ可読記憶媒体
JP2013542649A (ja) 仮想ビデオ・キャプチャ・デバイス
US8755668B2 (en) Playback apparatus and playback method
CN112689197B (zh) 一种文件格式转换方法、装置、以及计算机存储介质
JP2007149008A (ja) 携帯型電子機器および省電力制御方法
JP5361962B2 (ja) グラフィクスプロセッシングユニットおよび情報処理装置
TWI619383B (zh) 無線顯示雲端模式
JP2013243619A (ja) 音響処理装置及び音響処理方法
US8005348B2 (en) Information processing apparatus
KR20140117889A (ko) 클라이언트 장치, 서버 장치, 멀티미디어 리디렉션 시스템 및 그 방법
KR101277354B1 (ko) 메모리 대역폭 및 저장소를 감소시키기 위한 이미지 데이터의 지각적 무손실 압축
WO2021004049A1 (zh) 显示装置、音频数据传输方法及装置
CN112433696A (zh) 一种壁纸显示方法、装置、设备和介质
JP5238849B2 (ja) 電子機器、電子機器の制御方法及び電子機器の制御プログラム
TWI539795B (zh) 使用變化區域的媒體編碼
JP2010148048A (ja) 動画像再圧縮装置および動画像再圧縮方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110802

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110830

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140909

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4818450

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140909

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313121

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350